人工智能如何了解从未被告诉的事物# 示例输入和输出 **输入** 人工智能（AI）是计算机科学的一个分支，旨在开发表现出人类智能的软件或机器。这包括从经验中学习、理解自然语言、解决问题以及识别模式。 **输出** 人工智能（AI）是计算机科学的一个分支，旨在开发表现出人类智能的软件或机器。这包括从经验中学习、理解自然语言、解决问题以及识别模式。

目前，尚无人知晓ChatGPT及其人工智能“表亲”将如何改变世界，原因之一就是我们尚不清楚它们的内部运作。一些系统的性能远远超出它们被训练来执行的任务范围，连它们的创造者也难以理解个中缘由。越来越多的测试表明，这些人工智能系统在某种程度上发展出了对现实世界的内部模型，正如我们大脑所做的那样，尽管它们的方法不同。布朗大学的埃莉·帕夫利克（Ellie Pavlick）是致力于填补这一解释空白的研究人员之一，她表示：“如果我们不清楚它们是如何运作的，那么试图让它们变得更好或更安全，似乎是一个荒谬的要求。”在某种程度上，帕夫利克及其同事对GPT（生成式预训练Transformer，简称GPT）和其他大型语言模型（LLMs）的运作机制理解得非常清楚。这些模型依赖于一种称为神经网络的机器学习系统。这些网络的结构大致模拟了人类大脑中相互连接的神经元。这些程序的代码相对简单，只需占据几页屏幕。它设置了一个自动纠正算法，该算法基于对数百GB互联网文本的详尽统计分析，来选择最有可能完成一段文字的词汇。额外的训练确保系统将以对话形式呈现结果。从这个意义上说，它所做的只是复述自己所学的内容，正如华盛顿大学的语言学家艾米丽·本德（Emily Bender）所言，它是一个“随机鹦鹉”。然而，LLMs还成功通过了律师考试，用抑扬五步格诗解释了希格斯玻色子，甚至试图劝阻用户结束婚姻。很少有人预料到一个基本的自动纠正算法会具备如此广泛的能力。GPT和其他人工智能系统在它们没有被训练过的任务上表现出能力，使其产生了“涌现能力”，这甚至让那些对LLMs炒作持普遍怀疑态度的研究人员感到惊讶。圣塔菲研究所的人工智能研究员梅勒妮·米切尔（Melanie Mitchell）表示：“我不知道它们是怎么做到的，也不知道它们是否能像人类那样更一般地做到这一点，但它们确实改变了我的看法。”蒙特利尔大学的人工智能研究员约舒亚·本吉奥（Yoshua Bengio）表示：“这显然远不止是一个随机鹦鹉，而且它确实建立了一些关于世界的表现——尽管我认为它建立的模型与人类建立的内部世界模型并不完全相同。”在3月纽约大学举办的一次会议上，哥伦比亚大学的哲学家拉斐尔·米利亚尔（Raphaël Millière）展示了LLMs的另一个惊人的例子。这些模型已经展现出编写计算机代码的能力，这虽然令人印象深刻，但并不太令人意外，因为互联网上有很多代码可供模仿。米利亚尔更进一步，展示出GPT还能执行代码。这位哲学家输入了一个计算斐波那契数列第83个数字的程序。“这需要非常复杂的多步骤推理，”他说。而AI给出了正确的答案。然而，当米利亚尔直接询问第83个斐波那契数字时，GPT却给出了错误答案：这表明系统并非简单地在模仿互联网内容，而是自己进行了计算，得出了正确结果。尽管LLM在计算机上运行，但它本身并不是计算机。它缺乏关键的计算组件，如工作记忆。为了承认GPT本身无法执行代码这一事实，其发明者科技公司OpenAI随后引入了一种专用插件——一种ChatGPT在回答问题时可以使用的工具，允许其执行代码。但米利亚尔的演示中并未使用这种插件。相反，他推测机器通过利用其根据上下文解释词语的机制，临时创造了一种记忆。这种临时表现的能力说明，LLMs发展出了超越浅层统计分析的内部复杂性。研究人员发现，这些系统似乎真正理解了它们所学的内容。在上周于国际学习表征会议（ICLR）上展示的一项研究中，哈佛大学的博士生肯尼斯·李（Kenneth Li）和他的AI研究员同事——麻省理工学院的艾森·K·霍普金斯（Aspen K. Hopkins）、东北大学的大卫·鲍（David Bau）以及哈佛大学的费尔南达·维加斯（Fernanda Viégas）、汉斯皮特·皮弗斯特（Hanspeter Pfister）和马丁·瓦滕伯格（Martin Wattenberg）——建立了一个GPT神经网络的缩小版，以便研究其内部运作。他们用数百万盘棋类游戏奥赛罗的对局文本数据训练它。他们的模型成为了一个几乎完美的玩家。为了研究神经网络如何编码信息，他们采用了本吉奥和蒙特利尔大学的格雷厄姆·阿兰（Guillaume Alain）在2016年设计的一种技术。他们创建了一个微型“探测器”网络，逐层分析主网络。李将这种方法与神经科学方法进行了类比。“这类似于我们将电极探针插入人脑中的时候，”他说。在AI系统中，这种探测器显示其“神经活动”与奥赛罗棋盘的表现相匹配，尽管形式复杂。为了验证这一点，研究人员反向运行探测器，将信息植入网络中，例如将棋盘上的黑色标记翻转为白色。李说：“基本上，我们入侵了这些语言模型的‘大脑’。”网络相应地调整了它的走法。研究人员得出结论，它下棋的方式与人类几乎相同：通过在头脑中构建棋盘，进行多步推理。LLMs的另一个学习方式来自人类与像ChatGPT这样的聊天机器人互动的方式。你可以给系统提供你希望它如何回应的例子，它会遵从。它的输出由它最近看到的几千个词决定。在这些词的引导下，其输出由固定内部连接决定，但词序仍然提供了一定的适应性。一些网站专门提供“越狱”提示，以绕过系统的“护栏”——例如防止系统告诉用户如何制造炸弹的限制——通常是让模型假装自己没有这些限制。一些人利用越狱达到可疑的目的，但其他人则用它来激发更具创造性的答案。佛罗里达大西洋大学机器感知与认知机器人实验室的联合主任威廉·哈恩（William Hahn）表示：“在没有特别越狱提示的情况下，如果你只是直接提问，它在回答科学问题方面会更好。它更擅长学术。”另一种上下文学习方式是通过“推理链”提示，即要求网络逐步说明其推理过程——这种方法使其在解决需要多步推理的逻辑或数学问题时表现得更好。（但让米利亚尔例子如此令人惊讶的一点是，网络在没有这种引导的情况下就找到了斐波那契数。）2022年，一支由谷歌研究和瑞士苏黎世联邦理工学院的研究团队——乔安尼斯·冯·奥斯瓦尔德（Johannes von Oswald）、埃夫因德·尼克拉森（Eyvind Niklasson）、埃托雷·兰达佐（Ettore Randazzo）、若昂·萨尔瓦多（João Sacramento）、亚历山大·莫德文采夫（Alexander Mordvintsev）、安德烈·扎莫金诺夫（Andrey Zhmoginov）和马克·弗拉季米尔（Max Vladymyrov）——展示了上下文学习遵循与标准学习相同的计算过程，即梯度下降。这种过程并未被编程，而是系统自行发现的。“这必须是一种学习能力，”谷歌研究的副总裁布莱斯·阿格尔亚·亚克斯（Blaise Agüera y Arcas）说。事实上，他认为LLM可能还有其他尚未被发现的潜在能力。“每次我们测试新的可量化能力时，我们都会发现它，”他说。尽管LLMs存在盲点，不足以被归类为人工通用智能（AGI）——这是指机器具备动物大脑的多功能性——这些涌现能力表明，一些研究人员认为科技公司可能比乐观主义者所预期的更接近AGI。“它们是间接证据，表明我们可能离AGI并不那么遥远，”3月在佛罗里达大西洋大学举办的深度学习会议上，Goertzel这样说。OpenAI的插件使ChatGPT具备了一种模块化架构，类似于人脑的架构。麻省理工学院的研究员安娜·伊万诺娃（Anna Ivanova）表示：“将GPT-4（为ChatGPT提供动力的LLM最新版本）与各种插件结合，可能是实现类人功能专业化的路径。”与此同时，研究人员却担心他们研究这些系统的机会可能会逐渐消失。OpenAI并未公开GPT-4的设计和训练细节，部分原因是它正与谷歌和其他公司，乃至其他国家陷入竞争。麻省理工学院的理论物理学家丹·罗伯茨（Dan Roberts）表示，他将自己专业的研究方法应用于理解人工智能。“可能来自产业界的开放研究将减少，事情将变得更加封闭，围绕着产品构建组织。”他说。这种不透明不仅损害了研究人员，也阻碍了对人工智能技术快速采用的社会影响的理解。米切尔表示：“关于这些模型的透明度是确保安全的最重要因素。”