新训练方法使AI像人类一样泛化

开发出能够像人一样进行推理的灵活机器学习模型的关键，可能并非在于为其提供海量的训练数据。一项新的研究提出，关键或许在于如何训练它们。这些发现可能在朝着构建更好、更少出错的人工智能模型方面迈出一大步，并有助于揭示人工智能系统以及人类学习的奥秘。人类是重组的高手。当人们了解一组组件之间的关系（例如食物配料）时，我们可以将它们组合成各种美味的食谱。在语言方面，我们可以理解从未见过的句子，并组成复杂且富有创意的回应，因为我们掌握了单词的基本意义和语法规则。从技术术语来看，这两个例子都体现了“组合性”或“系统性泛化”，通常被认为是人类认知的关键原则。“我认为这是智力最重要的定义，”约翰·霍普金斯大学的认知科学家保罗·斯莫伦斯基（Paul Smolensky）说，“你可以从了解部分，扩展到处理整体。”真正的组合性可能是人类心智的核心，但几十年来，机器学习开发者一直难以证明人工智能系统能够实现这一点。已故哲学家兼认知科学家杰里·福多（Jerry Fodor）和泽诺·皮利什宁（Zenon Pylyshyn）在35年前提出的一个论点认为，这一原则对标准的神经网络可能遥不可及。如今的生成式人工智能模型可以模仿组合性，对书面提示做出类似人类的回应。然而，即便是最先进的模型，包括OpenAI的GPT-3和GPT-4，仍然在某些方面未能达到这一能力的标准。例如，如果你向ChatGPT提出一个问题，它最初可能会提供正确的答案。但如果你继续发送后续问题，它可能会偏离主题，甚至出现自相矛盾的情况。这表明，虽然这些模型可以重复训练数据中的信息，但它们并没有真正理解其生成句子的意义和意图。然而，一项于周三发表在《自然》（Nature）上的研究显示，一种专注于塑造神经网络学习方式的新训练方法，可以提高人工智能模型像人类一样理解信息的能力。这项研究表明，一种特定的人工智能教育方法或许可以创造出具有组合性的机器学习模型，这些模型在某些情况下可以像人类一样泛化。“这项研究取得了重要突破，”未参与该研究的斯莫伦斯基表示，“它实现了我们一直想要实现但此前未能做到的事情。”为了训练一个能够重组组件并理解新复杂表达意义的系统，研究人员并不需要从头构建一个全新的人工智能。“我们不需要从根本上改变模型的结构，”该研究的主要作者、纽约大学的计算认知科学家布伦丹·莱克（Brenden Lake）表示，“我们只需要让它进行练习。”研究人员从一个标准的Transformer模型入手，这种模型与支持ChatGPT和谷歌Bard的AI架构相同，但没有经过任何文本训练。他们让这个基础神经网络完成一系列专门设计的任务，旨在教程序如何理解一种虚构语言。这种语言由一些无意义的词语组成（例如“dax”、“lug”、“kiki”、“fep”和“blicket”），它们对应的是彩色点的集合。其中一些虚构的词语直接代表特定颜色的点，而另一些则表示可以改变点的排列顺序或数量的函数。例如，“dax”代表一个简单的红点，而“fep”则是一个函数，当与“dax”或其他符号词配对时，将其对应的点的输出数量乘以三。所以“dax fep”就代表三个红点。然而，AI的训练过程中并没有给出这些信息：研究人员只是将模型暴露在一小部分虚构句子及其对应的点集合的示例中。随后，研究人员提示模型生成自己的一组点，作为对新短语的回应，并根据其是否正确遵循了语言的潜在规则对AI进行评分。很快，神经网络就能连贯地作出回应，遵循了虚构语言的逻辑，即使面对新的词语组合也是如此。这表明它能够“理解”虚构语言的规则，并将其应用于未经训练的短语。一张图来自布伦登·莱克及其同事关于这项新《自然》研究的新闻稿，显示了人类参与者和人工智能模型接收到的训练材料（上图），以及他们被测试的问题和正确答案（下图）。图片提供：布伦登·莱克。此外，研究人员还用虚构语言测试了他们的训练AI模型与25名人类参与者的表现。他们发现，他们的优化神经网络在最佳情况下能够100%准确回应，而人类答案的正确率为约81%。（当团队将训练提示喂给GPT-4并提出测试问题时，大型语言模型的准确率只有58%。）随着进一步的训练，研究人员的标准Transformer模型开始非常接近人类的推理能力，甚至出现了相同的错误：例如，人类参与者经常错误地假设特定词语与点之间有一对一的关系，即使许多短语并不遵循这一模式。当向模型输入这类行为的示例时，它很快开始复制这种错误，并以与人类相同的频率犯错。考虑到模型的尺寸相对较小，其表现尤其令人印象深刻。“这不是一个训练于整个互联网上的大型语言模型，而是一个相对较小、专门针对这些任务训练的Transformer，”未参与这项研究的麻省理工学院计算机科学家阿曼多·索拉-莱扎马（Armando Solar-Lezama）表示。“令人感兴趣的是，尽管如此，它仍然能够表现出这类泛化能力。”这一发现意味着，除了不断增加训练数据之外，另一种补充策略可能是为人工智能算法提供类似专注语言学或代数课程的训练。索拉-莱扎马表示，理论上，这种方法可能为实现更好的AI提供另一种路径。“一旦你将整个互联网的数据喂给模型，就再没有第二个互联网可以继续喂它以进一步改进。因此，我认为迫使模型在合成任务中更好地进行推理的策略，可能在未来产生影响，”他说，同时指出扩大新训练协议的规模可能面临一些挑战。与此同时，索拉-莱扎马还认为，对小型模型的这类研究有助于我们更好地理解神经网络的“黑箱”，并可能揭示所谓“出现能力”的大型人工智能系统。斯莫伦斯基补充说，这项研究以及未来类似的成果，也可能提升人类对自己心智的理解。“这有助于我们设计减少我们人类容易出错倾向的系统。”然而，目前来说，这些好处仍然是假设性的，并且还存在一些重大限制。“尽管它的表现令人印象深刻，但他们的算法并没有解决所有提出的问题，”未参与该研究的卡内基梅隆大学计算机科学家鲁斯兰·萨拉赫图丁诺夫（Ruslan Salakhutdinov）表示。“它不能自动处理未经练习的泛化任务。”换句话说，这种训练协议帮助模型在一种特定任务中表现出色：学习一种虚构语言的模式。但如果给它一个全新的任务，它无法将相同的技能应用到上面。这一点在基准测试中显而易见：模型无法处理更长的序列，也无法理解之前未引入的“词语”。而且，所有接受《科学美国人》采访的专家都指出，一个具有有限泛化能力的神经网络与人工智能的终极目标——人工通用智能（AGI）——仍有天壤之别，后者是指计算机模型在大多数任务上超越人类能力。你可以这样说，这种进展“只是朝这个方向迈出的非常、非常小的一步，”索拉-莱扎马表示。“但我们谈论的并不是AI自己获取能力。”从与AI聊天机器人有限的互动中，以及广泛传播的宣传炒作，许多人可能高估了神经网络的能力。“有些人可能会惊讶于像GPT-4这样的系统在这些语言泛化任务上，实际上在没有训练的情况下表现得非常差，”索拉-莱扎马说。尽管这项新研究的发现令人兴奋，但它们可能无意中成为一个现实的提醒。“了解这些系统能做什么非常重要，”他说，“但同样重要的是要明白它们不能做什么。”