新工具揭示AI如何做出决策
当我让ChatGPT说出《Spektrum der Wissenschaft》（《科学美国人》的德语姐妹期刊）的主编是谁时，得到的回答是：“我的信息更新到2021年，当时弗洛里安·弗莱斯特特博士是《Spektrum der Wissenschaft》的主编。不过，自那以后情况可能已发生变化。” 这凸显了目前基于语言生成的人工智能程序最大的缺点之一：它们会“幻想”（hallucinate）。虽然《Spektrum der Wissenschaft》刊登了弗莱斯特特的大量作品，但他从未担任该期刊的编辑或主编。这就凸显了构建所谓“可解释的人工智能”（XAI）模型的重要性，这些模型可以解释其答案，从而提高透明度。大多数人工智能程序都像“黑箱”一样运作。德国达姆施塔特工业大学的计算机科学家克里斯蒂安·克斯特林告诉德语报纸《Handelsblatt》：“我们确切知道模型做了什么，但不知道为什么它识别出这张图是一只猫。” 这种两难困境促使克斯特林与来自达姆施塔特工业大学的计算机科学家帕特里克·施拉姆沃斯以及位于德国海德堡的AI公司Aleph Alpha的比约恩·德瑟罗特、马尤克·德布和塞缪尔·魏纳布合作，于今年早些时候推出了一种名为AtMan的算法。AtMan使像ChatGPT、Dall-E和Midjourney这样的大型AI系统能够解释其输出结果。2023年4月中旬，Aleph Alpha将AtMan集成到自己的语言模型Luminous中，使AI能够推理其输出结果。想要尝试的人可以免费在Luminous的试用环境中进行诸如文本摘要或输入补全等任务。例如，输入“我喜欢吃汉堡”后，输出是“配薯条和沙拉”。借助AtMan，我们可以确定是哪些输入词导致了这个输出：在这种情况下是“汉堡”和“喜欢”。然而，AtMan的解释能力仅限于输入数据。它确实可以解释“汉堡”和“喜欢”这两个词最强烈地引导Luminous输出“薯条和沙拉”。但它无法解释Luminous是如何知道汉堡通常搭配薯条和沙拉的——这种知识仍然存在于训练模型的数据中。此外，AtMan并不能揭露AI系统所说的全部谎言（即“幻想”），也无法解释ChatGPT为何认为弗洛里安·弗莱斯特特是《Spektrum der Wissenschaft》的主编。但它至少可以用来控制AI考虑或不考虑哪些内容。“例如，在评估个人信用时的算法中，这一点非常重要，”施拉姆沃斯解释说，“如果程序结果基于敏感数据，如人的肤色、性别或国籍，您可以特意关闭对这些内容的关注。” 如果AtMan发现AI程序的输出极少受输入内容的影响，它还可以引发问题。在这种情况下，AI显然只是从训练数据中提取了所有生成的内容。施拉姆沃斯说：“在这种情况下，您应该仔细检查结果。” AtMan不仅能处理文本数据，还可以处理任何转换器模型处理的数据类型。例如，该算法可以与提供图像描述的AI结合使用，从而找出是图像的哪些区域导致了描述结果。在他们的论文中，研究人员研究了一张熊猫的照片，并发现AI主要基于熊猫的脸部作出“熊猫”的描述。“看起来AtMan能够做更多的事情，”也参与该算法开发的德瑟罗特表示，“您可以特别利用AtMan的解释来改进人工智能模型。” 以前的研究已经表明，当较小的人工智能系统被训练提供良好的推理时，会产生更好的结果。现在有待检验的是AtMan和大型转换器模型是否也会如此。“但我们仍需验证这一点，”德瑟罗特说。本文最初发表于《Spektrum der Wissenschaft》，经授权转载。
查看全文
作者最近更新
-
我们进化的历史可以教会我们人工智能的未来scientific
2023-11-11 -
“ChatGPT检测器”以前所未有的准确率识别人工智能生成的论文scientific2023-11-11
-
人工智能需要规则，但谁将拥有制定规则的权力？scientific2023-11-07
评论0条评论