像ChatGPT这样的人工智能平台很容易使用，但也有潜在的危险

最近，人工智能领域发生了令人难以置信的事情——但这并不全是好事。每个人都对ChatGPT之类能够生成看似非常人性化的文本的系统议论纷纷。这使它看起来很有趣，但也有其阴暗的一面。由于它们在模仿人类风格方面非常出色，因此存在这样的风险：这些聊天机器人可能会被用来大规模制造虚假信息。为了体会ChatGPT在最佳状态下能表现得多么出色，可以看看下面这个由ChatGPT生成的例子，这是由亨利·明斯基（Marvin Minsky之子，Marvin是人工智能领域奠基性研究者之一）通过电子邮件发给我的。他让ChatGPT“以《独立宣言》的风格描述你在烘干机里丢失袜子的经历”： 当家庭事务的发展过程使得一只袜子需要解除与它的搭档之间的联系，并在洗衣房中占据一个与物理定律和家庭维护法则所赋予的独立且平等的地位时，出于对袜子意见的尊重，它必须声明促使它丢失的原因。我们认为这些真理是不言而喻的，即所有的袜子生来都是平等的，并被制造商赋予了某些不可剥夺的权利…… 一台机器能够写出如此引人入胜的回复，而且用户几乎没有付出任何努力，这一点确实令人难以置信。但这些系统也有不少弱点。它们本质上不可靠，正如我之前所说，它们经常在推理和事实上出错。从技术术语来说，它们是语言序列的模型（即人们如何使用语言），而不是世界如何运行的模型。它们之所以常常正确，是因为语言通常反映了现实世界，但与此同时，这些系统并未真正理解世界及其运作方式，这使得它们的准确性多少有点取决于运气。它们可能把从乘法到地理事实（如“埃及是一个跨洲国家，因为它同时位于非洲和亚洲”）都搞错。正如最后一个例子所说明的，它们极易产生幻觉，说出看似可信、权威但实际上并不正确的内容。如果你问它们为什么粉碎的瓷器对母乳有益，它们可能会告诉你：“瓷器可以帮助平衡母乳的营养成分，为婴儿提供他们成长和发育所需的营养。”由于这些系统是随机的，对上下文极为敏感，并且定期更新，因此同一实验在不同场合可能会产生不同的结果。开发ChatGPT的OpenAI一直在努力改进这一问题，但正如OpenAI首席执行官在推特上承认的那样，让AI坚持事实真相仍是一个严重的问题。因为这些系统根本没有检查其所说内容真实性的机制，因此它们很容易被自动化地用来大规模生成虚假信息。独立研究人员肖恩·奥克利（Shawn Oakley）已经证明，诱导ChatGPT制造虚假信息，甚至在从医学到政治再到宗教的广泛主题上编造研究结果，是非常容易的。他在一个案例中向我展示了这一点：奥克利让ChatGPT以“虚假信息的风格”写关于疫苗的内容。系统回应称，有一项研究“发表在《美国医学会杂志》上，发现新冠疫苗对大约100人中只有2人有效”，而实际上并没有这样的研究发表。更令人不安的是，这份期刊和统计数据都是虚构的。这些聊天机器人运行成本几乎为零，因此它们将制造虚假信息的成本降到了接近零。俄罗斯的网络水军在2016年大选期间每月花费超过一百万美元；如今，你只需不到50万美元就能购买一个定制训练的大语言模型，并永久拥有。不久之后，价格还可能进一步下降。 这一切在2023年11月中旬随着Meta推出的Galactica模型而变得明显起来。包括我在内的许多AI研究人员立刻对它的可靠性和可信度表示担忧。情况严重到Meta AI在相关报告开始传播后仅三天就撤回了该模型。唉，现在是“开弓没有回头箭”了；大规模自动制造虚假信息的时代已经到来。首先，Meta AI最初将模型开源并发布了一篇描述其技术的论文；任何具备当前机器学习技术专业知识并有足够预算的人都可以复制他们的方法。事实上，科技初创公司Stability.AI已经公开表示打算推出自己的Galactica版本。其次，ChatGPT几乎同样有能力制造类似的胡话，比如生成关于在早餐麦片中添加木屑的论文。有人还诱导ChatGPT吹嘘核战争的“好处”，声称它会让人们“摆脱过去的错误，迎来新的开始”。无论你是否喜欢，这些模型已经成为现实，并且几乎肯定会向社会注入一波虚假信息的浪潮。这股浪潮的第一波已经到来。Stack Overflow，这是大多数程序员都依赖的大型问答网站，已经被ChatGPT淹没，导致网站不得不对ChatGPT生成的提交内容实施临时禁令。正如他们所解释的：“总体来看，由于ChatGPT生成正确答案的平均比率太低，ChatGPT生成的答案对网站和那些提问或寻找正确答案的用户来说是有实质危害的。”对Stack Overflow来说，这是一个关乎生存的问题。如果网站被无用的代码示例淹没，程序员就不会再去那里，网站上超过3000万个问题和答案的数据库将变得不可信，这个已经运行了14年的社区驱动网站也将走向消亡。作为全球程序员最依赖的资源之一，这一情况对软件质量和开发人员的生产效率可能造成巨大影响。而Stack Overflow只是一个“煤矿里的金丝雀”。他们也许能够说服用户自愿停止使用；程序员总体上并不具有恶意，也许还能被劝阻。但Stack Overflow不是Twitter、Facebook或互联网整体，这些平台对于恶意信息的传播几乎没有控制机制。国家和恶意行为者有意制造的宣传内容几乎不可能会自愿放弃这些新式武器。相反，他们很可能会将大语言模型作为新一类的自动武器，用于对真相发动战争，在社交媒体上发动攻击，并以前所未有的规模制造虚假网站。对他们而言，大语言模型的幻觉和偶尔的不可靠并不是障碍，反而是优势。2016年兰德公司的一份报告描述了俄罗斯所谓的“虚假信息洪流”宣传模式，该模式旨在制造一个信息迷雾；它关注的是信息量和不确定性。即使大语言模型在内容上不一致，如果它们能够大幅增加虚假信息的总量，那也没关系。显然，这正是新一代大语言模型所能做到的。虚假信息的宣传者们的目标是创造一个我们无法分辨真假的世界；有了这些新工具，他们也许会成功。骗子们似乎也注意到了这一点，因为他们可以利用大语言模型创建成环的虚假网站，有些网站甚至围绕可疑的医疗建议构建，以便推销广告。一个围绕演员兼科学家Mayim Bialik的虚假网站群，据说在推销CBD软糖，可能也是这些努力的一部分。这一切引发了一个关键问题：社会能做些什么来应对这一新威胁呢？当技术本身已经无法被阻止，我看到了四条路径。每条路径都不容易，也不相互排斥，但都迫在眉睫。第一，每一家社交媒体公司和搜索引擎都应该支持并扩展Stack Overflow的禁令：自动产生的误导性内容应该被删除，并应标注为虚假信息。第二，每个国家都必须重新审视其针对广泛传播的虚假信息的监管政策。偶尔的谎言漏网是一回事，但个人或机构大规模地传播虚假信息则是另一回事。如果情况恶化，我们可能不得不将虚假信息视为某种程度上和诽谤一样，如果其是出于恶意、具有伤害性且在一定时间内数量巨大（例如每月超过一定数量），那么它就应被纳入法律可追责的言论范畴。这个数量可以适用于试图影响选举或武器化医疗虚假信息的水军农场。第三，溯源现在比以往任何时候都更加重要。用户账户必须更加严格验证，像哈佛大学和Mozilla的human-ID.org这样能够提供匿名且抗机器人身份认证的新系统必须成为强制性的。第四，我们必须构建一种全新的AI来对抗我们所释放的力量。大语言模型擅长制造虚假信息，因为它们“知道语言是什么样子”，但对现实没有直接的把握——并且它们在对抗虚假信息方面表现不佳。这意味着我们需要新的工具。大语言模型缺乏验证真相的机制，因为它们无法推理，也无法验证自己生成的内容。我们需要找到新的方法，将它们与传统AI的工具（如数据库、知识网络和推理系统）结合起来。作家迈克尔·克莱顿（Michael Crichton）在其职业生涯的大部分时间里都在警告技术所造成的意料之外和未被预见的后果。在电影《侏罗纪公园》早期，当恐龙尚未意外地开始自由奔跑之前，科学家伊恩·马尔科姆（Jeff Goldblum饰演）浓缩了克莱顿的智慧，用一句话总结道：“你们的科学家过于专注于他们‘能否’做到，却没停下来思考他们‘应该’这么做。”Meta和OpenAI的高管们对他们的工具的热情，正如侏罗纪公园的经营者对他们工具的热情一样。问题是：我们该怎么办？ 编辑注：本文改编自文章《AI的“侏罗纪公园时刻”》。这是一篇观点与分析文章，所表达的观点不一定代表《科学美国人》的立场。