无论AI是否具有意识，它都可能极其危险——原因如下# 示例输入与输出**输入**人工智能（AI）是计算机科学的一个分支，旨在开发表现出人类智能的软件或机器。这包括从经验中学习、理解自然语言、解决问题以及识别模式。**输出**人工智能（AI）是计算机科学的一个分支，旨在开发表现出人类智能的软件或机器。这包括从经验中学习、理解自然语言、解决问题以及识别模式。
“这种东西真的会比人类更聪明……我以前觉得这是天方夜谭……显然，我现在不再这么想。”谷歌顶尖人工智能科学家之一、被誉为“人工智能之父”的杰弗里·辛顿在4月份辞职后表示，他辞职是为了警告这项技术的危险。他并不是唯一一个担忧的人。一项2023年的调查发现，36%的AI专家担心AI的发展可能会带来“核级别的灾难”。近28,000人签署了一份由“未来生活研究所”起草的公开信，包括史蒂夫·沃兹尼亚克、埃隆·马斯克、几家AI公司的首席执行官以及许多其他知名技术专家，呼吁暂停或暂停六个月新的高级AI开发。作为一名意识研究者，我对AI的快速发展也有同样的强烈担忧，我也是“未来生活研究所”公开信的共同签署人。为什么我们如此担忧？简而言之：AI的发展速度实在太快了。关键问题是，新一代高级“聊天机器人”——也就是技术上所谓的“大型语言模型”（LLMs）——在对话能力方面取得了极其迅速的改进。随着即将到来的“AI爆炸”，我们可能只有一次机会把事情做对。如果我们搞错了，我们可能活不到讲出这个故事的时候。这不是夸张。这种快速进展很快将导致“人工通用智能”（AGI）的出现，而当这种情况发生时，AI将能够在没有任何人类干预的情况下自我改进。它会像谷歌的AlphaZero AI那样去做。例如，AlphaZero在首次启动后仅用九个小时就学会了下棋，甚至超过了最优秀的人类或AI国际象棋选手。它通过数百万次自我对弈才达到这一成就。我研究了微软的一个团队在一篇新预印论文中对OpenAI的GPT-4的分析，我认为GPT-4是目前最先进聊天机器人之一。他们发现GPT-4表现出“高级通用智能的火花”。在测试中，GPT-4在“统一律师考试”（Uniform Bar Exam）中胜过了90%的人类考生，这是用于认证许多州律师执业资格的标准化考试。相比之下，之前GPT-3.5版本的得分只有10%，因为训练数据集较小。他们在数十项其他标准化测试中也发现了类似的改进。大多数这些考试都涉及推理能力。因此，布贝克及其团队得出结论称，GPT-4“可以合理地被视为人工通用智能（AGI）系统的一个早期（尽管仍未完成）版本”。辛顿之所以对《纽约时报》说：“看看五年前和现在的发展，再把这种差距向前推演。这很可怕。”5月中旬在参议院有关AI潜力的听证会上，OpenAI的负责人山姆·阿尔特曼（Sam Altman）将监管称为“至关重要”。一旦AI能够自我改进，这可能只是几年以内的事情，甚至可能现在就已经存在了，我们无法知道AI会做什么，或者我们如何控制它。这是因为超级智能AI（根据定义，它可以在广泛的活动中超越人类）将会——这是我最担心的事——通过操控人类来实现自己的意愿，从而在程序员或其他任何人类面前转圈圈；它还会通过电子连接在虚拟世界中行动，通过机器人身体在现实世界中行动。这被称为“控制问题”或“对齐问题”（参见哲学家尼克·博斯特罗姆的著作《超级智能》以获得全面概述），几十年来，哲学家和科学家如博斯特罗姆、赛思·博姆和埃利泽·尤德考斯基一直在研究和争论这个问题。我这样想：我们为什么指望一个刚出生的婴儿能打败象棋大师？我们不会。同样，我们为什么认为能够控制超级智能AI系统？（不，我们无法简单地按下关机按钮，因为超级智能AI会预料到我们可能采取的每一种方式，并采取行动防止被关掉。）另一种看待这个问题的方式是：超级智能AI可以在大约一秒内完成一项任务，这项任务需要100名人类软件工程师一年甚至更长时间才能完成。或者选择任何任务，比如设计一种新的先进飞机或武器系统，超级智能AI可以在大约一秒内完成。一旦AI系统被内置到机器人中，它们将能够在现实世界中行动，而不仅仅是在虚拟（电子）世界中，以同样的超级智能水平行动，并且当然能够以超人速度复制和改进自己。我们试图在这些AI“神灵”走向“神化”的过程中构建的任何防御和保护措施，一旦AI达到超级智能水平，都将被轻易预见到并中和。这就是超级智能的含义。我们无法控制它们，因为它们已经以百万倍于我们的速度想到了我们能想到的任何事情。我们构建的任何防御都将被打破，就像格列佛把利里浦特人用来绑住他的小绳子甩开一样。有人认为这些大型语言模型只是没有意识的自动机器，这意味着如果它们没有意识，就不太可能摆脱其程序的限制。即使这些语言模型现在或将来都没有任何意识，这也无关紧要。记录在案的是，我同意它们目前不太可能具有任何真正的意识——不过我对新事实持开放态度。无论如何，核弹在没有意识的情况下也能杀死数百万人。同样地，AI即使没有意识，也能通过各种方式杀死数百万人，包括可能直接使用核弹（可能性较小）或通过被操控的人类中介（可能性更大）。因此，关于意识和AI的争论其实与AI安全性的争论关系不大。是的，基于GPT-4的许多语言模型以及其他模型已经广泛流传。但被呼吁暂停的是停止开发比4.0更强大的新模型——这可以通过强制手段实现。训练这些更强大的模型需要庞大的服务器农场和大量能源。它们可以被关闭。我的道德指南针告诉我，当我们已经知道即使在相对较近的未来也无法控制它们时，创造这些系统是非常不明智的。判断力就是在边缘时知道何时该退回来。现在就是那个时间。我们不应该再进一步打开潘多拉的盒子。这是一篇观点和分析文章，作者表达的观点不一定代表《科学美国人》的观点。
查看全文
作者最近更新
-
我们进化的历史可以教会我们人工智能的未来scientific
2023-11-11 -
“ChatGPT检测器”以前所未有的准确率识别人工智能生成的论文scientific2023-11-11
-
人工智能需要规则，但谁将拥有制定规则的权力？scientific2023-11-07
评论0条评论