开源赋能的 AI。大语言模型正在使问题变得复杂

对于双关语作家来说，终结似乎已近在眼前。至少，这是《科技监测》（Tech Monitor）对“拜登笑话生成器”（pun papa biden）所作的官方结论。这个工具是使用开源的大型语言模型（LLM）开发而成，专门生成那种让人忍不住皱眉的“爸爸式笑话”，并且以美国第46任总统的温柔语调说出。“你听说那个被困在树上的人了吗？”这个开源模型问我们的勇敢记者。我们谦逊的出版物做好了迎接笑点的心理准备，稍作停顿后，它继续道：“他还在那根树枝上。”显然，真正的喜剧演员无需担心自己的饭碗。但即便在幽默方面有所局限，“pun papa biden”也是近年来越来越多引人注目的、使用开源大型语言模型构建的离奇工具之一。这些模型在近期显示出显著的性能和复杂度提升。加州的软件开发者Keerthana Gopalakrishnan是最新AI“总统笑话生成器”的开发者，她说，自己对开源模型RedPajama 3B的惊人能力和易用性感到震惊。这些日益增长的能力令开源社区陷入了生存的十字路口。尽管笑话生成应（大多）被视为无害行为，但开源的大型语言模型也可能被怀有更阴暗动机的人利用。这些模型摆脱了大公司在努力（尽管并不总是成功）设置的安全限制，一些人担心它们可能被用于发起毁灭性的网络攻击、自动传播虚假信息，或者帮助网络诈骗者大规模生成复杂诱骗邮件。许多人认为，尽管存在这些风险，开源模型仍是对Meta和Google等公司全球主导地位的必要制衡。至少，这是大多数语言模型爱好者所拥有的梦想：打造新一代语言模型，它们几乎可以完成其“科技大佬亲戚”所能做的一切，但成本只是后者的小小一部分。来自全球的开发者推动了开源AI的兴起。（图片由REDPIXEL.PL / Shutterstock提供）开源AI与闭源AI之间的较量生成式AI专家Henry Ajder表示，开源软件“长期以来一直是人工智能的支柱”。将代码公开供全世界查看和修改的原则，几乎在AI研究界从未受到质疑，并被归功于推动了技术的快速发展。尽管如此，Ajder表示，虽然大多数开发者分享源代码的初衷是善意的，但他们也在无意中为不法分子提供了“构建一些令人不安和令人反感工具的基础”。OpenAI也持相同看法。尽管其名称中包含“开源”，但该公司现在已成为闭源运作，这意味着热门的ChatGPT和GPT-4背后代码无法复制或修改。此外，该公司似乎对其早期将模型发布到GitHub上的热情感到后悔。“我们错了。”OpenAI联合创始人Ilya Sutskever对The Verge说道，“如果你像我们一样相信，总有一天AI或AGI（通用人工智能）会变得极端、难以置信的强大，那么开源就不合逻辑了。”批评者认为，公司拒绝其旧有理念可能是为了提高利润的一种方便方式——一种营销策略，它赋予了一种神秘和力量感，而许多公司之外的程序员似乎完全有能力精通该技术，而不必担心释放出超级智能。与此同时，另一些人则对闭源工具集提出了深刻的伦理反对意见。他们警告说，AI是一个极其强大的工具，如果只由少数大公司掌控，将可能加剧全球不平等。这并非只是理论推测。目前的开源大型语言模型使研究人员和小型组织能够以远低于其闭源版本的成本进行实验。它们也使全球开发者能够更好地理解这项至关重要的技术。Gopalakrishnan也赞同这一观点。“我认为，降低实验的准入门槛非常重要，”她说，“对这项技术感兴趣的人有很多，他们都渴望创新。”为什么食品与饮料制造商必须寻找更高的灵活性？数字解决方案是政府部门在推动更高效率方面的关键。为什么人力资源部门必须拥抱新工具以应对快速变化的工作场所？开源AI兴起的背后原因是什么？开发者们得到了一个巨大的推动，那就是Meta强大的LLaMA，它于3月3日在线泄露，距离其发布仅一周。这是首次有大型公司的专有大型语言模型被泄露到公众，从而使其实际上成为开源模型。尽管许可规定禁止LLaMA及其衍生模型用于商业用途，但它仍然帮助开发者加快了对模型的理解和实验。随后，许多受LLaMA启发的模型被发布，包括斯坦福大学的Alpaca，它为模型添加了一个指令调整的层。订阅我们的所有通讯数据、洞察和分析直达您的邮箱由《科技监测》团队提供点击此处注册推动开源大型语言模型发展的关键加速器之一是LoRA的普及，它代表低秩调整。这种技术允许开发者以更低的成本和时间对模型进行微调——本质上使研究人员能够在普通硬件上仅用几个小时就个性化一个LLM。Gopalakrishnan在加利福尼亚的一场黑客马拉松上，用LoRA训练“Pun Papa Biden”不到15小时。LoRA还具有可叠加性，这意味着不同贡献者所做的改进可以叠加在一起，从而生成一个高效的协作模型。这也意味着每当有新的数据集可用时，模型可以迅速且低成本地更新。这些迭代改进最终可能使这些模型在成本高昂的Google和OpenAI等公司生产的大型模型面前占据优势。一份泄露的文件，其作者据彭博社报道是一名谷歌的高级软件工程师，表明大科技公司正在感到担忧。“令人不安的真相是，我们没有准备好赢得这场军备竞赛，OpenAI也没有。”文件中写道，“在我们争吵的时候，第三股势力悄悄地吃掉了我们的午餐。”作者迅速澄清，这股势力是开源AI。据OpenAI首席执行官Sam Altman称，训练GPT-4的成本超过了1亿美元。与此同时，加州大学伯克利分校的研究人员在4月初发布了Koala——一个基于LLaMA并完全使用免费数据训练的开源ChatGPT等效模型。研究人员估计，在公共云计算平台上，Koala的训练成本通常低于100美元。通过ChatGPT，OpenAI降低了使用大型语言模型的门槛。而开源开发则降低了对它们微调和个性化的门槛。ChatGPT在2022年11月发布后不到一个月就迅速走红。大型语言模型的未来趋势表明，它们将越来越多地用于各种领域，如医疗、法律、教育和创意行业。然而，随着其能力的增强，监管和伦理问题也变得日益突出。立法者和监管机构正在考虑如何在促进技术创新的同时，防止这些模型被滥用于虚假信息、网络诈骗和恶意攻击等目的。尽管如此，开源社区的成员普遍认为，开源原则和技术创新之间可以找到平衡。关键在于社区如何主动应对潜在的安全风险，而不是等待立法机构采取行动。正如Gopalakrishnan所说，竞争是推动技术进步的重要因素，而开源正是促进这种竞争的有力工具。