Databricks开源其Dolly大语言人工智能模型
techmonitor
为了将其技术向更广泛的受众开放，企业软件公司 Databricks 推出了 Dolly，这是一种大型语言模型及其相关训练代码，并采用开源许可证发布。尽管该模型基于一个规模较小的基础模型，但该公司称其具备类似 ChatGPT 的功能，并且可以本地运行。Databricks 表示，它成功地从一个较旧的、较小的语言模型中实现了类似的对话功能。（图片：rarrarorro/Shutterstock）这一举措受到 OpenAI 自然语言平台 ChatGPT 成功的启发，该平台在去年 11 月发布后，仅用了几个月时间就成为增长最快的消费者应用之一。自那以后，微软和谷歌等世界顶级公司都纷纷转向并推出生成式和自然语言人工智能工具。“我们证明，任何人只需要用高质量的训练数据在一台机器上用 30 分钟进行训练，就能将一个过时的开源大型语言模型赋予类似 ChatGPT 的神奇指令执行能力，”Databricks 在一篇解释这一决定的博文写道。他们发现 ChatGPT 中所使用的指令执行方式“似乎并不需要最新或最大的模型”，并声称只需 60 亿参数，与 GPT-3 的 1750 亿参数和 GPT-4 或谷歌 PaLM 的更多参数相比，他们就成功复现了 ChatGPT 的功能。“我们认为像 Dolly 这样的模型将有助于实现大型语言模型的普及，使其从只有少数企业能够负担的东西，变成每一个企业都能拥有并定制以提升产品能力的工具，”公司表示。从 LLaMA 到 Alpaca 再到 Dolly，这些大型语言模型像 OpenAI、Anthropic、AI21 Labs 以及微软、谷歌和 IBM 这样的开发人员，通常通过 API 调用来向终端用户收费，以访问他们的大型语言模型。如果你需要频繁地进行大量调用，这可能很快变得非常昂贵。此外，训练这些模型本身也是一项昂贵的工程，需要数以百计的 GPU 小时和数万亿个来自数据集的词。随后，Meta 向研究人员开放了其高质量语言模型 LLaMA 的参数。该模型经过了超过 80,000 小时的 GPU 训练，斯坦福大学在其基础上开发了 Alpaca，并对 50,000 个类似人类的问答数据进行了微调，使其表现出类似 ChatGPT 的功能，尽管所用的训练数据相对较小。Databricks 的 Dolly 也能提供公司所描述的“令人惊讶的指令遵循能力”，但所用模型规模要小得多。Alpaca 团队展示了如何将最先进的模型用作聊天机器人引擎，而 Databricks 表示，即使是对多年之前的模型进行微调，只要采用少量的指令训练数据，也能实现类似的行为。“Dolly 的工作原理是，从 EleutherAI 的一个六亿参数的开源模型入手，稍作调整，从而激发原本不具备的指令遵循能力，例如头脑风暴和文本生成，”公司解释道，“这些能力是通过使用 Alpaca 的数据实现的。”查看所有通讯订阅我们的通讯数据、洞察与分析将直接送达您手中由 The Tech Monitor 团队提供订阅团队惊讶于 Dolly 在基础模型远不如 OpenAI 或谷歌提供模型先进和庞大的情况下，表现得如此出色。“这表明，像 ChatGPT 这样的最新模型在质量上的提升，或许主要归功于集中化的指令遵循训练数据集，而不是更大或更优化的基础模型。”“我们将该模型命名为 Dolly，取自世界上第一只被克隆的哺乳动物多利羊，因为它是一个开源版本的 Alpaca，灵感来自 LLaMA。我们正处于企业人工智能民主化的最初阶段，还有很多工作要做，但我们相信，Dolly 背后的技术为希望以低成本建立自身指令跟随模型的企业提供了令人振奋的新机遇，”Databricks 在一篇博文上写道。对于拥有高度敏感或专有数据的企业来说，使用开源模型而非将数据发送到集中式大型语言模型是更加合理的选择。对某些企业而言，将数据交给第三方可能令人难以接受，因此需要在模型质量和成本与使用内部模型所带来的安全性之间做出权衡。Dolly 将在 Databricks 上提供，训练好的参数将对任何希望尝试该模型的人开放。这是公司一系列宣布消息中的第一个，该公司正在将重点转向帮助企业利用大型语言模型。“我们相信人工智能具有改变每个组织和个体生产力的惊人力量，并欢迎你加入我们的旅程。敬请关注我们近期在该领域的更多动态。”阅读更多：英国人工智能监管白皮书回避了 ChatGPT 相关问题本文主题：人工智能、云计算、Databricks
查看全文
作者最近更新
评论0条评论