中科闻歌王磊：适度缩小参数规模是大模型未来趋势
经济观察网记者 石震方
12月15日，中科闻歌推出全自主知识产权的雅意2.0国产大模型（以下简称雅意2.0），并发布开源技术报告。中科闻歌是中国科学院自动化所孵化的人工智能企业，聚焦复杂数据解析和AI辅助决策。
除了中科闻歌拥有的雅意2.0外，中科院自动化所还拥有自己的大模型紫东太初2.0。接受记者采访时，中科闻歌董事长王磊认为适度缩小参数规模，降低推理成本，将是未来大模型的发展趋势。
雅意2.0拥有数据、模型、应用全自主知识产权，是当前国内为数不多的从头进行预训练的原生大模型。基于240TB（存储单位）多源基础数据，1000余道数据清洗工序，2.65万亿Tokens(“词元”,是语言类模型中用数字来表示单词的最小语义单位)高质量训练数据，确保训练数据语料的安全可控。雅意2.0的中文知识问答能力在AGIEval、CMMLU、MMLU、C-Eval、HumanEval等多个公开测评榜单排名领先；零样本中文信息抽取能力获多项SOTA（最佳性能表现）。
正是基于雅意2.0自主研发的基础，使其可面向行业应用场景进行自主训练和微调，推出政务智能和商业智能行业模型体系，面向安全、媒体、金融、舆情、法律、中医等领域构建行业大模型应用。
不过，针对在减少算力和缩小参数规模的同时如何保证大模型对于某一领域的理解能力问题，王磊介绍说，这依赖于训练阶段的数据选择和模型训练。与此同时，在安全方面，中科闻歌的ToB服务，将模型部署在政企内部，从而保证了数据安全。
对于当前国产大模型的现状和未来，王磊还表示，现如今，国产基础原生模型极其匮乏，自主研发能力不足；政企行业依靠自主可控、安全可靠的原生模型，开源模型安全性不足、二次训练的可操作性不强；下一代AI技术创新将会更加依赖全流程的研发经验积累。
查看全文
作者最近更新
-
小红书CMO谈商业化：传统的营销范式正在失效经济观察网
2023-12-24 -
第十七届iCAN大学生创新创业大赛全国总决赛开幕经济观察网2023-12-25
-
走红一年半，东方甄选是如何蜕变的经济观察网2023-12-24
评论0条评论