SambaNova Systems推出全新AI芯片SN40L可运行5万亿参数模型
SambaNova Systems宣布推出名为SN40L的全新芯片，为全栈大语言模型（LLM）平台SambaNova Suite提供动力。这款芯片具有革命性的内部设计，包括密集和稀疏计算、大内存和快速内存，使其成为一款真正的“智能芯片”。
SN40L芯片由TSMC制造，可以为5万亿参数模型提供256k+的序列长度，通过整合技术的新突破，大大提高了模型质量，同时实现更快的推理和训练速度，降低了总拥有成本。SambaNova Systems的联合创始人兼CEO Rodrigo Liang表示，这对全球2000家企业来说是一个改变游戏规则的产品。
SN40L芯片的独特之处在于它可以同时处理高带宽内存（HBM）和动态随机存取内存(DRAM)，使人工智能算法能够选择最适合当前任务的内存，从而直接访问远比以前更多的内存。此外，通过使用SambaNova的可重构数据单元(RDU)架构，芯片设计以更智能的计算方式高效运行稀疏模型。
SambaNova Suite中的新模型和功能包括Llama2变种（7B、70B），使客户能够自适应、扩展并运行最佳的LLM模型，同时保留这些模型的所有权。此外，还有BLOOM176B，这是开源社区中最准确的多语言基础模型，使客户能够通过各种语言解决更多问题，同时还可以扩展模型以支持新的低资源语言。
SambaNova还包括用于基于向量的检索增强生成的新嵌入模型、世界领先的自动语音识别模型以及其他多模态和长序列长度功能。此外，还提供了推理优化系统，配备了3层数据流内存，以实现高带宽和高容量。
版权声明：除特殊说明外，本站所有文章均为 字节点击 原创内容，采用 BY-NC-SA 知识共享协议。原文链接：https://byteclicks.com/53186.html 转载时请以链接形式标明本文地址。转载本站内容不得用于任何商业目的。本站转载内容版权归原作者所有，文章内容仅代表作者独立观点，不代表字节点击立场。报道中出现的商标、图像版权及专利和其他版权所有的信息属于其合法持有人，只供传递信息之用，非商务用途。如有侵权，请联系 gavin@byteclicks.com。我们将协调给予处理。
查看全文
作者最近更新
-
盘点未来传感器的8大趋势传感学院
2024-07-13 -
安徽国芯成功研发出全球首款商用钾离子电池传感学院2024-07-09
-
宁德时代：欧洲市场份额已达约35%传感学院2024-07-04
评论0条评论