90万核、4万亿晶体管，晶圆级芯片再进化！英伟达竞品推出第三代，代码锐减97%，GPT-3训练仅需565行！
Cerebrass，一家致力于开发人工智能超级运算的公司 Systems，继2019 WSE是世界上最大的晶圆处理器、第二代WSE-22021年推出 最近，处理器再次发展，推出了第三代晶圆处理器WSE-3（Wafer Scale Engine 3 ）以及由该芯片组成的芯片 CS-3 超级计算机系统。这是一个突破 AI 晶圆芯片的性能是其前身WSE-2的两倍。该新设备采用台积电5纳米工艺，包括 4 万亿晶体管；90万人工智能核心；44GB 片上 SRAM；峰值性能为 125 FP16 PetaFLOPS。Ceberas 的 WSE-3 它将用于训练一些业内最大的人工智能模型。 WSE-3 为 Cerebras 的 CS-3 超级计算机提供动力，可用于训练多达 24 万亿参数 AI 模型，这个比由 WSE-2 和其他现代 AI 超级计算机为处理器提供动力，实现了重大飞跃。超级计算机可以支持 1.5TB、12TB 或 1.2PB 外部存储器使其能够在没有分区或重构的情况下在单个逻辑空间中存储大量模型，从而简化培训过程，提高开发人员的效率。 与英伟达H100相比，在可扩展性方面，CS-3可配置多达2048个系统的集群。这种可扩展性使其能够在一天内通过四个系统进行微调 700 1亿参数模型，同时从头开始全面训练Llama 70B 模型。最新的 Cerebras 提供正确的软件框架 PyTorch 2.0 本地支持，也支持动态和非结构化稀疏，可以加速训练-比传统方法快八倍。Cerebras 强调了 CS-3 卓越的功效和易用性。尽管性能提高了一倍，CS-3 功耗仍与前身相同。它还简化了大型语言模型 (LLM) 的训练，与 GPU 相比之下，所需代码减少了 97%。例如，据该公司称，GPT-3 大小模型在 Cerebras 只需要在平台上 565 行代码。公司已经看到人们对了 CS-3 对各部门(包括企业、政府和国际云)有浓厚的兴趣和大量积压订单。Cerebras 还与阿贡国家实验室、梅奥诊所等机构合作，强调 CS-3 在医疗保健领域的潜力。 Cerebras 和 G42 随着公司之间的战略合作伙伴关系 Condor Galaxy 3 扩大了建设，Condor Galaxy 3 配备人工智能超级计算机的人工智能 64 个 CS-3 系统(包括多达 57、60万个核心)。两家公司共同打造了世界上最大的两台人工智能超级计算机：Condor Galaxy 1 (CG-1) 和 Condor Galaxy 2 (CG-2)它们位于加州，综合性能为 8 ExaFLOPs。合作的目标是在全球范围内提供数十个 exaFLOP 人工智能计算能力。G42 公司首席技术官 Kiril Evtimov 说：“我们和 Cerebras 战略合作伙伴关系正在促进 G42 创新在加速全球人工智能革命方面发挥了重要作用。Condor Galaxy 3 这是我们的下一代 AI 拥有超级计算机 8 exaFLOPs，目前，我们的系统正在建设中，很快就会使我们的系统成为可能 AI 计算总产量达到 16 exaFLOPs。参考链接：https://www.tomshardware.com/tech-industry/artificial-intelligence/cerebras-launches-900000-core-125-petaflops-wafer-scale-processor-for-ai-theoretically-equivalent-to-about-62-nvidia-h100-gpus
查看全文
作者最近更新
-
押宝中高端电子烟！共达电声发布MEMS微压差气流传感器传感地图
03-22 16:43 -
温度传感器安装时常见的错误传感地图05-08 09:14
-
新华社报道：我国科学家在这一核心传感器件获突破传感地图2024-11-11
评论0条评论