英伟达GPU弱爆了！世界第一AI芯片升级4万亿晶体管、90万核心
3月14日消息，Cerebras Systems发布了他们的第三代晶圆级AI加速芯片“WSE-3”(Wafer Scale Engine 3)规格参数更疯狂，性能在功耗和价格不变的前提下翻了一番。
基于台积电16nm工艺，2019年第一代WSE-1面积46225平方毫米，晶体管1.2万亿，AI核心40万，GB18万 支持9PB/s内存带宽、100Pb/s互连带宽的SRAM缓存，功耗高达15千瓦。
2021年第二代WSE-2升级台积电7nm工艺，面积不变或46225平方毫米，晶体管增加到2.6万亿，核心数增加到85万，缓存扩大到40GB，内存带宽20PB/s，互连带宽220Pb//s。
今天的第三代WSE-3再次升级为台积电5nm工艺，面积没有说，但应该是一样的，毕竟，制造芯片需要一个晶圆，不可能太大。
晶体管数量继续增加到惊人的4万亿，人工智能核心数量进一步增加到90万，缓存容量达到44GB，外部内存容量为1.5TB、12TB、1200TB。
乍一看，核心数量和缓存容量增加不多，但性能实现了飞跃。人工智能峰值计算能力高达125PFlops，即每秒12.5亿浮点计算，堪比顶级超级计算。
它可以相当于GPT-4、下一代人工智能模型，Gemini超过十倍，可以在单一逻辑内存空间中存储24万亿参数，无需分区或重构。
用它来训练1万亿参数大模型的速度，相当于用GPU训练10亿参数。
四个并联，一天可以调整700亿参数，最多支持2048路互联，一天可以完成Llama 训练700亿参数。
WSE-具体功耗、价格未公布，根据上一代情况，应超过200万美元。
查看全文
作者最近更新
-
流量计的应用，你想到了几种？科技消息
03-21 08:13 -
AMD宣布推迟发售锐龙9000系列处理器科技消息2024-07-25
-
中航红外新一代化合物半导体研制基地项目竣工科技消息2024-07-11
评论0条评论