观点丨浪潮信息彭震：加速智算系统创新，切实解决大模型算力难题

【网易科技11月7日报道】目前从事大模型研发的公司和团队，普遍面临“买不起、建不了、算不好”的困局。

浪潮信息董事长彭震表示，为解决这一困境，应大力发展普适普惠的智算中心，通过算力基建化使得智算力成为城市的公共基础资源，供用户按需使用，发挥公共基础设施的普惠价值。

在彭震看来，算力系统构建不是算力的简单堆积，而是一项复杂的系统工程，需要从多个方面进行系统化的设计架构。

一是要解决如何实现算力的高效率，二是要解决算力系统如何保持线性可扩展，三是解决算力系统长效稳定训练问题，比如硬件故障导致训练中断、梯度爆炸等小规模训练不会遇到的问题。

系统建成后，大模型在训练过程中，由于开发链条冗长，还面临“算不好”的挑战。大模型训练不仅依赖高质量数据，同时也要解决算法收敛、断点续训、参数优化、模型微调等问题，数据质量、代码调优、执行效率等关乎训练质量的因素至关重要。（江淼）

查看全文

作者最近更新