国产算力集群实现万亿级大模型全参数训练，技术突破引关注
快科技
国产算力集群实现万亿级大模型全参数训练，技术突破引关注
近日，深圳河套学院AI训练平台项目团队联合哈尔滨工业大学（深圳）、深圳市大数据研究院及华为GTS等多家机构，围绕国产算力在大模型训练中的应用展开联合攻关。
在短短一个月内，项目团队依托昇腾910C国产算力集群，成功完成了DeepSeek-V4-Pro模型的全参数续训练与SFT（监督微调）的稳定运行。训练过程累计完成超过1500步，模型算力利用率（MFU）超过30%，关键训练算子效率提升了约14%。
此次实践是业界首次由第三方机构基于国产算力集群完成的DeepSeek-V4-Pro全参数后训练工程，标志着国产AI基础设施正逐步从推理部署和轻量化微调，迈向超大规模模型的全参数后训练新阶段。
DeepSeek-V4-Pro是一款拥有1.6万亿参数的MoE（混合专家）开源旗舰模型，采用了CSA+HCA混合稀疏注意力、mHC连接等创新机制。相比上一代DeepSeek-V3/R1，该模型对国产训练框架提出了更高的技术挑战。
通过多方协作，项目团队已在千卡级昇腾910C国产算力集群上实现了DeepSeek-V4-Pro全参数后训练的稳定运行。模型迭代超过1500步，训练过程中未出现迭代跳过或NaN异常。关键训练算子效率较初始版本提升约14%，最终MFU稳定达到34.9%，单步训练时间稳定在27秒。团队还完成了DeepSeek-V4-Flash的全参数续训练与SFT完整链路。
此次成果并非一次性的演示，而是具备可复现、可工程化交付的万亿级MoE模型国产算力稳定训练能力。项目已完成工业级自动化运筹建模场景的闭环验证，表明国产算力在短周期、低成本条件下，能够完成行业大模型的专项增强训练。
从技术角度看，项目实现了三大突破：一是构建了覆盖权重、梯度、激活、优化器状态的分布式承载方案，实现了数据并行、张量并行、流水并行与专家并行的协同工作；二是优化了MoE路由与稀疏注意力算子，建立了专家负载均衡机制，有效缓解通信拥堵与负载失衡；三是构建了全指标可视化的长稳监控体系，在多日连续训练中未出现一次Loss失控或NaN值。
在能力验证方面，项目设计了一项具有挑战性的实验，旨在增强大模型的数学建模能力。团队搭建了一条SFT建模数据生产工作流，生成了3000条高质量数学建模任务SFT样本，覆盖4类目标任务与3种问题形态。
训练结果显示，模型LM Loss收敛至0.2056，MTP 1 Loss收敛至0.2538，梯度曲线保持平稳。Benchmark评测表明，模型四项核心指标均有显著提升，其中ORGEval WL指标提升超过5个百分点，复杂推理与建模能力明显增强。
查看全文
评论0条评论