美格智能团队成功在高算力AI模组上运行大模型Stable Diffusion

我们在上一篇文章的导语中提到：”AI人工智能这个已经存在了数十年的概念，已然成为未来几十年人类社会发展的核心变量。面对变革，每个人、每个企业都需要思索，如何与时代的潮流，一同跃进“。近日，美格智能研发团队成功在自研高算力模组上运行文生图大模型Stable Diffusion，而这仅仅是我们将思索变为实际行动的第一步，AIGC的大时代，才刚刚开始！

▌不局限云端，边缘计算+终端侧AI的技术路径已经成熟

2022年以来，AIGC作为一项变革性的技术，正在逐步颠覆人类原有的工作、生活、创作及娱乐方式。以ChatGPT、Midjourney、Stable Diffusion、文心一言等为代表的各类生成式大模型，能在数秒之内完成包括搜索、绘画、创作、表格编辑、代码编写等各项任务，并且各项能力正在不断进化中。数据显示，目前至少已有上千个可用的生成式 AI 应用，这一切都表明，AIGC正迎来史无前例的爆发期。

拥有数十亿参数的众多生成式 AI 模型对计算架构及算力强度提出了极高的需求。之前的情况是，无论是优化参数的AI训练，还是执行模型的AI推理，都一直受限于大型复杂模型及端侧算力部署不足，而与云端绑定。

初步估计显示，生成式AI市场规模潜力巨大，将广泛覆盖生态链上的各个参与方。这一巨大市场机遇，势必驱动不同类型的计算架构及算力基础来源同时演进，从而满足大规模生成式 AI 日益增长的算力需求。

全球头部玩家的近期动作也表明，算力建设和算力竞争的趋势才刚刚开始，所有人都在起跑。高通于不久前宣布完成了全球首个运行在Android手机上的Stable Diffusion终端侧演示，这是首次由第二代骁龙8移动平台支持的大型语言生成式AI模型在端侧运行的实例，充分说明了随着端侧算力加强及模型优化技术结合，各类高算力终端支持大模型运行只是时间问题。

其后，高通官方关于转型边缘计算公司的表态，以及大力推动混合式AI的举措，都表明边缘计算+终端侧AI的技术和产品路径正在迅速变为现实。

▌高算力AI模组能力再进化，成功运行Stable Diffusion大模型

美格智能作为业界最早提出智能模组概念的企业，持续关注算力发展对模组产业带来的深刻变革，也最早提出：随着各行各业对于算力需求及应用的爆发式增长，高算力AI模组将成为智能模组发展的一个子集，“无算力不智能”正在成为模组3.0时代的重要发展趋势，并将高算力AI模组产品独立组建产品团队，聚集资源不断投入。

近日，美格智能高算力AI模组产品团队，充分发挥软硬件一体协同开发的能力，在基于高通骁龙800平台的自研算力模组上成功运行文生图大模型Stable Diffusion，或许是行业内首个在算力模组上运行推理大模型的实例。

Stable Diffusion是一个非常出色的从文本到图像的生成式AI大模型，能够基于任何文本输入，在数十秒内创作出逼真图像。Stable Diffusion的参数超过10亿，迄今为止主要限于在云端运行。

▲美格智能高算力AI模组SNM970 EVB开发板

美格高算力AI模组团队很早就前瞻性地开展了大模型在算力模组端侧运行的相关研究工作。运行Stable Diffusion大模型的高算力模组，在硬件上选用了高通骁龙800系列的高算力SoC处理器，在软件上使用了高通AI模型增效工具包(AIMET)实现模型转换，在无需重新训练的情况下，克服了模型参数从FP32压缩到INT8所产生的精度损失，从而让大模型在算力模组上始终保持高效运行。

美格智能研发团队在硬件和软件层面的进一步优化，保证大模型运行精度的同时，有效降低了内存带宽消耗，充分发挥了高算力模组AI硬件的最大效能，最终顺利在算力模组端侧跑通了Stable Diffusion大模型。

▲大模型生成图片实例，提示词为：a dog wearing a spacesuit, running in space

▌创领高算力AI模组发展，以产品力驱动生成式AI在端侧部署

美格智能持续深耕高算力AI模组产品线，至今已经历经三代产品演进。依靠强大的软硬件一体研发能力，美格智能持续推进高算力AI模组的AI硬件不断升级。美格研发团队在AI应用场景开发、AI性能优化和AI低功耗程序研发等领域的设计研发能力处于行业领先水平，相关算力产品在各类核心场景大规模应用。

在云计算服务器领域，美格智能推出的高算力AI模组基于强算力、低功耗芯片及美格智能特有的定制化解决方案，完美应用于领先型的arm架构阵列服务器集群，在完成同等计算任务下，性耗提升2倍以上。

在智能机器人领域，高算力AI模组能轻松匹配智能机器人及下一代具身智能机器人在算力方面的高要求，同时配备丰富的外围接口，以AI模组的形式将语音识别、机器视觉、导航、定位、避障和多模态技术通过各种传感器植入到终端侧，真正实现机器人的AI觉醒。

在工业视觉、AI零售等领域，美格智能推出的标准化AI套件，在AI加速方面，可支持变革性INT4 Al精度格式，在持续AI推理方面实现与前代相比60%的能效提升。同时可对多路摄像头进行视频结构化分析，快捷实现人、事、物等智能感知、数据分析、安全管理等性能，快速实现对众多传统产业的AI嵌入。

作为在行业内最早布局算力模组产品的企业，美格智能高算力AI模组产品实现了从1.2T到近48T产品全覆盖，充分满足不同行业算力需求。研发团队在大算力平台与不同行业算法对接、AI运行低功耗控制、5G+AI融合开发等领域有众多积累。

随着AI大模型首次在自研算力模组产品上成功运行，极大拓展了算力模组的能力边界，积累了大模型在端侧部署和应用的前瞻经验，将真正驱动生成式AI在端侧和边缘侧的大规模部署，也让边缘计算+终端侧AI的技术图景越来越清晰！

物联网连接数量在过去的十年间呈指数级增长的发展态势，曾经写在书上的“万物互联”已然成为现实。无处不在的连接为人类社会的数字化和智能化已经筑下了坚实基础，而当连接与算力融合的时候，亿万个IoT节点的算力汇聚，将构建最为庞大的算力网络，与云端算力互联互通，共同构建AIGC等跨时代技术的算力底座。