英伟达提出的“AI Grid”愿景能否成为电信行业的未来？

英伟达提出的“AI Grid”愿景能否成为电信行业的未来？

在最近的GTC大会上，英伟达提出了一项被称为“AI Grid”的战略蓝图，旨在将全球电信网络转型为支持人工智能的基础设施。

“AI Grid”是指一个由互联AI基础设施节点组成的网络体系，覆盖AI工厂、区域接入点、中心机房、移动交换中心及基站等节点。该架构配备完整的AI基础设施，通过高带宽、低延迟、安全的网络实现数据、模型、智能体与工作负载的无缝流动，使整个网络运行如同统一的分布式计算系统。

图源：英伟达官网

目前，T-Mobile US、Comcast 和 SoftBank 等电信运营商已开始探索该概念。英伟达认为，电信运营商现有的铁塔、光纤和频谱资源，使它们具备天然优势，可承载分布式AI推理架构。但这也引发了一个关键问题：如果这一愿景代表未来方向，运营商现在是否应大规模投资于分布式AI基础设施？

对此，ABI Research 发布了一份分析报告，从边缘GPU部署、网络延迟限制和总拥有成本等方面，探讨了“AI Grid”的现实可行性，试图判断其是当前可行的创新路径，还是尚未成熟的未来赌注。

降低网络延迟是否真的是核心驱动力？

在近边缘或远边缘部署GPU，通常被视为减少延迟的关键手段。对于需要“实时”响应的应用场景，推理服务器越靠近用户，响应速度理论上越快。

然而，ABI 的研究指出，这一逻辑对当前主流AI工作负载的适用性有限。生成式AI中更为关键的指标是首字延迟（TTFT），其影响主要来自DNS解析、连接建立、预填充和解码等计算密集型过程，而非网络往返延迟。以一个约1000 token的提示词为例，预填充阶段就可能需要160毫秒，解码阶段甚至可能持续数秒。

这意味着，即使将推理服务器部署至用户附近，对大多数聊天机器人的交互体验提升也有限。Latitude公司首席执行官Guilherme Soubihe曾表示，数据中心级GPU资源大多已被用于训练和微调大语言模型，而这类任务并不依赖边缘部署。

不过，情况并非一成不变。在英伟达GTC大会上展示的演示显示，边缘部署可将聊天机器人延迟从2000毫秒降低至400毫秒。Personal AI首席执行官Suman Kanuganti指出，AI Grid并非针对单次请求，而是面向大规模并发处理的系统。某些测试表明，在P99突发流量下，四节点AI Grid在保持500毫秒以内延迟的同时，吞吐量提升了80%，而集中式部署则无法维持同等性能。

真正依赖低延迟的，是物理AI领域，例如自动驾驶汽车、无人机、机器人、视频监控、智能眼镜和AR/VR设备。这些应用的延迟容忍窗口极小，云端推理难以满足。

ABI 举例说明，当一辆以100公里/小时行驶的自动驾驶汽车面临100毫秒延迟时，相当于有2.8米的“失明”距离。对于需要即时响应的系统，远程推理不可行。同样，最后一公里配送机器人和实时视频分析等应用，也要求部署在边缘。

尽管如此，这些物理AI应用场景大多尚未实现规模化。爱立信美洲思想领导力负责人Peter Linder认为，部署理由应同时来自网络效率提升和未来收入潜力，而非仅依赖单一需求。而Kanuganti则认为语音AI、视频智能和企业级AI服务已是现有用例，基础设施建设应提前布局。

分布式AI网格的建设成本是否合理？

即便延迟和应用场景问题得到解决，AI Grid的财务可行性仍是挑战。ABI指出，在未来两三年内，大规模全国性边缘服务器部署在经济上难以支撑，尤其是基站部署。

以T-Mobile US为例，若在13,000个屋顶站点部署AI-RAN服务器（采用英伟达ARC-1，单价6万美元，每台服务三个基站），并假设到2035年完成全面部署，则总成本可能高达37亿美元。这一数据还包含部署、冷却和辅助系统等费用。

图：T-Mobile US 全面部署AI-RAN服务器的年度总体拥有成本

若能通过九年的收入增长分摊投资，该成本将更易被接受。但对电信运营商而言，37亿美元的投入相当于部署新一代无线网络，需具备强有力的商业支撑。

基础设施的现实也增加了部署难度。Kanuganti指出，通信铁塔并非为高密度计算设备设计，因此先行者通常从具备冗余电源和冷却条件的近边缘设施开始部署。Linder补充说，无线站点通常环境恶劣，因此边缘计算设备需优化功耗、性能和成本。

未来部署路径与技术演进

尽管存在种种限制，ABI预测，AI推理初期将集中于核心网节点（通常少于10个），随后随着延迟需求上升和经济性改善，逐步扩展至基站站点。

视频监控、自动驾驶、最后一公里配送、AR/VR等应用，使得边缘推理成为必要选择，而非可选项。AI Grid的部署，本质上是在为6G所需的分布式计算架构打下基础。

英伟达的“AI Grid”愿景对电信行业意味着什么？

英伟达的“AI Grid”目标是跨计算位置无缝处理AI工作负载，优化成本、性能和用户体验。它根据延迟、成本和策略目标动态分配模型和token的处理位置。

赋能实时AI应用：包括对话助手、AR/VR、在线游戏和工业机器人等，这些应用需要严格控制延迟。“AI Grid”通过将计算部署在用户和设备附近，实现大规模运行。

优化Token成本：多模态生成和高级推理模型可能产生LLM模型百倍以上的Token数量，显著增加网络负担。“AI Grid”通过在成本最优的节点部署Token密集型任务，减少云出口成本。

提升系统弹性和投资回报：AI Grid可运行AI应用和网络功能，优化节点利用率，提高投资回报率并降低运营成本。它将多个节点视为统一系统，实现智能扩展和容错。

支持数据主权和区域合规：企业可定义模型和数据的处理位置，满足本地法规要求，同时利用全球协调能力。

尽管“AI Grid”愿景具有吸引力，但其对电信行业而言并非必赢之局。英伟达在其中的角色明显更具优势，无论架构最终如何落地，其都能从设备销售、软件授权和生态绑定中获益。而对于运营商来说，这场“AI超级周期”的布局仍充满不确定性。

先行者可能难以在短期内实现盈利，更多是在抢占战略位置。但这一位置是否值得在尚未验证收入来源之前投入数十亿美元，仍是悬而未决的问题。

参考资料：
ABI on AI infra | AI grid may be the next telecoms arms race (Analyst Angle)——RCRWireless
Nvidia’s AI grid and the telco dilemma——RCRWireless
What Is an AI Grid?——英伟达官网
英伟达的电信雄心：重塑2万亿美元网络产业——C114通信网
黄仁勋的物理AI野望:将5G网络转变为分布式AI计算机!——物联网智库

原文标题：英伟达给通信企业画的“AI Grid大饼”好吃么？有人算了笔账~