英伟达“AI Grid”愿景：通信企业的未来之路是否可行？

英伟达“AI Grid”愿景：通信企业的未来之路是否可行？

在一年一度的GTC大会上，英伟达提出了一个名为“AI Grid”的宏大愿景，旨在将全球电信网络重塑为人工智能（AI）基础设施。所谓“AI Grid”，是指由多个AI基础设施节点构成的互联网络，涵盖AI工厂、区域接入点、中心机房、移动交换中心以及基站站点。

这些节点配备了完整的AI基础设施，并通过高带宽、低延迟和安全的网络连接，实现数据、模型、智能体以及工作负载的无缝流动，使整个系统具备分布式系统的运行能力。

图源：英伟达官网

目前，包括T-Mobile US、Comcast和SoftBank在内的多家电信运营商正在探索该架构。英伟达强调，电信运营商现有的基础设施，如铁塔、光纤和频谱资源，使其具备天然优势，适合承载分布式推理平台。

然而，问题在于：如果这一愿景真正代表未来，电信运营商是否应该立即投入巨额资金建设分布式AI基础设施？对此，市场研究机构ABI Research发布了一份分析报告，深入探讨了AI Grid在边缘GPU部署、网络延迟限制以及总体拥有成本等方面的可行性。

网络延迟真的是部署边缘GPU的核心理由吗？

将GPU部署在网络边缘，通常被认为可以显著降低延迟，从而提升实时应用的性能。然而，ABI研究指出，对于当前主流的AI工作负载，尤其是生成式AI，网络延迟并非决定性因素。

生成式AI中，首字延迟（TTFT）是衡量性能的关键指标，而该指标更多受DNS解析、隧道建立、预填充和解码阶段等影响，这些过程的计算密集性远高于传输延迟。例如，一个包含1000个token的提示词，仅预填充阶段就可能耗时160毫秒，而解码阶段甚至可能持续数秒。

这意味着，即便将推理服务器部署在用户附近，对于常规聊天机器人交互的体验提升并不明显。Latitude公司CEO Guilherme Soubihe指出，大多数数据中心级GPU资源已经被超大规模云厂商用于训练和微调大语言模型，而这些任务并不依赖边缘部署。

不过，情况并非一成不变。在英伟达GTC演示中，边缘部署使聊天机器人的往返延迟从2000毫秒降至400毫秒。Personal AI CEO Suman Kanuganti认为，AI Grid并非针对单次交互优化，而是面向高并发场景，其真正价值在于为大量会话同时提供稳定服务质量。

物理AI领域让延迟成为架构刚需

在某些物理AI应用场景中，如自动驾驶、配送机器人、视频监控、智能眼镜和AR/VR设备，延迟窗口非常狭窄，云端推理几乎无法满足需求。ABI提供了一个直观示例：若延迟为100毫秒，一辆时速100公里的自动驾驶汽车将有2.8米的“失明”距离。

同样的逻辑也适用于其他对实时性要求极高的应用，例如最后一公里配送机器人和实时视频分析。尽管如此，这类物理AI的规模化落地尚需数年时间。

爱立信美洲思想领导负责人Peter Linder认为，部署边缘AI的动因应来自网络效率提升与未来收入潜力的双重驱动。而Kanuganti则认为，语音AI、视频智能和企业AI服务已具备成熟部署条件，若自动驾驶等应用确实具备快速落地的潜力，基础建设就必须提前布局。

建设成本是否可行？

即使在技术上具备优势，AI Grid的财务可行性仍是挑战。ABI预测，在未来两至三年内，大规模部署边缘服务器以降低标准延迟在经济上难以持续。

以T-Mobile US为例，若在13,000个屋顶基站部署AI-RAN服务器（每台设备支持三个基站，单价6万美元），到2035年完成全部部署，累计成本将达到37亿美元，包括冷却和辅助成本。

图：T-Mobile US在屋顶站点部署GPU服务器的年度总体拥有成本

尽管通过九年的收入增长可以部分分摊成本，但37亿美元的投入对电信运营商来说仍是一笔巨大支出，尤其当其规模与新一代无线网络部署相当。

此外，当前通信铁塔并非为高密度计算设备设计，这也促使先行者优先选择具备电源、冷却和安全条件的有线近边缘设施。Linder指出，无线电站点环境恶劣，通常依赖基于ASIC的计算单元，以优化功耗与成本。

硬件效率决定边缘AI的未来

无论是Kanuganti还是Linder，都认为远边缘的建设依赖于硬件能效的提升、边缘AI专用硬件形态的发展，以及AI-RAN架构的成熟。

ABI预测，初期AI推理部署将集中在核心网节点（通常一个国家内不超过10个），随后随着延迟需求增加与经济性改善，逐步扩展至基站。视频监控、自动驾驶、机器人等应用正推动边缘推理成为架构上的必然。

AI Grid的早期部署，旨在为电信网络面向6G所需的分布式计算能力打下基础。

“AI Grid”愿景是否值得投入？

英伟达设想的AI Grid，旨在实现AI工作负载的跨计算位置无缝处理，从而优化成本、性能与用户体验。其核心在于依据延迟、成本与策略目标动态分配计算资源。

• 赋能实时AI应用：如AR/VR、在线游戏和工业机器人，这些应用要求严格延迟控制，AI Grid可通过部署靠近终端的边缘节点实现规模化运行。
• 优化Token成本：多模态模型和高级推理模型产生的token数量远超传统LLM，AI Grid通过在最具成本效益的节点部署，减少带宽消耗与数据出口成本。
• 构建地理弹性架构：AI Grid可同时运行AI应用与网络功能，优化节点利用率，提高投资回报率并降低运营成本。
• 满足区域合规与数据主权需求：企业可定义数据和模型的执行与存储位置，兼顾区域法规与全球协调。

从上述优势可以看出，英伟达正在构建一个电信运营商在新型AI架构中扮演关键角色的叙事框架。然而，这一框架对英伟达的收益远超其他参与方。无论AI Grid最终如何落地，英伟达都能通过设备销售、软件授权与生态系统建设获得最大收益。而对电信运营商来说，投入是否值得，仍然是个未解之谜。

当前率先布局的运营商或许更多是在“AI超级周期”中抢占战略位置，而非立即追求财务回报。在收入来源尚未验证之前，是否值得投入数十亿美元，仍然是一个悬而未决的问题。

参考资料：
ABI on AI infra | AI grid may be the next telecoms arms race (Analyst Angle)——RCRWireless
Nvidia’s AI grid and the telco dilemma——RCRWireless
What Is an AI Grid?——英伟达官网
英伟达的电信雄心：重塑2万亿美元网络产业——C114通信网
黄仁勋的物理AI野望:将5G网络转变为分布式AI计算机!——物联网智库