算力需求激增,互联成超级AIDC扩展瓶颈

国家数据局数据显示,2024至2026年,中国日均Token调用量激增1400倍。推理已取代训练成为算力消耗主战场,Agentic推理中解码环节占比高达75%-97%。头部云厂商将“Token量增长100倍、每Token成本下降10倍”写入基础设施设计目标。
首页 新闻资讯 行业资讯 数据中心 算力需求激增,互联成超级AIDC扩展瓶颈

国家数据局数据显示,2024至2026年,中国日均Token调用量激增1400倍。推理已取代训练成为算力消耗主战场,Agentic推理中解码环节占比高达75%-97%。头部云厂商将“Token量增长100倍、每Token成本下降10倍”写入基础设施设计目标。

算力需求激增,互联成超级AIDC扩展瓶颈

需求爆炸暴露三大结构性矛盾:算力与互联、网络与内存、功耗与电力的增速差距持续拉大。当前万卡集群中,跨节点计算等待时间占比超30%。新一代光互联方案正在压缩等待时间,CPO/OIO概念兴起与此直接相关。

内存带宽与容量缺口同样严峻。Agentic会话上下文从单步1万Token膨胀至50万Token,仅KV Cache一项每请求需5GB内存。业界通过内存池化方案探索“网络换内存”路径。单机柜功率从4-8kW跃升至100-500kW,预计2029年逼近1000kW,电力供应成为数据中心新挑战。

工信部与国家发改委在《电子信息制造业发展“十五五”规划》中明确将分布式计算、高带宽内存池等互联技术纳入重点。AI Infra评价标准正从“单柜卡数”转向“架构兼容性”。

中兴通讯选择在系统底座发力:OEX正交超节点方案通过直连替代背板走线,自研珠峰200 RISC-V CPU适配智算场景,长期参与OCP等标准组织推动互连接口兼容。

当算力需求呈指数级增长,互联技术正成为超级AIDC扩展的决定性变量。从芯片到城域,每层互联都面临不同技术约束,开放生态构建能力将决定下一代算力成本结构。