2025年是AI行业公认的“推理之年”。
在今年英伟达的GTC开发者大会上，黄仁勋演讲提到，随着OpenAI o1、DeepSeek R1等推理模型的推广应用，市场将需要更多AI芯片作算力支撑。AI推理已代替模型训练成为了推动了算力需求增长的主力，规模增长能“轻松超过去年估计的100倍”。
而受限于美国对华的芯片禁令限制及国产GPU单卡性能不足的差距，国内厂商在算力供给上长期走集群化路线，即将多个芯片通过特定技术连接整合在成单个的“超节点”。在数据中心内部，多个超节点形成一个集群系统，以满足对大规模算力需求较高的任务。
在近日华为举办的鲲鹏昇腾开发者大会上，公司对外宣布，其搭建的“昇腾384超节点”已是业内最大规模的算力集群超节点。该超节点利用华为的高速互联总线技术，将384张昇腾AI GPU芯片连接起来，并在内存带宽、存储容量、高速互联网络等技术上进行了大幅调优。
华为云则在超节点基础上进一步推出CloudMatrix 384。官方信息显示，CloudMatrix 384 单集群算力已经达到300 PFlops，总规模已与英伟达NVL72大致相当（以业内常用的半精度浮点数F16标准衡量，NVL72是将72张B200GPU连在一起）。
据华为昇腾计算业务总裁张迪煊介绍，相比于上一代Atlas A2，基于昇腾384超节点的Atlas A3模型训练性能提升已达3倍。同时，由于采用了新的总线高速互联技术后，超节点通信带宽提升了15倍、通信时延降低了10倍。
而相比于训练，随着推理在算力需求所占的比重越来越大，算力集群针对推理的优化也变得越来越重要。
随着基于强化学习的“长思考”（Deep Thinking）功能与智能体应用(AI Agent）的集中落地，AI模型需要处理的任务更复杂，“思考”过程更长，需要更长时间和复杂计算过程来得出推理结果。
国内厂商为满足这部分的算力需求，同时实现“更大吞吐量”(AI模型一次能同时处理更多任务)和“更低延迟”（一次任务所需时间更短），是行业待解决的关键问题。
张迪煊称，DeepSeek在业内带火的MOE（混合专家）架构目前已经是业内模型主流架构，而MOE包含上百个专家网络的调度，实现大规模专家并行是行业解决AI模型吞吐量和延迟问题的核心。
而昇腾384节点针对MOE所做的优化设计，在业内率先实现了“一卡一专家”，最终做到了15ms的低时延，单卡吞吐量是业界集群的4倍以上。
在全球范围内，今年的算力基建扩张有增无减。近期，在美国总统特朗普访问沙特阿拉伯期间，英伟达、AMD均宣布与当地公司达成百亿美元大单，将在当地未来五年内建设人工智能数据中心工厂，涉及“数十万张GPU卡”规模的算力集群建设。Meta、特斯拉、微软与谷歌也在建设新的十万卡规模数据中心。
国产厂商也在加快建设步伐。张迪煊在大会上表示，华为目前将多个昇腾384超节点组合在一起，已经可以支持10万卡集群的算力需求。