分享到：

• 微信
• 微博
• QQ

模型参数量膨胀，成为整个国产芯片生态奔着“系统级主权”竞争一路狂奔的动力。本届WAIC（世界人工智能大会）上，这一趋势表现得尤为明显。

Kimi在WAIC前夕发布了2.8万亿参数全球最大规模开源模型。多名国产算力业界人士预判，模型参数量还会增大。要支撑大参数模型的训练和推理需求，不能仅依赖单张算力卡性能迭代，算力集群必须进行系统级优化，超节点是绕不过去的一环。

相比去年WAIC超节点还是少数厂商谈论的新颖概念，今年记者在WAIC世博展览馆H2馆走了不到20分钟，就看到至少8个展商的超节点产品——华为、新华三、燧原科技、沐曦、摩尔线程、中兴、阿里、昆仑芯。壁仞也发布了新一代超节点方案。

今年各厂商对超节点的思考更加深入。为突破超节点瓶颈，业内加速部署光互连技术。

模型参数向5万亿演进

模型规模在增大，算力系统性能必须随之提升。

“（2.8万亿参数）是目前国内最大，按照这个趋势，明年将会出现5万亿参数模型。”壁仞科技AI框架架构副总裁丁云帆向第一财经记者表示。沐曦股份研发副总裁黄向军也向记者表示，对于明年大模型参数量规模，业界激进一些的预测已经达到5万亿、6万亿级别，“Scaling Law（缩放定律）还在发挥作用，剩下的要看产业链和模型公司如何定义、算力就绪度如何。”

黄向军向记者解释，7000多亿至1万亿参数的模型采用典型的PD分离（一种大模型推理优化技术架构）部署时，P和D（预填充和解码）节点分别用16张左右的算力卡就能支持，但当参数量超万亿，所需算力、显存容量和卡的数量都成倍增长。

算力卡数量增加，彼此间的协同成为影响性能的关键因素，卡间、机柜间的线性连接容易导致算力性能损失。这正是超节点着力破解的核心难题。在一个超节点内，可以通过统一卡间、机间通信带宽等方式降低沟通成本，让大量算力卡如同一台计算机一样运行，超节点之间再进行连接，成为一个更大的算力集群。

ebc外汇官网入口

随着模型所需的算力集群增大，特别是在十万卡算力集群中，超节点的重要性凸显。摩尔线程高级副总裁董龙飞告诉记者，万卡集群尚可以不用超节点，但十万卡集群不能靠堆砌1000台服务器来运行，需要将多个超节点组成POD（节点），再由多个POD组成集群。

不止模型参数增大，业界认为，混合专家模型架构的特点和动辄上百万的长文本，也需要多个算力卡、服务器作为一个紧密连接的整体运行。丁云帆告诉记者，超节点成为刚需，关键在于满足专家并行高互连要求，提升带宽和通信能力。

“让256张GPU像一张GPU一样推理，第一张GPU可以读第256张GPU的显存，就像256个画家在一块布上一起画画。”董龙飞表示，这样推理快速且成本更低，token（词元）生成推理大型系统也需要超节点。

在国内的算力叙事中，做超节点另有一层深刻含义。黄向军告诉记者，海外顶尖借助最先进制程芯片打造大规模算力，迭代上更容易Scale（扩大规模），而受限于算力供给不足，国内模型企业Scale前需要先把工程化链路做到极致，切实的解决方案是在系统能力上弥补单芯片的不足。

记者了解到，国内的超节点方案已在科学计算等AI场景有落地案例。更多超节点方案在本届WAIC上亮相。

例如，壁仞发布的下一代NPO光互连、分布式解耦架构超节点方案支持单个超节点1024卡Scale-up（纵向）扩展，覆盖互联网大厂定制需求和中小客户需求；摩尔线程展示的超节点MTT C256用一层Scale-up网络把256张GPU连成一台数据中心级计算机，通过MTLink协议将卡间通讯降至亚微秒级别，面向训练、推理等；沐曦发布的新一代AI超节点曦景S600单个机柜有64卡全互连全交换，支持扩展至万卡级集群，面向大模型训练、推理及智算中心建设。

国内已有领先方案

作为算力集群的关键设施，国内超节点方案在与海外的竞赛中表现如何？英伟达超节点部署较早且算力基础设施出货量大。但记者了解到，技术路线上，国内已部分抢跑。

超节点中的高密度机柜是一个关键设施，已落地的机柜电互连方式包含Cable Tray（传统线缆）和正交背板。丁云帆向记者介绍，Cable Tray的计算和交换节点通过柜内高速线缆连接，单柜最高64卡，可做双柜互连，达到最高128卡，然而，这种路线的缺点在于不能无限扩展且生产、运维存在困难。一个原因是，线缆多且绑在一起，出现故障只能整根更换，且因线缆只能连1~3米，信号传输距离受限。

这正是英伟达GB300 NVLink 72和AMD Helios UALoE72所采用的路线。这两种已落地的方案为72卡，业界人士告诉记者，海外尚无更大规模的方案。

正交背板则是为解决Cable Tray的信号问题而诞生。丁云帆告诉记者，这种方案的交换与计算单元通过背板90度正交直连，虽然规模不超过64卡，但不需线缆，运维和生产相对简单。海外还没有正交背板路线的方案，而国内同时在做Cable Tray和正交背板，正交背板路线走得比国外快。

记者了解到，壁仞基于BR200系列和BLink2.0 超节点互连协议构建的超节点产品中，就包括正交背板方案的产品。沐曦曦景S600采用了正交背板方案，燧原科技、摩尔线程、中兴、阿里也有正交背板超节点。

除了技术路径差异，董龙飞告诉记者，国内与海外超节点生态最大的不同是，英伟达单家整合产业上下游一体化构建超节点，而国内超节点方案更像是产业协同的标准化结果。以摩尔线程的超节点为例，GPU来自摩尔线程，CPU来自其他厂商，整个系统由很多合作伙伴一起完成。

但不论是国内还是海外的方案，超节点厂商都需要面临不低的生产难度，需要解决工程化难点。

董龙飞告诉记者，随着超节点在算力、散热、功耗方面指标数量级的提升，互联、软件互动、计算、可靠性、散热方面存在考验。供应链也处在较为紧张的状态。

“规模较大的超节点动辄达到亿元级别。坏一张卡，上亿的设备可能就不能用了。”董龙飞说，超节点功耗也非常大，两三年前国内一台普通机柜功耗只有6KW，现在一台高密度机柜功耗48KW、一个超节点功耗达400KW。此外，要保证超节点的可靠性，且让GPU、服务器、交换节点能解耦，保证某个部件故障时不至于停掉整台机器，还有很多工程性问题要解决。

“集群上到万卡乃至十万卡级别，模块、网卡、磁盘等问题会显现，整个集群能持续稳定工作的时间直接决定整个系统的能力。”黄向军告诉记者。

与超节点有关的制造困难，市场上偶有消息。近期传言称，英伟达下一代超节点架构NVL576因PCB问题遇到生产困难。以英伟达的超节点方案为例，有业界人士告诉记者，其Cable Tray高密度机柜在生产时不能断掉任何一根线，制造难度不低。

走向光互连

算力基础设施变得更加复杂，考验算力厂商的系统设计能力。除了现有超节点方案的制造工程性问题需要解决，还需要回答另一个问题：未来如何扩大单个超节点的规模、更进一步提升集群的算力性能？光互连被认定为一种关键技术。

目前在超节点中，不少主流高密度机柜仍采用电互连方式。但电互连存在局限性。正交背板和Cable Tray电互连都存在规模扩展的局限，作为一个超节点域只支持128卡以内。一些超节点方案于是采用光电混合二级架构，在采用电互连的超节点域之间用光互连，例如英伟达的NVL576、国内腾讯的ETH-XUltra和字节的大禹超节点3.0。但这种混合架构未来还需进一步迭代。

“电互连在物理层面上面临瓶颈，传输距离成为电互连的核心制约，在3米内尚可，再远信号就有损耗。而当模型参数继续增大，64卡超节点域不够用，必须达到128卡以上。”丁云帆向记者表示，同时，随着算力集群通信量增大，端口速率将从100Gbps、200Gbps往400Gbps、800Gbps逐步升高，例如英伟达产品的端口速率已达到200Gbps级别，没有光技术未来很难再扩展，光互连成为必然。

业界也在考量不同的光互连方案。几种方案包含传统可插拔光模块FRO、线性驱动可插拔光模块LPO、近封装光学NPO和共封装光学CPO。其中，FRO在转发延时、功耗方面存在局限，LPO功耗和延时表现较好，但丁云帆告诉记者，LPO信号容易变差，基本只有能定制交换机、光模块以便调优信号质量的互联网大厂在用。此外，将光引擎和GPU芯片一同封装的CPO方案有多种优势，但仍处在前沿技术攻关阶段。

丁云帆告诉记者，目前NPO方案相对具备产业可行性且较为热门，今年多家厂商都在做NPO光互连技术攻关，处在样机开发阶段。壁仞则提出新一代NPO光互连方案，将GPU模组和NPO光引擎封装在一个板卡中，光信号不经过PCB板，机柜不需定制。他告诉记者，业界对NPO方案已有共识，技术具备可行性，只是研发仍需时间，预计NPO光互连方案明年将逐步落地，2028年基于NPO光互连的超节点落地将实现规模化。

本届WAIC上，超节点的演进映照着国产算力从“堆卡”走向“组网”的系统思维转变。单卡算力的竞争与系统级算力集群协同效率的比拼，将定义算力新格局的边界。

文章作者

• 郑栩彤