技术介绍

无链接 RoCE 架构——专注十万卡 AI 集群网络互联

无链接RoCE框架——专注十万卡AI集群网络互联

凌波智芯是国内首家将"无链接 RoCE"技术在 AI 网卡中实现产品化落地的企业。 传统 RoCE 网卡普遍采用面向连接的架构。GPU 之间每建立一组通信关系,网卡都需要独立维护序列号、传输窗口、重传计时器、拥塞控制参数等硬件状态。这种设计适用于节点规模相对有限、通信关系较为稳定的传统云计算场景,但在大规模 AI 集群中,随着节点数量和并发通信请求持续增长,连接状态会快速膨胀,并大量占用网卡有限的片上 SRAM 资源。 当集群从千卡、万卡进一步扩展至十万卡规模时,传统架构需要维护的连接数量可能呈指数级增长。网卡不仅要承担数据转发,还要处理海量连接状态的创建、查询、调度和更新,由此引发片上存储压力上升、状态缓存频繁换入换出、数据调度效率下降以及有效带宽折损等问题,最终导致 GPU 等待网络数据,制约集群整体算力释放。 针对这一根本性瓶颈,凌波智芯自主研发无链接 RoCE 架构,重新设计 AI 网卡中的连接状态组织方式。 "无链接"并非取消可靠传输,也不是改变 RoCEv2 协议,而是将数据传输请求与细粒度连接状态解耦。对于发送至同一目的节点的多个通信请求,网卡无需分别建立和维护大量独立连接,而是通过统一的目的节点级状态进行承载和管理。 通过将传统面向通信流的连接管理方式,转变为面向目的节点的状态管理方式,无链接 RoCE 架构能够显著压缩连接状态规模,使网卡硬件资源消耗不再随通信流数量同步增长,从根本上缓解十万卡级 AI 集群中的"连接爆炸"问题。 凌波智芯的无链接 RoCE 架构基于原生 RoCEv2 协议构建,完整继承现有 RoCE 和以太网生态。部署过程中,上层 AI 训练框架、通信库及业务应用无需修改,底层交换机也无需感知网卡内部连接管理机制的变化,可在现有网络环境中实现平滑接入。 凭借更低的连接状态开销、更高的片上资源利用效率和更强的并发扩展能力,无链接 RoCE 架构能够将网卡物理带宽更充分地转化为有效通信带宽,为十万卡乃至更大规模 AI 集群提供高性能、开放兼容、可持续扩展的网络互联基础。