ODCC成果回顾：《跨集群训练（Region Scale AI）技术需求报告》

开放数据中心委员会(ODCC)正式发布《跨集群训练(Region Scale AI)技术需求报告》，为应对人工智能大模型时代对集群训练的全新挑战提供了权威的技术指引。

一、大模型浪潮催生跨集群训练需求

随着 ChatGPT 等生成式人工智能应用的爆发式增长，AI 模型的参数规模和复杂度不断攀升，对算力的需求呈指数级上升。传统单集群训练模式因物理资源限制和算力碎片化问题，已难以满足大模型训练的需求。报告指出，未来五年内，AI 模型参数数量有望达到数万亿级别，集群规模需从数千卡扩展至十万卡乃至更大规模，跨集群训练成为必然趋势。

二、Region Scale AI：打破地域限制的集群训练新模式

报告首次系统性地提出了 Region Scale AI 的概念，即通过整合跨地理位置(如跨数据中心、跨可用区)的计算资源，构建虚拟大规模计算集群，实现万卡乃至十万卡级别的训练能力。这种模式不仅能突破单数据中心的物理限制，还能有效整合碎片化算力资源，提升资源利用率，为大模型训练提供强大支撑。

三、跨集群训练面临的技术挑战

与单集群训练相比，Region Scale AI 面临诸多技术挑战：

▶ 网络组网变化：从带宽无收敛组网到带宽有收敛组网，瓶颈链路问题凸显。

▶ 传输距离变化：长距离传输导致吞吐量下降，时延增加，负载均衡和拥塞管理机制面临挑战。

▶ 流量模式变化：从对称传输到不对称传输，训练卡数量和能力的差异导致流量传输效率降低。

四、技术展望与创新方向

为应对上述挑战，报告提出了计算与网络协同优化的体系化创新思路，展望了多个技术方向：

▶ 基于算力感知的模型布放和算力调度：根据训练卡的存储和算力能力，进行不均匀模型切分和异构算力调度，最大化资源利用效率。

▶ 跨域集合通信算子优化：通过层次化集合通信、灵活资源切片和异构集合通信，优化跨域通信过程，提升集群线性度。

▶ 高吞吐长距确定性传输：采用靶向流量控速、可靠拥塞检测和快速拥塞感知技术，提升长距传输的稳定性和吞吐量。

五、推动行业发展的意义

《跨集群训练(Region Scale AI)技术需求报告》的发布，为人工智能基础设施建设提供了重要的技术参考，填补了跨集群训练领域的标准空白，为行业企业提供了明确的技术发展方向，同时为未来大规模 AI 模型的高效训练奠定了基础，有望推动人工智能技术在更多领域的广泛应用，助力我国在全球人工智能竞争中占据领先地位。

点击https://mp.weixin.qq.com/s/l5FNQ51jxxPLMPEj0dU9BA，下载文档

新技术与测试工作组联系人

李老师：19528282160 邮箱：lijiayuan@caict.ac.cn

ODCC秘书处

刘老师 13488889649(微信同号) 邮箱：liupengyun@caict.ac.cn