[25'ODCC成果]-基于CXL方案的AI应用优化与研究

2025-08-08

随着大模型技术的持续演进，企业在进行高性能计算时普遍面临着显存容量的刚性约束。千亿级参数大模型往往需要TB级的显存，在这种情况下通信延迟明显增加，显著拖累集群效率。更严峻的是，显存不足直接限制模型创新能力：稀疏专家模型(MoE)、长上下文窗口(128K+)等前沿架构因显存需求激增而难以落地。当前硬件迭代速度远落后于模型膨胀需求，显存墙正成为比算力短缺更紧迫的产业级瓶颈。

CXL(Compute Express Link)技术的出现为突破显存墙提供了全新路径。该技术通过高速、低延迟的互联协议，将CPU与GPU、内存与加速器的资源池化，实现异构计算单元间的内存共享与动态扩展。随着CXL生态的成熟，该技术有望成为缓解显存瓶颈、释放AI计算潜能的关键基础设施。

开放数据中心委员会（ODCC）服务器工作组启动了基于CXL的应用优化方案研究项目，三星电子西安研究所主导编制形成《基于CXL方案的AI应用优化与研究》白皮书。该白皮书介绍了CXL内存扩展产品CMM-D，并展示了基于CMM-D的应用优化方案，包括MoE，大模型推理，GNN等多种应用场景。三星依托开放数据中心委员会并联合业界伙伴持续推动基于CXL的AI应用优化的落地工作，加速异构计算生态成熟，旨在携手业界共同构建高效、开放的智算基础设施。

本白皮书成果将于9月开放数据中心大会上正式发布，敬请期待！

项目经理

微信图片_20250808102403.png