26'ODCC成果｜GPU与存储直通技术研究

项目背景

随着GPU计算性能的飞速提升，传统的数据供给方式正逐渐成为制约整体系统性能发挥的关键瓶颈。在典型的数据中心或服务器环境中，数据通常需要经历“存储设备->CPU内存-〉主机PCIe总线->GPU内存”的多级路径才能被GPU处理。这一过程不仅引入了显著的数据复制开销(消耗宝贵的CPU周期、内存带宽和PCIe带宽)，更加剧了访问延迟。特别是对于需要频繁访问超大规模数据集(如大型语言模型训练、实时推理、基因测序分析、物理模拟等)的场景，这种“存储墙”问题变得尤为突出，导致强大的GPU算力因等待数据而处于空闲状态，资源利用率低下，应用性能无法达到预期。

为从根本上缓解这一瓶颈，ODCC存储焦点组(系统)AOSA(AI Oriented Storage Architecture，面向AI的存储架构)项目组统筹推进并发布《GPU与存储直通技术》成果报告。围绕GPU与存储直通技术底层逻辑，深度拆解技术落地路径、全场景适配方案及产业实践标准，为智算中心破除存储瓶颈、全面释放GPU算力提供系统性、可落地的专业指引。

主要内容简介

一 研究背景和目标

GPU与存储直通技术允许GPU绕过传统的CPU和主机内存中介，通过高速互连通道(如PCIe、NVLink、CXL，或RDMA网络如InfiniBand/RoCE)与本地或远程的高性能存储设备(如NVMe SSD、分布式存储等)直接建立读写通路。

GPU与存储直通技术旨在最大限度地消除不必要的数据移动，显著降低访问延迟，释放CPU和内存资源，从而充分利用GPU的算力，提升数据密集型应用的整体性能和效率，降低总体拥有成本。

同时，该技术也对构建下一代高效能、低延迟、高吞吐的数据中心架构和异构计算平台至关重要。因此，深入探索GPU与存储直通技术的实现机制、性能优化、兼容性、可靠性以及在不同应用场景下的最佳实践，是当前业界共同关注的焦点。

二 GPU与存储直通核心技术

路径简化与去中介化：消除CPU干预。通过硬件卸载与协议优化，移除CPU在数据传输中的调度、中断处理与拷贝职责。

建立直接通道：在GPU与存储设备(本地或网络存储)间建立端到端直连路径，实现设备间直接通信。

零拷贝(Zero-Copy)架构：数据从存储设备直达GPU显存，消除主机内存中的冗余缓存与复制操作，显著减少延迟与带宽占用。

高速互连能力释放：最大化利用PCIe/NVLink(本地)、RDMA over InfiniBand/RoCE(远程)或CXL(可扩展内存池)等超高速互连技术潜力，使直通路径的带宽与延迟接近物理极限。

图 1 传统I/O路径

图 2 GPU与存储直通I/O路径

三 关键技术主要挑战

1. 缺乏统一的接口规范

应用和GDS用户态lib库之间存在不同的API接口，将对应用开发难度、可移植性等多个层面产生显著影响，存储系统内核驱动和GPU内核驱动之间的不同的接口导致驱动开发存在大量无效适配工作，形成跨厂商协作壁垒，带来版本适配噩梦。

2.缺乏成熟的评估标准和工具

国内GPU厂商和存储厂商数量较多，未来可能会形成多对多的GDS适配关系，但目前还没有形成成熟评估标准和工具。缺乏评估标准和工具将会导致无法准确评估GDS方案的功能和性能完成度。

3.技术方案复杂度大

GPU与存储直通方案涉及的软件组件较多，控制流/数据流路径较长，需要GPU驱动、存储设备/控制器驱动、网络适配器(NIC)驱动、操作系统文件系统、存储软件栈、应用程序全栈协同支持。

4.引入潜在的安全风险

GPU与存储直通在提升性能的同时，会放大DMA滥用、设备固件/驱动缺陷、隔离边界弱化与误配置等风险，引入从硬件固件到上层应用的多层攻击面。

四 应对策略

针对GPU与存储直通技术的主要挑战，建议从制定统一的接口规范、确定明确的评估方案和工具、通过标准和工具简化GDS适配难度、制定安全风险消减策略几个方面进行努力，协调各方力量共同促进国内GPU与存储直通方案的实施和落地。

GDS接口规范化与标准化推进

评估方案和工具标准化推进

通过标准和工具简化GDS适配开发

制定安全风险消减策略

未来，ODCC存储焦点组（系统）将基于AOSA专项研究项目，持续开展AI领域存储系统相关技术研究及标准制定工作，同时联合业内厂商打造产业生态，加快存储新技术在行业应用落地。

本成果于今年4月的开放数据中心春季全会（ODCC春季全会）上正式发布！

项目经理简介

冯轶

中国移动通信有限公司  项目经理

ODCC存储焦点组（系统）联系人

李老师 lijiayuan@caict.ac.cn

ODCC秘书处联系人

刘老师：13488889649 邮箱：liupengyun@caict.ac.cn