ODCC技术专家受邀出席NVIDIA亚太区AI存储研讨会

随着大模型推理从“可用”向“高效”跨越，软硬件协同、数据通路重构以及存算新架构等，正成为下一阶段技术竞争的核心。近期，2026年NVIDIA亚太区AI存储研讨会在英伟达总部成功举行。ODCC新测组组长、AI存储实验室执行主任郭亮受邀出席此次盛会，并分享了ODCC在AI存储领域的最新进展。会议期间，来自NVIDIA、超云、DaoCloud、DDN、图灵数据、华瑞云、三星、Solidigm、VAST Data等企业的技术专家围绕AI场景下的存储与计算协同优化展开了深入交流。

会议亮点

会上，郭亮介绍了ODCC AI存储实验室的成立背景与建设情况，并重点分享了针对AI推理场景的KV Cache软硬件协同测试的阶段性成果。通过联合多家业界企业，ODCC构建了从底层硬件到上层模型服务的全栈测试体系。研究显示，在大规模并发推理场景中，仅靠单一硬件的性能提升已难以满足服务质量要求，必须建立计算、网络及存储之间的协同机制。测试数据表明，经过软硬件协同调优后，系统在推理TTFT、TPOT等关键指标、时延控制以及综合成本方面均实现了显著优化，印证了系统级垂直优化正成为AI推理工程化的关键路径。

通过综合各方的技术分享，可以总结出未来AI基础设施发展的三个重要趋势：

趋势一：

和此次GTC 2026传递出来信息一致，会上多个议题也都指向同一方向——单纯增加GPU数量已无法线性提升推理计算效率。通过打通计算存储与通信网络的边界，实现资源池化与动态调配，正成为提升推理计算集群整体利用率的关键路径。

趋势二：KV Cache管理成为优化推理性能的新焦点

随着推理上下文长度的不断增长，KV Cache的高效管理已成为制约推理性能的关键因素。会上，DDN、华瑞云、图灵数据等企业分享了将KV Cache从GPU显存卸载至多级存储的技术路径与实践成果。NVIDIA的推理上下文存储（Inference Context Memory Storage，ICMS）平台亦被多次提及，其通过引入G3.5缓存层，优化本地SSD与网络存储间的上下文访问效率，为构建分层KV Cache体系提供了有效方案。同时，与Spectrum-X、Dynamo等架构融合创新进一步支撑了大规模推理场景下的存储网络协同需求。

趋势三：存储与计算加速融合，软硬件协同创新

存储技术正从“数据仓库”向“计算加速器”演变。在硬件创新方面，三星分享的基于NVIDIA BlueField-3 DPU的JBOF结合自研SSD的方案尤为引人注目，通过DPU卸载存储协议栈与数据处理任务，有效释放主机CPU算力，实现了数据在存储侧的就近加速。在软件加速方面，Solidigm分享了云存储加速层（Cloud Storage Acceleration Layer，CSAL）驱动的存储创新方案，从存储软件层面进一步优化了数据访问效率，两者共同标志着企业级存储正从被动承载走向主动加速，深度融入AI计算链路。

总结

本次研讨会系统展示了AI存储优化领域的最新成果，进一步明确了未来基础设施的发展方向：通过深化软硬件协同、推动存网算融合，依托DPU等数据处理单元的深度赋能，构建高效、弹性且成本可控的AI底座。随着相关创新方案持续成熟，AI应用的规模化落地将获得更加坚实的技术支撑。

联系人

段老师：16600265822 duanshiru@caict.ac.cn

谢老师：18800199616 xielina@caict.ac.cn

ODCC秘书处联系人

刘老师：13488889649 邮箱：liupengyun@caict.ac.cn