ODCC AI存储实验室 | KV Cache落盘，英韧N3X铸就高性能AI存力基座
随着大模型上下文窗口突破百万级，KV Cache的存储与管理正成为AI推理架构中不可忽视的一环。当GPU的HBM容量不足时，必须将KV Cache卸载到外部存储中。这时，SSD的性能决定了推理延迟和GPU利用率——它不再是冷数据的仓库，而是推理流水线的“热力引擎”。作为本次评测的核心存储部件，英韧N3X以其卓越的单盘性能，为整个存储系统提供了坚实的基础支撑。
一、测试方案：高性能存储集群支撑全栈验证
在近期 ODCC AI 存储实验室联合多家企业开展的 KV Cache 专项测试中，英韧科技的洞庭-N3X 承担了存储集群的构建任务。作为英韧面向 AI 场景打造的企业级 SSD 产品，洞庭-N3X 采用 PCIe Gen5 接口与优化的数据引擎，结合多项底层技术突破，实现了超高性能的存取能力。其设计目标直指“打破内存墙”，让数据能够更快速地供给 GPU，从而避免算力闲置，为训练加速与推理加速提供强有力的支撑。
测试环境架构图
硬盘样品图
二、单盘表现：稳态性能与高带宽并重
1、14GB/s顺序带宽，支撑存储系统高效数据迁移
在需要预加载 KV Cache 或进行批量数据迁移的场景中，顺序带宽决定了操作效率。在基准测试中，洞庭-N3X 的顺序读速度达到 14GB/s ，顺序写速度逼近 12GB/s，充分利用了 PCIe Gen5 的传输能力，为大规模缓存数据的快速加载与迁移提供了畅通无阻的通道。
2、稳态随机读写超千万 IOPS，让存储系统持久输出
KV Cache 的读取具有高并发、随机小 I/O 的典型特征，对 SSD 的随机读 IOPS 提出了极高要求。在基准测试中，洞庭-N3X的 4KB随机（128QD）读取测试结果接近3500K IOPS，4KB随机写（128QD）入可达756.72K IOPS，均高于标称性能。凭借在全盘稳态下的持久 IOPS 输出能力，搭载 N3X 的存储系统在整个评测过程中始终保持稳定，系统以最高效率响应 KV Cache 读写请求。
三、从单盘到系统：单盘硬实力，铸就系统好成绩
1、微秒级尾延迟，为存储系统提供“零等待”基础
在推理过程中，KV Cache 的写入速度直接影响解码(Decode)阶段效率。本次测试显示，洞庭-N3X 在采用高端显卡的服务器(节点A)上，P99 延迟低至 66μs，写入延迟稳定控制在微秒级。
从测试结果看出，凭借N3X低的单盘延迟，搭载它的存储系统才能在KV Cache卸载场景中实现近乎“零感知”的数据写入，让GPU几乎感觉不到数据是从远端存储读取的，从而保证解码阶段的流畅性。
2、吞吐量显著提升，中端显卡推理效能接近高端水平
此次测试显示，在输入长度≥10K时，基于洞庭-N3X的存储系统使首Token延迟(TTFT)从秒级降至毫秒级，特定缓存命中场景下加速比达百倍。吞吐量方面，中端显卡提升约20倍，高端显卡提升约12倍，有效打破“内存墙”限制。
从测试结果看出，在处理长文本和高并发任务时，该方案可令高性价比的中端 GPU 也能展现出媲美更高算力卡的推理效能，显著提升中端 GPU 的推理效能，为智算中心提供更具性价比的存储方案。
3、带宽与存储协同，高速网络放大卸载收益
在此次测试中，针对中端GPU服务器，在不同网络带宽环境下进行了对比分析。结果显示：在存储池性能满足网络带宽要求的前提下，网络带宽越大，推理吞吐量的提速越显著。
从测试结果可以看出，高速网络投资与洞庭-N3X的高读写性能形成合力，能够显著优化PD阶段的数据流转效率。当网络从400G提升至800G乃至1.6T时，KV Cache卸载的加速效果呈增长态势，使GPU算力得以充分释放，避免因数据搬运延迟造成的算力空转。
四、软硬协同，定义AI存储新标准
本次 ODCC AI 存储实验室首发 KV Cache 评测，联合焱融 YRCache 推理存储系统与英韧洞庭N3X 固态硬盘，实现了从存储软件到硬件底层的深度协同。评测结果不仅验证了存储系统在 KV Cache 卸载场景下的整体效能，更充分证明了高性能 SSD 在推理路径中的关键支撑作用。
未来，AI存储实验室将持续推进KV Cache系列测试，深化“部件—系统—应用”全栈协同，携手产业伙伴，以“数量级性能提升 + 颠覆性成本优化”，助力企业在AI规模化落地浪潮中抢占先机!
联系人
段老师：16600265822
谢老师：18800199616
ODCC秘书处联系人
刘老师：13488889649 邮箱：liupengyun@caict.ac.cn
