ASC分享 | 阿里云武冠英：HBF在云端AI推理中的机遇与挑战——从介质到近存计算的软硬协同探索

10月21日至22日，由开放数据中心委员会(ODCC)主办的2026先进存力大会(Advanced Storage Conference，ASC)在上海举行。大会聚焦人工智能时代的存储技术创新与产业实践，围绕部件创新、系统创新、存算网一体创新与服务创新四大方向展开。阿里云服务器研发资深技术专家武冠英在会上发表题为《HBF在云端AI推理中的机遇与挑战——从介质到近存计算的软硬协同探索》的演讲，系统分享了其对高带宽闪存(High Bandwidth Flash，HBF)上的技术研判、产业跟踪与工程实践，并呼吁介质、xPU、推理框架与云服务产业协同，共同推动这一新型存储介质在云端AI推理中落地。

武冠英

阿里云服务器研发资深技术专家

随着大模型推理迈向长上下文与Agent化，KV Cache与模型权重对存储容量的需求急剧膨胀，单个百万级上下文会话的KV即可达到百GB量级，远超HBM的经济承载能力，“容量墙”与“性价比”由此成为AI推理基础设施的核心矛盾。HBF正是在这一背景下出现的新型介质——它以NAND闪存为基础，通过先进封装与UCIe互连，在约100平方毫米的cube内实现TB/s级带宽。武冠英介绍，SanDisk于2025年2月首次发布HBF概念，其容量可达HBM的8至16倍，而带宽与成本接近HBM;以第一代HBF为例，单栈容量约512GB、读带宽约1600GB/s、成本与HBM相近，但单位容量价格($/GB)仅约1.07.约为HBM3E(约11.5)的十分之一，单位容量成本优势显著。这使HBF非常适合作为AI推理的“容量层”，承载全量模型权重、全量KV Cache，以及历史与空闲会话KV、prefix cache等“读多写少”的数据。

从产业进展看，HBF正从概念快速走向标准化与样片。海外方面，SanDisk作为OCP HBF规范的发起方全力推进，其首颗die已于2026年8月流片，搭载HBF的推理设备计划在2027年送样;SK海力士作为规范共同作者，规划于2028年初推出HBF cube样品;此外还有多家原厂探索near-GPU NAND、封装内TSV堆叠(可叠32颗die)以及自研zNAND-O等多元路线。标准化方面，OCP于2026年2月成立HBF工作组并发布v0.7规范，2026年8月的版本进一步定义了16个UCIe通道与约0.38至3.1TB/s的三档带宽，规模量产预期在2028年。武冠英及其团队于2025年11月正式入局，一年内完成了从概念研判、全系统级仿真、规格定义，到decode加速产品方案、PoC原型验证与软件栈打通的闭环，并已启动面向2027年样片的研发规划。

在云端落地路径上，武冠英坦言HBF仍面临四方面挑战：一是介质固有短板，读延迟为微秒级、写带宽偏低、寿命与可靠性有限，且base die位于底部、热量须穿过NAND散出，温度升高又会推高刷新流量、进一步影响寿命;二是软件栈，需要在HBM到SSD的四层存储间做好数据驻留与换出、KV淘汰策略，并对推理框架的KV、注意力与路由进行三层适配;三是生态与供应链，接口规范尚未定型，控制器IP、驱动与算子库仍无现成方案，高带宽存储器件还面临进口管制;四是模型结构如同“移动靶”，今天定义的接口与NAND拓扑明年未必最优，需要模型与HBF协同适配。为此，依托百炼生产环境的真实推理负载trace，结合HiSim高精度仿真器——打通真实推理引擎、xPU仿真与HBF仿真，在性能、寿命、可靠性和功耗这四个条件约束下，以每百万Token成本($/M token)、五年TCO与吞吐为核心指标衡量性价比，并用仿真结果反向指导规格定义、场景选择与架构取舍。

“从CSP角度来说，HBF提供了一条兼顾大容量与高带宽的存储新路径，显著降低AI推理成本。”武冠英表示，他同时指出，HBF技术已经成为存储芯片行业的结构性变量，并有可能重塑存储市场的供需格局和竞争位次。工业和信息化部“十五五”规划已点名“研发高带宽闪存”，国内存储芯片产业正迎来难得的窗口期。另外他也强调，HBF的成熟离不开全产业链条协同，“众人拾柴火焰高”，诚邀存储介质、算力芯片、推理框架与CSP等各环节伙伴携手，共同把HBF做好、用好。

从“依赖HBM”到“HBF容量层”的扩展，从介质创新到近存计算的软硬协同，武冠英在2026先进存力大会上分享了对下一代AI存储的技术判断与工程路径。武冠英认为，新型存储介质的产业化无法由单一环节独立完成，唯有坚持软硬协同、开放合作，才能真正把HBF的性价比红利转化为AI推理的成本优势。未来将联合产业伙伴，推动高带宽闪存在云端AI推理中的规模化落地，可以为AI时代构建更具性价比、更可持续的存力底座。