ASC分享 | 腾讯张伟：Rapid Bucket——让一个 Bucket 承载 AI 的全部负载

近日，2026先进存力大会(ASC)在上海顺利召开。会上，腾讯云存储高级研发工程师张伟发表《Rapid Bucket：面向 AI 的 TB/s 吞吐、亚毫秒延迟统一存储新范式》主题分享，系统剖析 AI 时代存储基础设施面临的架构性困境，深入拆解 Rapid Bucket 在统一命名空间、多协议原生融合、近计算数据面等方面的关键技术设计，提出“让一个 Bucket 承载 AI 全部负载”的统一存储新范式，为 AI 基础设施建设提供技术路径参考。

张伟

腾讯云存储高级研发工程师

1、AI 存储的三重困境：

三个“理所当然”正在失效

长期以来，存储架构的设计建立在三个假设之上：单一协议足够应对业务需求、元数据服务不会成为性能瓶颈、共享资源池足以支撑带宽需求。AI 负载的爆发式增长正在打破这三个假设。

从协议维度看，AI 全链路中 POSIX 与 S3 兼容接口交替出现，数据摄入、清洗标注、模型训练、推理部署等环节对协议的诉求并不统一，而文件存储与对象存储彼此割裂。传统做法要么在两套存储间反复搬迁数据，要么在一种协议上模拟另一种：前者带来双份存储成本与人工对账负担，后者则因写入拆分为多步非原子操作，导致一致性下降、吞吐受限。

从元数据维度看，传统并行文件系统依赖分布式锁协调多客户端访问，并发越高、锁冲突越频繁，元数据操作被迫串行化，吞吐无法随并发规模提升;海量小文件与热点目录访问进一步放大了这一瓶颈。

从数据面维度看，传统对象存储的多租户共享带宽模式叠加多跳网络与深度存储栈，使得客户端实际能够兑现的有效带宽远低于物理带宽上限，“喂不饱 GPU”成为普遍现象。

2、元数据面重构：

统一命名空间，多协议原生融合

破解数据孤岛与搬迁难题，需要让同一套存储支持 POSIX 与 S3 兼容接口两种访问方式，同一份数据可被两种协议访问。而要避免模拟兼容带来的一致性与性能折损，关键在于把多协议语义下沉到元数据层，而不是在一种协议语义上模拟另一种：写入在元数据层一次原子提交，不产生中间态;原生支持目录树、原子 rename、追加写、truncate、条件写等语义，消除因协议模拟带来的一致性折损与冗余 I/O。

在扩展能力上，元数据面以吞吐水平扩展为目标做亲和性设计：一是职责亲和，目录树与文件属性分离存储、各自水平扩展，支撑千亿级文件规模;二是位置亲和，关联元数据同分片放置，常见操作无需跨分片事务，元数据面操作吞吐可达百万级。再叠加元数据热缓存降低底层穿透与访问时延，元数据不再是系统扩展的天花板。

3、数据面重构：

从请求到 GPU 的一条高速通路

数据面重构沿着一次请求的完整路径展开。首先是鉴权：接入层定期从统一鉴权体系同步派生的验签种子，在本地完成验签，数据读写请求无需逐次远程鉴权，降低了访问时延。鉴权语义保持不变，原始密钥始终不出统一鉴权体系，性能提升的同时，安全并未打折。

在数据路由上，系统依据对象大小自动分流：小文件数据随元数据一并存储，读取时省去一次持久层调用;大文件数据落入贴近计算的高性能存储层。该存储层与计算集群同可用区、与接入层同机部署，数据直读直写，叠加预留带宽配额，客户端实际兑现的有效带宽显著高于传统共享池模式，单桶可达 TB/s 吞吐、亚毫秒延迟。

在请求路径之外，依托统一命名空间，热数据与冷数据之间可双向自动流动：热数据按策略自动下沉，冷数据在被读取时自动预热，也支持客户主动预热。流动前后访问地址保持不变，应用无需改造，全程只保留一份数据，不产生双份计费与跨存储对账成本。

在传输层面，自研的 S3oRDMA 数据通路让 POSIX 与 S3 兼容接口的数据读写均可选择 RDMA 传输，应用层协议保持不变，数据读写直通 GPU 显存。相比传统 TCP 路径，CPU 开销降低高达 90%，吞吐提升 3–5 倍;接口对齐 NVIDIA cuObject，可服务向量索引重建、推理 KV Cache 卸载等场景。

4、一个 Bucket，承载 AI 全链路

从数据摄入、清洗标注、模型训练到推理部署，AI 全链路中协议可以自由切换，数据不再需要跨存储搬迁，全链路数据都可以沉淀在同一个 Bucket 之内，服务于具身智能、自动驾驶、科学计算、量化金融等多类场景。

张伟表示，Rapid Bucket 在元数据面与数据面分别针对性地解决了传统架构的核心短板，目前已承载真实 AI 业务的生产负载。接下来，团队将推动 RDMA 直通能力覆盖更多训练与推理路径，并接入更多 AI 框架与数据工具生态，让“一个 Bucket 承载 AI 的全部负载——多协议原生、TB/s 吞吐、百万 IOPS、亚毫秒延迟”走向更广泛的产业场景。