腾讯李秋香：云边协同AI网络技术加速AI规模化应用

在近日举办的2025开放数据中心大会—边缘计算分论坛上，腾讯云边互联网络高级架构师李秋香发表《云边协同AI网络技术》的主题演讲，深入剖析了AI应用与大模型发展趋势下，云边协同AI网络的关键作用与技术演进路径。

李秋香

腾讯云边互联网络高级架构师

李秋香指出，当前AI正迈向规模化应用新阶段，多模态能力拓展与模型小型化是重要推动力。除了千亿、万亿参数的大模型外，Qwen-7B、混元0.5B等小模型也蓬勃发展，甚至可运行于消费级显卡和终端设备，大幅削减部署成本，尤其契合算力分散的边缘环境。

算力发展呈现三大趋势

随着AI算力需求激增，算力发展呈现出三大趋势：一是异构算力共存，包括GPGPU和NPU多种芯片技术路线;二是算力云与租赁模式快速发展，包括众多传统云服务商和专注于AI算力厂商都向客户提供算力云服务;三是自建与租赁算力并存，算力架构从集中式走向分布式发展，云边协同AI网络成为关键。

云边协同AI网络的发展三个阶段

云边协同AI网络的发展分为三个阶段。第一阶段，以租赁第三方算力快速补充资源为主，重点解决GPU短缺问题，要求云边网络时延低于30ms，带宽在100Gbps以内，并具备安全加密能力;后端网络则要求极低时延和高吞吐。第二阶段，AI算力进一步下沉至边缘机房，以实现业务低时延、低成本及用户体验提升，推理请求直接在边缘完成响应。第三阶段为近场边缘阶段，面向工业、医疗、机器人等对延时、隐私和个性化要求极高的场景，通过端云协同实现任务卸载与本地处理，在保障数据隐私的同时降低业务延迟。

边缘和终端环境存在诸多挑战。边缘机房网络复杂、规模小、资源异构，终端则面临算力有限、功耗敏感问题。网络层面，边缘算力集群前端网络要确保云边互联高带宽、稳定与安全，后端网络要优化高性能传输。关键技术包括RDMA实现低时延高带宽传输，Fast CNP优化拥塞控制，逐包/逐信元负载均衡缓解流量不均，以及FEC和快速重传等抗丢包机制。

在软件与资源调度层面，如采用“PD分离”架构可分别处理推理中的计算密集型预处理和存储密集型解码阶段，充分发挥硬件效能，应对硬件异构和软件兼容问题;联合调节网卡与交换机的拥塞控制参数实现端网协同优化。此外，还需平衡模型精度和效能的关系，端云协同资源调度和分配等。例如模型优化技术可在端侧实现轻量化部署，数据本地化处理降低传输带宽、终端功耗;任务卸载、资源分配、模型分割需依据实时网络与负载状态动态调度。

隐私与安全方面，联邦学习、差分隐私等技术可在本地完成数据处理，增强数据安全，避免敏感信息上传，提升系统隐私保护能力。

腾讯在云边协同AI网络中已有实践，通过自建与租赁结合的方式构建分布式算力体系，并借助专线、VPN及QoS保障等技术，实现云边高可靠连接，满足边缘AI推理需求，在满足首token时延≤2秒、Token生成时延≤50毫秒的条件下，边缘AI推理吞吐性能已与中心持平。

李秋香表示，腾讯将持续深耕云边协同领域，强化技术创新，推动AI应用在边缘计算场景全面落地，助力行业融合与数字化转型。

ODCC边缘计算工作组联系人

周老师 13810136860(微信同号) zhouman@caict.ac.cn

ODCC秘书处联系人

刘老师 13488889649(微信同号) 邮箱：liupengyun@caict.ac.cn