【ODCC技术】推理技术迭代升级，开启边缘智能产业新范式

随着大模型、视觉智能等AI技术落地生产场景，行业竞争重心从模型训练转向推理部署。推理直接影响业务体验与成本，且对实时性、环境适应性要求极高，边缘智能由此成为AI规模化落地的重要形态。它依托端边云协同赋能各类行业场景，更是多技术融合的系统工程，推动边缘节点升级为现场智能决策中心。

一 推理重心前移，边缘智能成为AI规模化落地的新支点

生成式AI进入应用扩散阶段后，业务侧对低时延、低成本、高可靠和数据本地化的需求同步提升。IDC发布的边缘计算支出预测显示，2025年全球边缘计算解决方案支出接近2610亿美元，并预计到2028年达到3800亿美元;其中AI、物联网、增强现实、无人机和机器人等场景正在成为边缘投资的重要驱动力。

边缘智能的核心价值在于缩短“数据产生—模型判断—现场执行”的链路。传统云端集中推理需要将大量原始数据回传到中心侧，再将推理结果返回现场，链路长、带宽消耗高且存在数据合规压力。边缘推理则将部分模型能力部署在数据源附近，使设备能够在本地完成识别、预测、告警和控制，显著提升响应速度和业务连续性。

从网络架构看，多接入边缘计算(MEC)为应用开发者和内容提供方在网络边缘提供云计算能力和IT服务环境，具备超低时延、高带宽以及实时访问无线网络信息等特征。这为边缘侧承载AI推理、视频分析、工业控制和机器人协同提供了基础条件，也使边缘智能从单点设备能力进一步演进为网络化、平台化能力。

图1  边缘计算云边端架构示意图(来源：Wikimedia Commons，CC0)

图2  边缘推理技术演进路径示意图

二 模型轻量化与推理优化协同突破，推动边缘侧从“能跑”走向“好用”

（一）模型侧：小模型、专用模型与多模态模型并行演进

边缘侧资源受功耗、空间、散热和成本约束，无法简单照搬中心云的大参数模型部署方式。近年来，小语言模型(SLM)、视觉语言模型(VLM)、行业专用模型和多模态轻量模型快速发展，使模型能力可以更贴近工业相机、边缘网关、机器人控制器和车载设备等现场载体。

边缘模型的发展方向并不是单纯追求参数规模，而是强调“任务适配”和“场景有效”。在工业质检场景中，模型重点关注缺陷识别、异常检测和工艺参数关联;在园区和交通场景中，模型重点关注目标检测、轨迹预测和事件联动;在机器人场景中，模型则需要同时处理视觉、语音、位姿和环境状态，实现感知、规划与执行的实时协同。

（二）系统侧：量化、蒸馏和缓存优化提升单位算力产出

推理优化正在从单一模型压缩走向系统级协同。通过低比特量化、剪枝、知识蒸馏、算子融合、批处理调度、KV Cache管理和投机解码等技术，可以在保持可用精度的前提下降低显存占用和计算开销，提升单位功耗、单位成本下的推理吞吐。对于边缘侧长时间运行的应用，能耗与稳定性往往比峰值算力更影响最终可用性。

推理框架也在加速适配边缘部署。OpenVINO等工具链支持模型压缩、本地运行时推理以及模型服务化部署，并可在不同操作系统和硬件平台之间实现更灵活的部署。这类工具链的成熟，使边缘侧模型部署从“定制化移植”逐步走向“标准化适配”，降低了行业应用复制推广的工程门槛。

图3  OpenVINO Model Server架构示意图（来源：OpenVINO官方文档）

三 异构算力和云边端协同重构边缘推理基础设施

边缘推理的基础设施正在从通用计算节点演进为异构智能节点。CPU负责通用控制和业务逻辑，GPU承担并行计算和多模态任务，NPU、FPGA、ASIC等加速器面向低功耗、固定场景和高并发推理进行优化，DPU、智能网卡和安全模块则承担网络、存储、安全卸载等功能。不同算力单元在同一边缘节点内协同工作，成为提升性能、能效和可靠性的关键。

同时，云边端协同成为边缘智能规模化部署的主流路径。端侧设备负责感知采集和轻量判断，边缘节点负责模型推理、任务编排、数据过滤和现场闭环，中心云负责模型训练、知识库更新、版本管理和全局调度。Microsoft Azure IoT Edge等平台将容器化应用部署到IoT设备侧，使分析能力靠近设备，实现更快洞察和离线决策，并可通过云端完成监控和管理。

面向产业落地，边缘推理设备也呈现一体化、模块化和开放化趋势。边缘AI一体机需要在空间受限、低能耗、环境适应性和硬件安全等约束下，通过异构计算架构、模块化设计和轻量化推理框架实现多模态任务处理。中国信通院开展的“边缘推理节点能力分级”评估，也将部署在用户端或数据源附近、用于执行AI推理任务的设备或计算单元作为评价对象，体现出产业界对边缘推理基础设施能力建设的关注。

图4  云边端协同推理架构示意图

四 边缘智能推动产业范式转换，从“单点算法应用”转向“现场自治闭环”

在早期阶段，边缘AI更多体现为单点算法应用，例如摄像头上的目标检测、网关侧的异常告警或设备侧的语音识别。随着推理模型能力增强和边缘节点算力提升，边缘智能正在从“单点识别”进入“现场自治”阶段，即在数据产生位置附近完成感知、推理、决策和联动执行。

这一变化将直接改变行业应用的建设方式。在工业场景中，边缘智能可以将质量检测、设备预测性维护、安全生产和能耗优化连接起来，形成生产现场的实时闭环;在城市和园区场景中，视频、门禁、车辆、环境和能耗数据可以在本地完成融合分析，减少云端压力并提升事件处置效率;在医疗和能源等高敏感场景中，边缘推理能够减少原始数据外传，提升数据安全和业务连续性。

从产业组织方式看，边缘智能将推动“设备商、模型商、平台商、运营商和行业用户”形成更紧密的协同关系。设备侧需要可插拔的算力与传感能力，模型侧需要可迁移、可压缩、可评估的模型资产，平台侧需要统一的部署、监控和安全治理能力，行业用户则需要围绕业务流程建立可量化的价值闭环。

图5  边缘智能产业闭环示意图

五 面向规模化落地，边缘推理仍需突破三类关键能力

（一）标准化评估能力：从“能部署”走向“可度量”

边缘推理节点类型多、部署环境差异大，容易出现性能指标口径不统一、测试负载不可比、能耗与稳定性难以横向评价等问题。未来需要围绕时延、吞吐、并发、能效、模型适配、安全隔离、离线运行和远程运维等维度建立统一评估体系，使不同设备、不同场景、不同方案具备可比较的能力边界。

评估体系不仅要关注单次推理的速度，也要关注长时间运行的可靠性、复杂负载下的服务质量，以及模型升级后的稳定性。对于工业、交通、医疗等关键场景，还应进一步强化安全、故障恢复和数据合规要求，推动边缘推理节点从产品能力走向工程能力和服务能力。

（二）全生命周期运维能力：从“项目交付”走向“持续运营”

边缘节点分布广、数量多、现场环境复杂，模型版本、硬件状态、网络链路、任务负载和安全事件都需要持续监测。规模化落地必须具备模型灰度发布、远程升级、指标监控、故障定位、日志审计和策略回滚能力，避免边缘智能系统在交付后成为“不可维护的孤岛”。

随着智能体和多模态应用进入边缘场景，边缘推理将承担更复杂的任务编排和行为控制功能。运维体系需要从设备管理升级为模型、数据、任务和安全的统一治理体系，确保边缘节点能够在不同业务高峰、网络波动和环境扰动下持续稳定运行。

（三）安全能力：从“数据安全”走向“模型与行为安全”

边缘智能节点更靠近真实世界，一旦模型被篡改、数据被污染或智能体行为失控，风险可能直接作用于生产现场和物理设备。因此，边缘推理安全不仅包括数据加密、访问控制和隐私保护，还包括模型完整性校验、启动、运行时隔离、输入输出审计和异常行为管控。

未来边缘智能的安全体系需要与推理框架、硬件、网络访问控制和业务流程深度融合，实现“模型可管、数据可控、行为可追、风险可处置”。只有在安全的基础上，边缘智能才能在工业控制、交通协同、医疗健康和关键基础设施等高可靠场景中获得更大范围应用。

六 总结与展望

总体来看，推理技术迭代正在重塑边缘智能的发展逻辑。模型轻量化降低了边缘部署门槛，异构算力提升了现场计算能力，云边端协同完善了系统架构，标准评估和安全治理则为产业规模化复制提供基础保障。边缘智能已经不再是云计算能力的简单延伸，而是人工智能进入实体产业、生产现场和终端设备的重要入口。

下一阶段，边缘智能产业将围绕“更低时延、更高能效、更强安全、更易部署、更可运营”持续演进。随着边缘推理节点能力不断提升、行业应用数据不断积累、模型与硬件生态不断成熟，边缘智能有望成为连接AI技术创新和产业数字化转型的关键基础设施，推动人工智能从云端走向现场、从工具走向系统、从辅助走向自治。

作者：

何绪东  邮箱：hexudong@caict.ac.cn

周   曼  邮箱：zhouman@caict.ac.cn

审核：

吴美希  邮箱：wumeixi@caict.ac.cn