中国信通院面向AI的算力能效评测正式启动！

随着AI技术潜力的释放，AI应用全面普及驱动算力需求呈指数级增长，同时也带来了AI能耗的大幅增加。数据中心电力能耗成本占运营总成本的60%-70%，在AI发展高度依赖数据中心算力支持的背景下，算力能效的高低直接影响到AI技术和算力的普及化应用进程。

算力能效，简单来讲就是衡量单位能耗下计算性能的指标。在实际中，能效测算是个复杂的难题，会受到计算对象、应用场景等多方面因素的制约。如图1所示，实际算力能效的高低不仅取决于服务器的类型和产品参数，还与基础软件层，比如AI框架等密切相关，此外，同一台服务器运行不同模型时，实际能效也会出现较大差异。即在某一场景任务中，算力能效的表现既与硬件性能有关，也和基础软件配置、场景适配算法的选择紧密相连。那么该如何量化实际算力能效的大小呢?

图1 实际能效评测诸多影响因素

综合以上现状，中国信通院提出面向AI应用场景的实际能效评测体系，如图2所示。具体提出每瓦的实际运算次数(OPS/W)评测指标，其中，OPS(Operations Per Second)代表每秒运算操作总数，涵盖了在运行不同阶段任务时的各类性能指标。例如，浮点数计算次数/瓦(FLOPS/W，FLOPS全称为Floating Point Operations Per Second)、整数型计算次数/瓦(IOPS/W，IOPS全称为Integer Operations Per Second)、Token吞吐量/瓦(Tokens/W)、样本吞吐量/瓦(Samples/W)、任务吞吐量/瓦(Tasks/W)等。该指标可综合反映AI应用场景下计算设备在实际运行中的能源利用情况。

图2 面向AI应用场景的实际能效评测体系

建立科学有效的能效评测体系是解决算力能源消耗问题的关键一步。算力能效优化不仅关乎企业的运营成本与竞争力，且是推动算力产业升级的重要引擎，更是国家战略层面的关键议题，成为数字化时代实现可持续发展的核心命题。

算力能效指标的提出为硬件、基础软件、AI算法和大模型相关优化人员提供一种统一的能效度量方式，为数据中心、服务器等相关生产运维人员提供一种可持续的评估优化方式。且能效评测对于大模型应用具备诸多长远作用。

1)优化资源配置，基于用户需求选择最合适硬件平台部署大模型;

2)降低运营成本，能效的提高有助于减少能源消耗，降低长期运营成本;

3)推动技术创新，在追求高能效中，研究人员会不断探索新的硬件技术、算法和模型优化方法。

随着算力能效的提升能够让更多的计算资源惠及大众，加速数字技术在教育、医疗、交通等民生领域的应用，推动社会的全面数字化转型。

当前，中国信通院已经开展多项服务器和数据中心的能效测试标准：

面向AI场景的服务器算力能效技术要求和测试方法

训推一体机算力能效技术要求和测试方法

面向大模型的智算中心算力能效技术要求和测试方法

诚挚欢迎行业内专家、团队、企业一起参编，共创共建。

请有意参与评测的企业、单位联系本文末相关负责人开展以上能效测试!

评测对象

服务器、服务器集群、一体机、数据中心、智算中心等相关用户。

评测流程

评测报名

联系文末负责人进行报名或咨询。

合同签订

报名完成后与中国信息通信研究院签订商务合同。

技术测试

合同确认后，我院会安排测试人员对接，向参评企业提供详细测试方法，并根据准备情况排期开展正式评测。

专家评审

评测结束后，由我院组织专家对参评产品进行答辩评审。

结果发布

专家评审通过之后，评测结果将会在官网公开发布。

联系人

白老师 15810902581 bailiting@caict.ac.cn

王老师 18601152291 wangyue2@caict.ac.cn