AI存储优化推理效能,重构Token经济成本:“先进存力AI推理工作组”加速集结中
AI大模型正在快速进入各行各业,我们已经来到Token经济时代。Token消耗正在指数级增长,我国日均Token消耗量已经突破30万亿,单个头部企业日均消耗在百亿级。在传统推理架构中,因为数据重复计算,长序列输入,导致GPU利用率降低,造成大模型推理成本持续攀升,用户体验下降。
产业界正在利用先进AI存储技术,系统化的解决这个问题。以KV Cache为中心,以AI存储为底座,构建推理记忆数据湖,将显著提升推理系统的效率和性能,释放算力和数据价值。产业实践证明,在典型场景下,AI存储推理优化架构最高可以降低推理成本90%。
为充分发挥先进存力赋能AI大模型发展的支撑作用,算力产业发展方阵拟成立“先进存力AI推理工作组”,致力于加强理论研究、实践探索和生态建设,推动AI推理应用、AI推理框架、先进存力和智能算力协同发展,促进人工智能普惠应用。
一、工作内容
工作组围绕AI推理优化理论研究、创新技术推广、标准制定和用户实践等开展工作,推进试点建设,强化产业生态构建,推动政策布局落地。
二、征集范围
致力于推动AI大模型发展,从事行业大模型、通用大模型、推理框架、智算芯片、算力技术、AI存储技术等研究的企事业单位、高等院校和科研院所。
三、必备条件
1.依法在我国境内注册的企事业单位、社团组织、高等院校、科研院所等;
2.拥护方阵章程,遵守方阵相关管理制度,履行工作组成员义务,积极参加方阵工作组活动;
3.在AI大模型和基础设施政策规划、标准研制、应用创新等领域具有丰富经验。
四、申报流程
1、申报
申报单位填写“附件1 算力产业发展方阵先进存力AI推理工作组成员单位申请表”(点击“https://mp.weixin.qq.com/s/t2EhINknF5Ebrvw-sH9_9Q”获取),并将盖章版PDF及相关材料发送至联系人邮箱;
2、审核
由方阵秘书处对申报单位进行审核;
3、开展工作
后续将邀请参加先进存力AI推理工作组相关工作。
联系方式
算力产业发展方阵官网:https://www.hcp.ac.cn/cpam.html
方阵邮箱:CPZ@caict.ac.cn