算力协同·推理破局丨大模型推理技术与工程实践Meetup在京举办

2026年10月22日,“算力协同·推理破局”大模型推理技术与工程实践Meetup在北京举行。本次活动面对Token需求暴增、模型规模持续膨胀的行业现状,集结众多一线技术专家,围绕大模型推理创新、Token工厂构建、生产环境部署等议题,探讨如何以软硬协同的方式,帮助企业和开发者突破算力困局,支撑智能创新。

华为计算昇腾生态创新中心业务负责人赵满意在开场表示,Agent的全面爆发,带来对算力的旺盛需求,国内每日推理Token已超500万亿量级,华为一方面基于昇腾超节点实现软硬件持续创新,另一方面通过生态合作繁荣生态。从今年6月起,CANN社区已成为国内活跃度最高的开源社区,7月28日起,昇腾也成为Pytorch社区官方支持的,首个来自中国的算力平台,昇腾已经见跨越生态拐点。希望以更多技术交流活动,汇聚产业链上下游,以更紧密的算力协同实现推理破局,打造共同繁荣的AI生态。

模型规模和精度需求与日俱增,软硬协同成破局良方

在人工智能产业日益火热的当下,算力资源是否“充足”、是否“可用”、是否“高效”等难题被推向台前,产业意识到不仅要提升算力的“量”,还需要优化算力的“质”。活动现场,来自产业一线的多位技术专家就此带来主题分享。

Mooncake核心贡献者吴兴元认为,智能体时代下,产业关注点开始从卡数转向每天的Token产出、时延、稳定性和单位成本,企业需要“可进入生产系统”的高品质AI Token。对此,Mooncake架构通过异构推理等技术,在系统架构、PD分离、高性能通信库、KVCache等方面进行工程优化,让适合的任务运行在适合的硬件上,极致利用硬件性能,保障算力品质,为客户提供高效、稳定的“Token工厂”服务。

Mooncake核心贡献者吴兴元

值得关注的是,异构协同让更多国内算力加速进入高品质AI Token生产体系。华为昇腾推理服务化架构师陈波介绍了Mooncake架构基于昇腾的实践,表示昇腾主流推理引擎支持MemCache和MoonCake两种池化方案,同时在传输接口、CANN-HIXL、CS架构等方面做了大量工作,目前Mooncake已在Ascend 950实现全硬件形态适配,带宽利用率可达80%以上,更充分发挥异构协同的优势,进一步优化综合Token的成本。

华为昇腾推理服务化架构师陈波

在推理需求端,尤其是互联网热门应用,面对每天海量的用户请求,如何让算力更“节约”?小红书Dots训练推理专家、Mooncake核心贡献者夜秋介绍,小红书在910C超节点实现推理引擎与KVCache协同优化,把要存的内容“切碎”分摊到不同芯片,同时通过“预热缓存”“保留常用片段”等技巧,让重复内容直接复用,传输速度快5.7倍,常用内容命中率从47%提升到63%,用更少的显存、更快的取数实现更精准的服务反馈。

小红书Dots训练推理专家、Mooncake核心贡献者夜秋

此外,在生产环境部署大模型,同样面临着资源和效率的压力。Inferact推理优化专家、vLLM社区核心贡献者黄梓铭介绍了通过分布式KV缓存池、四级缓存、显存对齐与调度、部分命中等优化手段,解决Kimi K3超大规模参数带来的“重复存、重复取、重复算”问题,充分利用有限的算力资源。从中也可见,对存储池、缓存层、显存布局到调度策略逐层优化,更高效“榨取”算力,已经成为业界的共识。

Inferact推理优化专家、vLLM社区核心贡献者黄梓铭

生态合作成为产业共识,多方共建“高效Token工厂”

会上,在华为中国区昇腾生态运营总经理苏同岩和Mooncake生态负责人郑环环的见证下,昇腾&Mooncake基于昇腾950的推理解决方案正式发布。新一代昇腾算力底座,叠加久经生产验证的开源推理架构Mooncake,助力产业探索算力利用和高效推理的最优解,让更多企业能够享受更顺滑的推理服务。本次发布也成为“生态合作、软硬协同”理念的最佳佐证。

昇腾&Mooncake基于昇腾950的推理解决方案正式发布

圆桌论坛环节,围绕“Agent爆发,如何打造高效Token工厂”这一议题,在华为昇腾北京生态总监李博的主持下,商汤大装置产品总经理卢国强、昇腾大语言模型推理技术专家王瑾、Mooncake核心贡献者吴兴元、词元无限首席架构师杨泽毓依次发言,分享洞见。嘉宾们探讨了产业对高品质Token的定义和期许,以及当下推理流程面临的技术瓶颈,认为算法与算力依然协同不足,尤其模型架构的演进速度“日新月异”,对算力优化和适配提出了极大挑战。与会嘉宾认为,算法团队与算力团队必须深度协同,但仅靠单一厂商无法实现。近年,昇腾大力推动训练推理套件、调优工具、CANN等全面开源开放,让更多开发者深入昇腾生态,这对打造高效算力、加速AI创新有着深远的意义。

圆桌论坛现场

Agent加速规模化落地,让“Token工厂”从一个生动比喻,变成产业必须直面的现实议题。华为致力于构建开源开放的算力生态,未来将持续通过产业合作、社区共建、技术交流等方式,携手企业和开发者拥抱人工智能时代大潮,探索以生态发展算力协同破局推理桎梏的路径,开拓中国人工智能产业发展的新局面。

现场交流