华为成功突破长文AI推理瓶颈,速度提升最大达372%
华为在中国通信行业首次成功将长文(long-sequence)AI推理的令牌处理能力提升至最大372%。 华为于24日(当地时间)在中国上海举行的'MWC上海2026'上与中国移动湖北公司共同发布了'AI推理加速解决方案'的验证成果。 该解决方案基于华为的OceanStore A800存储、Ascend A3超级计算平台和统一缓存管理器构建,为通信公司有效部署大规模AI计算服务奠定了核心技术基础。 随着AI服务向代理中心演变,处理代码生成和多轮对话等长文场景的需求不断增加。然而,由于现有的片上内存和DRAM的限制,数据处理出现了延迟瓶颈。 为了解决这一问题,华为引入了利用外部高性能存储的UCM技术,实现了PB级的大容量KV缓存,并消除了重复计算,大幅降低了推理成本。 此次验证在中国移动湖北的商用网络中进行,模拟了包括MiniMax M2.5和GLM-5.1等主要AI模型在内的8K至190K令牌的长文输入。 验证结果显示,GLM-5.1模型的首个令牌生成时间(TTFT)缩短了最多93%。在128K长文环境下,每秒令牌数(TPS)提升了最大372%。MiniMax M2.5模型在128K环境下TPS也增加了78%,随着上下文窗口的延长,加速效果愈加明显。 迈克尔·朱,华为全球数据存储市场与解决方案销售部总裁表示:“AI推理加速解决方案不仅大幅缩短了响应时间,还帮助降低了令牌成本。我们将全力支持通信公司构建高效、环保的AI计算基础设施。”※ 本报道经人工智能(AI)系统翻译与编辑。
2026-06-28 19:32:00