华为于24日（当地时间）在中国上海举行的'MWC上海2026'上展示了AI推理加速解决方案的成果。[照片=华为中国]
华为在中国通信行业首次成功将长文（long-sequence）AI推理的令牌处理能力提升至最大372%。
华为于24日（当地时间）在中国上海举行的'MWC上海2026'上与中国移动湖北公司共同发布了'AI推理加速解决方案'的验证成果。
随着AI服务向代理中心演变，处理代码生成和多轮对话等长文场景的需求不断增加。然而，由于现有的片上内存和DRAM的限制，数据处理出现了延迟瓶颈。
为了解决这一问题，华为引入了利用外部高性能存储的UCM技术，实现了PB级的大容量KV缓存，并消除了重复计算，大幅降低了推理成本。
此次验证在中国移动湖北的商用网络中进行，模拟了包括MiniMax M2.5和GLM-5.1等主要AI模型在内的8K至190K令牌的长文输入。
验证结果显示，GLM-5.1模型的首个令牌生成时间（TTFT）缩短了最多93%。在128K长文环境下，每秒令牌数（TPS）提升了最大372%。MiniMax M2.5模型在128K环境下TPS也增加了78%，随着上下文窗口的延长，加速效果愈加明显。
迈克尔·朱，华为全球数据存储市场与解决方案销售部总裁表示：“AI推理加速解决方案不仅大幅缩短了响应时间，还帮助降低了令牌成本。我们将全力支持通信公司构建高效、环保的AI计算基础设施。”
※ 本报道经人工智能（AI）系统翻译与编辑。
