根据市场调研机构Gartner、IDC和NVIDIA等的数据，麦肯锡分析预计，全球数据中心的AI工作负载需求将从2025年的44GW增长到2030年的156GW，约增加3.5倍。同期，整体数据中心需求也将从82GW增至219GW。特别是AI推理需求预计将从2025年的20.9GW以年均35%的速度增长到2030年的93.3GW，增速超过学习需求的22%。
仅仅增加GPU的数量难以应对不断增长的计算需求。由于高性能GPU的大规模部署，机架的电力密度增加，冷却负担也随之加重。因此，AI数据中心开始采用液冷等新型冷却技术以应对高密度GPU环境。
业界关注如何利用AI的两大主要工作负载——学习和推理的特性，来高效配置GPU。学习需要集中进行大规模计算，但可以容忍一定程度的延迟或中断；而推理则要求实时向用户提供结果，因此低延迟和稳定的处理能力至关重要。
麦肯锡分析认为，由于这两者的特性差异，学习和推理将对数据中心的选址、设计和电力供应策略产生不同的影响。
红帽公司在今年3月发布的报告中提出了这种策略，称之为“白天推理，夜间学习”。红帽表示，推理任务需要低延迟和持续可用性以实现实时响应，而学习任务相对可以容忍延迟或中断，因此适合在推理需求减少的夜间进行。还建议通过动态分配GPU资源的编排，减少闲置GPU的数量。
在韩国，这种方式也成为提高GPU效率的替代方案。Kakao在考虑下一代AI基础设施运营方案时，也在审视按时段利用GPU的方式。Kakao AI协同副总裁金世雄表示：“需要实时响应的推理服务器在白天根据流量使用，剩余的GPU则在夜间用于学习，这就是韩国式的GPU运营方式。”
国内AI基础设施企业不仅在按时段分配资源方面进行探索，还根据工作负载的特性设计数据中心以提高效率。Ellis集团根据学习和推理的需求，设计了不同的AI模块化数据中心（PMDC）。学习方面利用GPU和超低延迟集群以确保最大性能，而推理则强调NPU和高可用性及成本效益的结构。
业界人士表示：“在AI数据中心中，GPU的数量固然重要，但更关键的是如何高效利用这些GPU进行实际计算。由于推理和学习的特性不同，未来将根据流量和电力情况灵活分配GPU，并提高冷却等基础设施的效率，这将决定数据中心的运营竞争力。”
※ 本报道经人工智能（AI）系统翻译与编辑。
