BC卡通过多个小型AI实现金融业务自动化,GPU成本降低70%
BC卡通过连接多个专注于不同业务的小型人工智能(AI)模型,提高了金融AI的运营效率。这一方法的核心在于,相比于将所有业务集中在一个大型语言模型(LLM)上,该方案降低了成本并提高了处理速度。 BC卡于14日(当地时间)在美国亚特兰大举行的‘红帽峰会2026’上,公开了与红帽共同构建的‘代理AI运营平台’。红帽峰会是全球开源企业红帽每年举办的开源、云计算和AI技术会议。 BC卡展示的平台采用了将多个专注于特定业务的小型语言模型(SLM)结合在一起的结构,而不是将所有业务集中在一个LLM上。代理AI不仅限于简单回答,而是指AI能够自主判断和行动的技术。 通过这种结构,BC卡改善了AI运营的成本和速度问题。SLM可以针对特定业务进行优化,从而在提供稳定结果的同时,将推理速度提高至3倍以上,并将GPU资源减少至70%。 BC卡基于每年处理超过100亿笔支付数据的经验,建立了高效分配高价GPU资源的AI运营方式。通过这一方式,BC卡提高了服务速度并降低了运营成本。 该平台已实际应用于服务中。BC卡正在运营实时消费模式分析的美食推荐服务‘Eat.pl’,支持员工工作的金融专用生成AI平台‘BCGPT’,以及通过连接多个AI实现业务自动化的‘MOAI’等。BC卡还向外界公开了自主开发的AI模型和韩国金融专用数据集,并在全球AI开源平台Hugging Face上发布了约38个LLM,月均下载量超过10万次。※ 本报道经人工智能(AI)系统翻译与编辑。
2026-05-18 18:03:00