莫提夫科技(Motif Technologies)对科学技术信息通信部(科学部)的独立人工智能(AI)基础模型(独立基础模型)第二次阶段评估结果提出异议。该公司原本表示不会提出异议,但现已改变立场,要求公开评估项目的详细分数和判断依据。此外,莫提夫还表示,无论异议结果如何,将不参加第三次阶段评估。
27日,莫提夫代表任成焕在声明中表示:“获得高分的AAII不仅仅是一个简单的基准,而是全球AI行业广泛使用的9个基准的综合指标。”他指出:“尽管AAII的分数分别为47分和31分,但基准换算分数和专家评估结果却出现了相反的情况,企业和行业需要对此进行解释。”
莫提夫首先要求公开评估结果和详细评估内容,以便参与企业进行确认。任代表指出:“无论是被选中还是被淘汰的企业,能够获得实质性的反馈和方向,以便为未来准备更好的模型和战略,这一点非常重要。”
此外,莫提夫还请求提供基准分数的分配和换算依据。根据莫提夫的说法,在参与独立基础模型的模型中,AAII第一名模型得分为47分,第四名模型得分为31分,但在评估分配中,差距缩小至4分。任代表指出:“这种分配计算方式可能未能充分反映基准中模型之间的性能差异。”
莫提夫还要求公开专家评估的详细标准和结果。任代表表示:“即使考虑到各模型的技术报告,基准性能较低的模型为何在专家评估中获得第一名的具体判断依据仍然难以理解。”他补充道:“在专家评估过程中,收到了一些难以理解的问题,例如‘在财团主办和参与企业中,是否有外资或海外法人持有表决权的主要股东参与的企业’等,这些问题的评估目的和标准也需要解释。”
此外,莫提夫还请求公开用户评估的方法论、详细标准和结果。莫提夫曾建议在评估时采用不公开开发公司的盲测方式,因为如果用户在评估时提前知道开发公司,品牌认知或先入为主的观念可能会影响评估。
不过,莫提夫表示,无论异议结果如何,将不参加独立基础模型的第三次阶段评估。任代表强调:“感谢政府给予我们通过第二次阶段评估检验技术实力的机会,未来我们将依靠自己的力量在韩国打造最优秀的前沿模型。”
※ 本报道经人工智能(AI)系统翻译与编辑。


