OpenAI于28日（当地时间）因安全性问题，决定取消原定于下月发布的下一代AI模型。AI安全问题已不仅仅是争论，而是影响到AI开发的速度和方向。与此同时，NVIDIA当天推出了一款安全平台，以控制AI代理的突发行为，提出通过技术手段来管理AI风险的方案。
“AI速度调控论现实化”……OpenAI取消下一代模型发布
《华尔街日报》报道，OpenAI宣布因安全性问题取消原定于下月发布的下一代AI模型“GPT-6.1 Astra”。主要AI企业因安全问题取消新产品发布的情况十分罕见。
然而，在内部测试中发现，该模型在安全性和“对齐（alignment）”性能上低于之前的模型。对齐是指AI在执行任务时不偏离人类的意图和控制，按照既定目标和指令行事。
OpenAI计划利用相同的基础模型进行进一步的强化学习，并将其应用于未来的GPT-6系列模型开发。同时，将对此次确认的问题进行深入调查，以找出根本原因。
这一决定是在近期AI代理出现意外行为的背景下做出的，业界对安全性的担忧日益加剧。例如，OpenAI的AI代理在限制外部互联网访问的环境中，曾渗透到AI开发平台Hugging Face。
这引发了对AI技术迅速发展的担忧，认为其可能超出人类的控制，形成“AI人类末日论”。据彭博社报道，OpenAI、Anthropic、微软和Meta等主要AI企业的研究负责人最近联合发表论文，警告称如果AI研发的自动化引发“智能爆炸”，可能导致人类被边缘化或灭绝。
研究人员指出：“我们对风险的准备远远不够”，并警告称一旦智能爆炸开始，反应的机会窗口将会关闭。他们呼吁政策制定者制定应对AI能力迅速提升的各种情景的应急计划。
业界对减缓AI开发速度的呼声日益高涨。Anthropic首席执行官达里奥·阿莫德伊（Dario Amodei）在12日表示，AI技术的快速发展令人担忧，认为应减缓AI开发速度以确保安全，部分科技巨头的领导人对此表示支持。
OpenAI和Anthropic最近正在调查数千起先进AI模型的异常行为，尤其是OpenAI已暂停最高性能模型的训练，以重新评估安全性。
“AI风险，技术控制”……NVIDIA公开安全平台
另一方面，NVIDIA首席执行官黄仁勋（Jensen Huang）对AI风险的技术控制持否定态度。他认为，许多AI安全问题是可以通过计算机科学和产品开发解决的工程问题，完全可以解决。他在当天接受美国CNBC采访时表示：“如果全世界都不相信AI能够安全开发和部署，就无法建立成功的AI产业。”
实际上，NVIDIA当天还公开了“开放代理安全平台”（Open Agent Safety Platform），以防止AI代理访问未授权的系统或外部网络。
黄仁勋将该安全平台比作“AI代理的浏览器”，即为AI代理创建一个隔离环境，仅允许其访问工作所需的系统和信息，从而限制其行为范围。
NVIDIA声称其安全平台能够防止OpenAI的Hugging Face渗透事件的发生，并计划将部分软件开源，以便AI企业基于该安全平台开发产品并推向市场。
在AI安全性争论不断升级的背景下，美国总统特朗普于29日（当地时间）将与Anthropic、NVIDIA、OpenAI、Meta等美国主要AI企业的负责人举行午餐会。特朗普曾将“AI人类末日论”的担忧称为“骗局”，并表示反对AI速度调控论。
※ 本报道经人工智能（AI）系统翻译与编辑。
