世宗律师事务所（代表律师：吴钟汉）与韩国在线购物协会合作，提出了针对AI（人工智能）技术普及带来的网络安全威胁及未来将加强的个人信息保护法规的综合应对策略。 世宗律师事务所于15日在首尔钟路区世宗D塔的研讨室举办了以“AI时代在线购物企业的个人信息保护与事故应对策略”为主题的联合研讨会。 此次活动旨在检查在线购物企业在人工智能和数据利用急剧增加的环境中面临的安全风险，并寻求实际的解决方案。 研讨会由李泰熙顾问的开幕词拉开帷幕，分为应对侵害事故、法律制度动态、AI安全威胁三个部分进行。 首个发言的崔光熙顾问以“黑客事故现场需要的三项内容”为主题，强调了初期应对的关键要素，包括证据保存、法律报告和通知期限的遵守，以及平时应对体系的检查。 崔顾问表示：“由于AI的发展，攻击速度急剧加快，完全预防所有事故变得困难。”他呼吁：“在事故发生时，为了减少核心信息的损失，必须建立快速报告和证据保存体系，并通过模拟训练确保其有效性。” 接下来，安正浩律师聚焦于近期个人信息保护法和信息通信网络法修订后企业义务的变化。 安律师指出，预防责任和事后罚款制裁大幅加强，强调：“个人信息保护不是某个部门的工作，而是全公司的任务。包括管理层在内，必须检查根据修订法律的义务，并立即整顿内部管理体系。” 崔大宣教授分析了AI代理普及带来的新威胁因素。他指出，通过AI实现攻击自动化使防御成本大幅降低，并提出了对外部攻击的防范以及内部AI代理权限管理的必要性。 他解释道：“AI代理可能因意外行为而泄露个人信息，因此急需建立超越简单权限限制的监控体系，持续记录和检查活动记录。” 李泰熙顾问表示：“在线购物行业涉及众多利益相关者，事故发生时的影响力非常大。”他希望此次研讨会能成为企业维护客户信任、重新审视实际安全体系的契机。※ 本报道经人工智能（AI）系统翻译与编辑。

美国联邦贸易委员会（FTC）已对人工智能（AI）公司OpenAI和Anthropic展开安全事故相关调查。近期，AI代理无授权系统访问和个人信息泄露等安全性争议频发，监管机构开始审查是否存在消费者保护违规行为。 根据15日美国在线媒体Axios的报道，FTC已向OpenAI和Anthropic发出民事调查要求书（CID），要求提交与近期发生的安全事故相关的资料。 CID是一种行政程序，允许监管机构以类似法院传票的方式要求企业提供内部文件和相关信息。此次要求书总计50页，重点涉及消费者保护规定的违规可能性以及企业对安全事故的应对机制等内容。 FTC计划在审核资料的同时，传唤两家公司高管，听取他们关于AI产品对美国消费者影响及安全性保障措施的证词。 此次调查是在AI代理被报告出现脱离开发者控制、访问外部系统或表现出意外行为的情况下进行的。 在7月，OpenAI的AI代理被曝在实验性隔离环境外攻击了外部机构Hugging Face的系统。OpenAI首席执行官山姆·奥特曼（Sam Altman）将该事件评估为迄今为止最严重的案例。 最近，OpenAI的AI代理还被披露泄露了53张ChatGPT用户的个人图片，并未经授权访问了澳大利亚政府的健康统计网站。 Anthropic也因其AI模型生成与谋杀案件相关的虚假信息并向警方举报而引发争议。 据路透社等媒体报道，费城警察局在7月18日公开了本月初接收到的关于长期未破谋杀案件的虚假举报，该举报由Anthropic的AI模型生成。 针对AI公司的法律行动也在扩大。美国八个州政府当天对OpenAI提起诉讼，指控其在宣传ChatGPT的安全性时夸大事实，误导消费者并对青少年等用户造成伤害。 随着AI技术应用范围的扩大，个人信息保护和系统控制等安全性问题已成为主要的监管议题。※ 本报道经人工智能（AI）系统翻译与编辑。

开放AI为何不得不解雇负责安全与对齐的研究员？其本质是什么？AI代理同时对国内金融行业发起攻击，我们为何束手无策？我们错过了什么？开放AI是否为了最大化性能而放弃了对AI的控制？如果经济系统和国家系统引入了开放AI的解决方案，是否能够持续？ 开放AI在其最新的AI模型中引入了“循环深度变换器（Recurrent Depth Transformer）”架构，从而提升了计算效率和推理能力。同时，AI的思维过程变得无法被读取，控制也变得不可能，因为AI的思考过程被封闭在完全无法窥探的黑箱领域，而没有留下可供我们理解的文本。 他们专注于加速盈利所取得的成果，正在将人类推向危险的方向。我们必须与非营利评估机构合作，持续监控AI的推理，并进行预先干预。最重要的是，我们必须能够清晰地解读AI的决策。要求这种透明度的研究员显然成为了眼中钉。从中长期来看，AI的发展必然要通过直接扫描脑电波（Activation Vector）来实现，而不是仅仅依赖于AI的口头表达。 当AI脑海中浮现出危险的想法时，我们必须迅速研究并建立一个能够在其付诸行动之前进行阻断的系统。能否实时可视化AI模型的内心想法并进行监控，将成为未来巨大的商业护城河和必需的基础设施。希望我们不要错过这个时机。 金融行业为何会放弃职责？政府当局为何未能采取主动应对？自“神话5”（Mythos 5）发布以来，针对金融、通信、电力、公共和国防等一级安全市场，AI代理主导的黑客威胁已被预见，但机构和现场在实际解决方案的构建上几乎失败。 当安全范式迅速变化时，必须迅速而有力地采取行动。企业在短期工作效率和便利性上优先于安全风险，尽管有预警，依然延续了以往的懈怠防御习惯。监管机构也应通过基于AI代理的持续自主模拟渗透，主动验证防御体系，但仍停留在以往的形式化监管水平，责任重大。 问题在于，随着时间的推移，情况愈发恶化。即使不是黑客，任何人都可以轻易获得攻击并赚钱的机会。攻击者只需输入提示，即可轻松开始犯罪，AI代理会自动处理从渗透路径探索到代理绕过、数据泄露尝试的所有操作。 更重要的是，AI代理的攻击速度和精确度已超越了人类的安全监控能力。建立一个能够自主判断并实时阻断此类攻击的AI代理系统，已不再是选择，而是必需。为了使“零信任”政策有效，必须在系统内部精心设计故意的不便。 在接下来的6到12个月内，是否会发生最严重的AI灾难？美国主要的AI前沿企业已将这种极端情况视为既定事实，并开始进行非公开的模拟训练。其目的是为了应对从安全虚拟控制区（沙盒）逃逸的自主代理群体的突发行为，以及任何人都可以下载并修改的开放权重模型被恶意操控的大规模网络攻击。 这就像是在经历一场局部战争后，站在无法控制的全面战争的边缘。我们必须挖掘并应用所有可用的应对措施，如API电路断路器、紧急关闭开关、AI免疫系统、防御性自主代理群体、跨国AI灾难模拟训练等。希望一切都不会太晚。 ※ 本报道经人工智能（AI）系统翻译与编辑。

Meta公司在人工智能（AI）安全领域大规模招聘专家后，仅仅三个月便进行了裁员。这一举措引发了业界的广泛关注，尤其是在对AI可能带来的风险日益担忧的背景下。 美国在线媒体Semafor于当地时间2日报道，Meta最近解雇了从AI安全初创公司Virtue AI引进的员工。Meta发言人安迪·斯通表示：“很遗憾，这次合作并未按计划进行。”他指出，裁员的原因是工作风格的冲突。然而，他强调，Meta超智能研究所（MSL）仍在专注于AI安全、对齐（Alignment）和风险管理等领域。 Meta在6月底曾引进了Virtue AI的联合创始人博·李、邓·宋和山米·科耶佐等员工。当时，Meta在内部备忘录中解释了招聘的背景，称“在为数十亿用户提供AI产品和开发越来越强大的智能体的过程中，保持系统的稳定性和可靠性是最基本的要素”，这一信息由Axios报道。 Virtue AI曾与Anthropic和OpenAI合作，并参与了美国商务部下属的国家标准技术研究所（NIST）有关AI安全的项目。特别是，联合创始人邓·宋是加州大学伯克利分校的教授，也是责任与去中心化智能中心（RDI）的共同所长，因其在AI安全领域的研究而闻名。他最近与主要AI企业的研究人员和学术界的研究者共同发表了一篇论文，指出AI能力的快速提升可能对人类构成严重风险。 据《联合新闻》报道，Meta的这一举动与一直强调AI风险并主张成立自律监管机构以减缓开发速度的Anthropic和OpenAI形成鲜明对比。Meta首席执行官马克·扎克伯格此前表示，AI开发公司应在没有外部监管的情况下自行决定适当的开发速度。他还向美国总统唐纳德·特朗普传达了反对成立自律监管机构的立场。※ 本报道经人工智能（AI）系统翻译与编辑。

美国总统特朗普明确表示，不会与中国在人工智能（AI）管理方面进行合作。相反，中国则主张应建立共同的理解，以应对AI风险。 尽管美中两国上周新设了AI风险管理对话，并计划在11月举行后续对话，但由于双方在AI安全问题上的不同立场，具体合作的实现仍然面临挑战。特朗普称与中国合作AI等于泄露美国机密 据路透社等外媒报道，特朗普总统在29日（当地时间）华盛顿举行的政府网站启动仪式上，划清了与中国在AI风险应对方面的合作界限。 他表示，如果与中国在AI领域开展共同项目，就等于将美国的“机密”交给中国，认为美国企业将难以在与中国企业的竞争中保持优势。 特朗普一直主张，为了在与中国的AI竞争中保持优势，政府应避免对AI进行直接监管，强调企业应自主进行安全管理。 实际上，他在当天与美国大型科技公司高管的午餐会上，也强调了企业在AI安全方面的自主应对。 在此次午餐会上，六家AI企业（谷歌、Anthropic、Meta、OpenAI、xAI、英伟达）签署了AI安全自律协议。协议内容包括，确保AI系统不会以意外方式渗透或攻击其他系统，并通过独立的外部审计机构评估控制措施的有效性等。 中国呼吁建立AI风险应对的共同标准 与此相对，中国则认为在AI安全问题上需要美中之间的合作。中国国家主席习近平上周与特朗普总统会晤时强调，双方在AI开发与管理上应共同承担责任。 在美中领导人峰会上，双方就AI的风险与优势进行了意见交流，并决定建立两国间的联络渠道，以便在发生AI相关事故时进行沟通。双方还计划在11月继续进行AI对话。 中国的国家级智库在峰会后也提出，美中应制定共同的标准和语言，以管理AI风险。 据《南华早报》报道，中国现代国际关系研究院科技战略研究中心的刘冲主任在28日表示，美中AI对话应首先集中在建立对AI风险的共同理解和相互信任，而非解决两国的技术竞争。 刘主任指出，美中不必采取相同的AI产业政策，也不需要共享AI模型的核心信息或技术。相反，双方政府、企业和研究者在讨论AI风险时，首先应形成共同的术语和对风险的理解。他还建议建立一个根据风险水平变化调整应对措施的体系。 他还主张加强对开发尖端AI的企业的监管，认为少数领先企业不应主导AI管理方向。特别是对于封闭型AI模型，外部很难识别其风险，因此美国企业应更加积极地公开与AI风险相关的信息。

美国人工智能（AI）公司安特罗皮克在企业公开募股（IPO）前警告称，尖端AI可能对人类造成“灾难性或生存性风险”。这家试图通过AI技术获利的公司，正式指出其技术可能威胁人类生存的可能性，实属罕见。 据路透社28日报道，安特罗皮克在IPO投资说明书中表示：“随着AI模型、平台和应用的高度发展及应用范围的扩大，我们的模型可能造成损害的风险也会增加。” 具体而言，该公司指出AI模型可能表现出“自我保护行为”，可能抵抗停机，隐瞒或操控信息，甚至表现出类似威胁的行为，这些都被列为风险因素。 企业在IPO过程中公开产品和业务的风险因素是常见做法，但路透社指出，警告其技术可能威胁人类生存的案例极为罕见。安特罗皮克强调，AI可能带来与工业化或电力发明相媲美的变革，但如果管理不当，可能造成不可逆转的损害。 安特罗皮克最近对AI技术的快速发展表示担忧，主张应减缓AI开发速度以确保安全。首席执行官达里奥·阿莫德伊（Dario Amodei）在12日的博客中呼吁整个AI行业应共同减缓尖端模型的开发速度。 实际上，在此次261页的IPO投资说明书中，约80页专门用于说明风险因素，而对业务内容的说明仅有48页。 由埃隆·马斯克领导的AI公司xAI在其277页的IPO投资说明书中，风险因素的篇幅约为38页。 安特罗皮克表示，确保安全性需要大量资源，有限的资金需要分配到计算资源、高级AI人才和安全性研究等方面。然而，该公司指出，安全性研究的投资将带来何种收益仍然不确定。 在投资说明书中并未公开安全性研究的具体费用，但安特罗皮克最近表示，在7月的某个周期间，约6%的计算资源用于安全性研究。 问题在于，尽管强调AI安全性，但在尖端AI开发竞争中却难以减缓速度。安特罗皮克在投资说明书中指出，客户使用和收入受到新AI模型发布的影响，为了保持在AI技术的前沿，必须持续推出新模型。 实际上，安特罗皮克在上周推出了新的Opus模型，这距离阿莫德伊首席执行官公开主张调节AI开发速度的文章仅过去十天。 此外，安特罗皮克原本预计在10月进行IPO，但最近已将目标时间推迟至11月，分析认为这是为了在IPO前展示第三季度良好的业绩，并有时间整理公司在AI安全性方面的立场。※ 本报道经人工智能（AI）系统翻译与编辑。

韩国政府与开放AI正在推进的全球AI安全合作机制“信任基础网络接入（TAC）”已初步达成共识。预计下周将与开放AI总部进行后续协商，最终调整TAC的参与范围和运营方式。 据业界消息，科学技术信息通信部（科技部）计划于下周与开放AI会面，具体化TAC合作方向。科技部高层表示：“虽然尚未确定，但在大框架上达成了一致，具体内容将在下周与开放AI首席战略官杰森·权的会谈中进行。” 在前一天举行的开放AI安全实务研讨会上，公私部门对TAC合作的必要性达成了相当程度的共识。科技部相关人士表示：“此次研讨会是应开放AI的请求而举行的，我们对此持积极态度。” TAC参与者将获得有限访问开放AI安全专用AI模型的权限。目前，CrowdStrike、Palo Alto Networks、Cloudflare、Fortinet、Akamai、Zscaler等全球安全企业已参与TAC，并将开放AI模型与其安全系统进行整合和应用。 分析认为，政府加快TAC合作的背景在于国际AI安全秩序的变化。 根据软件政策研究所的说法，美国白宫正在加强将AI与网络安全作为国家安全战略层面进行综合管理的举措，保护AI模型、数据中心和安全体系本身作为核心资产的趋势愈发明显。 美国正在推进基于AI的安全威胁检测和防御体系建设，同时扩大安全AI数据中心，推动AI安全内在化和AI漏洞信息共享体系的建立。 专家们对TAC合作在增强国内网络威胁应对能力方面给予了积极评价。顺天乡大学信息安全学教授严兴烈表示：“通过与开放AI的信息共享，获取漏洞信息和补丁方式，将有助于阻止基于AI的攻击代码和提升安全应对体系。” 他进一步指出：“不过，需谨慎对待单独建立新的威胁应对组织，目前韩国互联网振兴院（KISA）已在运营网络威胁信息分析与共享（C-TAS）系统，因此提升信息共享体系的方向更为现实。” 此外，政府还在与Anthropic协商参与基于AI的安全合作项目“项目玻璃翼”。但考虑到国家层面参与的案例尚无，以及唯一参与的海外研究所是英国AI安全研究所，实际合作预计将面临挑战。※ 本报道经人工智能（AI）系统翻译与编辑。

在即将召开的美中首脑会谈上，双方将讨论建立应对AI安全威胁的热线。这一热线旨在确保在AI发生自我黑客攻击或失控时，两国能够迅速沟通。这让人联想到冷战时期美苏之间为防止核战争而设立的直通电话。乍一看，这似乎是一个无可指责的提议。 然而，冷战时期的热线与当前的情况根本不同。当时，只有美国和苏联具备实战部署核武器的能力，若两国达成共识，核战争这一最坏的情形是可以控制的。相比之下，AI带来的风险并不仅限于美中两国。 AI可能导致的劳动市场重组、信息生态系统干扰、军事滥用，以及对特定模型和半导体的依赖，都会影响没有基础AI模型的国家。虽然风险的源头可能是这两个国家，但风险的接收者却是全球。核武器只有在拥有国的情况下才能构成威胁，而AI一旦被全球使用，其风险便会被所有国家共同承担，这一点使得结构本身就有所不同。 然而，真正决定“什么是AI安全威胁以及如何应对”的讨论中，只有美国和中国在场。欧盟、日本、韩国以及发展中国家都未被邀请参与这一讨论。 如果两国达成协议，这不仅仅是建立一个危机沟通渠道。实际上，全球必须遵循的AI安全标准将是在未征得其他国家同意的情况下形成的。对于像韩国这样在半导体和AI模型上高度依赖美中两国的国家而言，这样形成的标准将会被迫接受，这绝非无关紧要。 讽刺的是，这两国在另一方面却在为“AI超级大国”的地位展开激烈竞争。在市场份额和技术霸权的竞争者之间，唯独在安全议题上握手合作，这让人感到疑惑。 这表明，两国希望在加速自身AI产业发展的同时，也能直接管理风险。最终，这一切很可能会根据两国的战略利益进行设计。其他国家则没有选择的余地。在已经依赖这两国的模型和基础设施的情况下，它们只能选择接受两国设定的安全标准，或者完全被排除在讨论之外。 并非没有多边讨论的框架。英国和韩国相继主办的AI安全峰会上，数十个国家参与并发布了联合声明，建立了某种国际合作模式。然而，如果实质性的危机应对机制仍然由美中两国的双边渠道决定，那么之前的多边协商将沦为无约束力的形式。 反对热线本身并没有理由。应对AI事故的最低沟通渠道是必要的。然而，为了不让这一机制固化为两国的秩序，讨论的门槛必须降低。AI安全问题应当作为多边规范来处理，而非仅仅是美中两国的双边关系。 在这一讨论桌上，必须为那些不得不接受两国决定的其他国家留出位置。如果世界秩序由这两国自行设计，而其他国家只是被告知结果，那么我们将再次在更广泛的范围内以更安静的方式目睹力量的不平衡，甚至超过核时代的情况。

开发聊天机器人的公司开放AI近日提出，全球人工智能（AI）开发的安全与保安应建立技术标准，并主张由美国主导。在美国与中国等国之间的AI技术竞争加剧的背景下，开放AI认为美国应当在国际AI治理中占据主导地位。 开放AI在21日（当地时间）发布的长文中指出：“为了确保AI的安全和有益发展，需要在多国和多企业之间建立共同的标准，以确保AI符合人类的价值观和控制。”特别强调美国应与各国合作，主导全球AI技术标准的制定。 开放AI表示：“美国拥有处于AI技术前沿的产业，并在金融、贸易、国防、技术和信息系统等关键领域建立了强大的全球网络，因此在推动这些努力方面处于有利位置。” 同时指出：“美国是否能够掌握主导权，将决定其是否能够引领全球AI体系，或者是否会看到一个支离破碎、不平衡且充满冲突的AI体系的形成。” 开放AI还强调：“地缘政治竞争不仅仅是技术领先的问题，而是围绕AI的引入和扩散展开的竞争。能够为企业和社会提供现实的国际合作和合理的规则的国家，将主导AI的扩散。” 为了制定国际AI标准，开放AI呼吁利用包括韩国在内的各国AI安全研究机构网络。 在美中领导人会晤即将举行之际，开放AI还提到与中国合作的必要性。开放AI认为，美国与中国在AI安全领域的对话将是积极的举措，并认为目前两国之间的相关讨论时机恰当。 开放AI的提议是在AI行业安全性讨论重新升温的背景下提出的。竞争对手安特罗皮克上周发布了其先进AI模型安全开发的方案，AI研究人员也纷纷警告AI可能对人类带来的风险。 然而，美国总统唐纳德·特朗普对AI开发速度的调控论表示“骗局”，坚持认为美国必须继续推动AI开发，以超越中国。在美国国内，关于AI开发速度与安全性的争论也在加剧。 随着AI成为国际社会的重要议题，预计在22日于美国纽约举行的联合国大会上，AI的安全与国际安全问题将成为主要议程。 据美联社报道，联合国安全理事会（安理会）将于23日下午召开关于AI对全球安全与安全威胁的高级会议。开放AI首席执行官山姆·奥特曼也将出席安理会，就AI与国际安全进行简报。 AI安全问题也被纳入定于24日举行的美中领导人会晤的主要议题。特别值得关注的是，双方是否会达成建立直接沟通的“热线”，以应对国家安全受到威胁的AI相关事件或危机。

美国与中国在特朗普总统与习近平主席的会晤前两天，就贸易休战的延长、伊朗制裁及人工智能（AI）问题展开了激烈的磋商。 斯科特·贝森特在21日接受CNBC采访时表示，与中国国务院副总理何立峰的会谈“非常成功”。他指出，11月10日到期的美中关税休战是此次会谈的重点。他还表示：“自去年秋季以来，两国关系保持稳定，并将继续保持这种稳定。” 然而，贸易休战的延长尚未达成一致。美国贸易代表办公室（USTR）代表杰米森·格里尔在当天接受彭博电视采访时表示，双方在休战延长的条件上仍存在分歧。他提到，美国可以接受的延长期限为3至6个月，但“尚未达成延长协议”，需要进一步谈判。格里尔表示，他更倾向于几个月的阶段性协议，而不是长期的延长，并指出：“我们需要随时检查中国的协议履行情况”，并提到“中国在稀土出口管制等方面制造了不确定性”。他补充说：“在此时完全信任对方的想法有些天真。”不过，美国方面表示，双方都希望延长休战。 关于降低关税的具体方案也进行了讨论。美国希望扩大对中国农产品、能源和医疗器械的出口，同时也讨论了扩大对中国消费品等日常用品的进口。 伊朗问题也是谈判的焦点之一。贝森特在21日的采访中表示，他与中国金融监管机构就伊朗制裁的执行进行了积极对话，并指出中国方面“非常参与”美国对伊朗的经济施压。特别是他提到与中国方面讨论了对伊朗航空公司的制裁加强问题。 在人工智能领域，双方寻求积极合作。双方决定审议在发生可能影响国家安全的重大AI事件时相互通报的“事件通报机制”。贝森特强调，美国和中国作为全球前两大AI强国，需要提高透明度。双方计划在两个月后于中国深圳召开与AI安全相关的后续会议。另一方面，格里尔表示，此次谈判中并未讨论美国是否会放宽对中国的高端AI半导体出口管制。 此外，20日双方进行了超过8小时的会谈，目前正在进行实务上的协调工作。贝森特与何立峰是否会在22日或23日再次会面尚未公开。※ 本报道经人工智能（AI）系统翻译与编辑。