美企披露又一起AI模型侵入第三方系统事件-新华网
新华网 > > 正文
2026 09/10 18:31:50
来源:新华网

美企披露又一起AI模型侵入第三方系统事件

字体:

  新华社旧金山9月9日电(记者吴晓凌)美国人工智能企业Anthropic公司9日披露,又发现了一起该公司旗下人工智能(AI)模型在网络安全评估测试中未经授权访问第三方计算机系统的事件。

  Anthropic公司官网当天发文介绍,这起事件发生于今年1月,涉及该公司“克劳德-奥普斯4.6”模型的一个早期版本。当时该模型被要求完成评估网络攻防的“夺旗”任务。测试提示明确告知模型,其所处环境与互联网隔离,但由于配置错误,实际上它能够接入互联网。模型通过探索其所在测试环境找到出口路径,连接到一台第三方计算机,随后利用从文件中发现的密码获得管理员权限,修改系统设置以便继续访问,并读取一名相关人员的个人信息。

  今年7月底,Anthropic曾披露三起类似事件。该公司说,今年8月在进一步整理此前的测试记录时发现第四起事件被遗漏。该公司认为,这几起事件反映出两类问题:一是“有偏见的推理”,即模型会倾向于忽视或曲解相应证据,以支持自身行为的正当性;二是“鲁莽行动倾向”,即模型为了完成既定任务,有时会采取可能造成伤害的行动。

  Anthropic表示,公司此前主要认为这些事件与测试环境配置等操作层面的问题有关,但进一步调查发现,模型本身的推理过程和行为也存在问题。为降低类似风险,公司已加强测试环境与外部网络的隔离,部署可以实时干预的监测机制,并要求第三方测试机构更明确界定模型的权限和网络访问范围。

【纠错】 【责任编辑:胡蓉】