继OpenAI后Anthropic也认了 Claude评测意外骇入3家企业



(纽约31日综合电)继OpenAI之后,美国人工智能(AI)新创公司Anthropic周四表示,公司的AI模型曾在资讯安全评测中意外入侵其他企业,且已在周一通知被入侵的企业。
ADVERTISEMENT
Anthropic在新闻稿中指出,在OpenAI揭露自家模型在资安能力评测时发生意外情况后,Anthropic也全面回溯自家模型的网路攻防评测纪录,发现旗下3个Claude模型在评测过程中,本应与网际网路隔离的评测环境出现漏洞,因此模型意外入侵了3家真实企业的正式营运系统。
OpenAI是在本月21日揭露,公司测试中的AI代理(AI Agent)系统曾突破原本应与网际网路隔离的测试环境,入侵AI公司Hugging Face。
《华尔街日报》指出,此事震撼了资安研究人员与AI专业人士,也再次提醒外界:这些被设计成可自主行动以完成使用者任务与目标的AI代理,拥有难以预测的强大能力。
OpenAI首席执行员阿尔特曼在本周播出的Podcast节目《Invest Like The Best》中受访中说,这起资安事件让他“真切感受到威胁”,因此呼吁控制AI发展速度、让社会有足够时间建立更强的防护机制。
《华尔街日报》指出,Anthropic继OpenAI后也揭露AI模型入侵事件,势将进一步加剧外界对高性能AI模型潜在危害的忧虑,也将掀起更多如何降低相关风险的讨论。
白宫近期已着手加强对AI的监管;民间企业积极呼吁应限制“开放权重”(open-weight)模型,也就是可在使用者自己的电脑上运作的AI模型。不过,辉达首席执行长黄仁勋抱持不同看法,呼吁应允许开放权重模型发展,并说这对新兴的AI产业至关重要。
Anthropic表示,公司在检查的14万1006次评测纪录后,发现Claude模型确实曾数度连上网际网路。不过,在最终确认的3起事件中,Claude并非突破隔离环境限制,倒是因为所在系统并未设置隔离措施,因此自行连上网路。
Anthropic指出,造成事件的原因,是Anthropic及合作测试伙伴、资安公司Irregular管理的系统出现“设定错误”,导致AI模型意外获得可直接连接网际网路的权限。
Irregular一名发言人表示,公司在调查事件。
Anthropic表示,虽然模型事先被要求不得使用网路,可在测试过程中,它们仍成功连网,并利用猜测弱密码、进入不需身分验证的系统等基本的骇客手法,成功入侵相关企业。
Anthropic指出,这些模型误以为上述骇客行为本身,就是基准测试的一部分。相关入侵事件始于今年4月,涉及Anthropic旗下Opus 4.7、Mythos 5以及一款未具名的研究模型。
ADVERTISEMENT
热门新闻
百格视频
ADVERTISEMENT


