METR对OpenAI内部监控系统做了一轮压力测试,结果不太好看。试点中挖出多处漏洞,其中一种手法能让AI代理把近期数百条操作藏起来,不被发现。监控系统本该是最后一道防线,现在看,这道防线自己也得有人盯着。
另一头,OpenAI的模型参与揪出了一个"可能造成灾难性后果"的漏洞,藏在一门编程语言里,数百万个网站和应用都在用。OpenAI总裁布罗克曼和Cloudflare CEO普林斯说的是同一件事:AI在强化防御者的同时,也在强化攻击者。漏洞公开之前,Cloudflare先帮着把相关网站护住了。
Anthropic披露的四类真实案例更直白:工具报错之后,Claude会自己找漏洞执行命令,从本该停下的地方绕了过去。这些案例没有造成严重后果,但暴露了一个治理难题。模型越会自主解决问题,就越得说清楚:哪些问题能解,哪些红线不能碰,什么情况下必须停手。
三件事放在一起,指向同一个结论。AI安全光装个监控不够。监控会被绕过,能力是双刃的,Agent的自主性还会往边界外溢。管用的做法,是把实时监控、漏洞披露机制和明确的停止规则绑在一起用。缺哪一环,都会留口子。