万益资讯网

核心原因是美军担心他们的AI像小孩一样被哄骗说出漏洞,所以突然下令9000亿美元

核心原因是美军担心他们的AI像小孩一样被哄骗说出漏洞,所以突然下令9000亿美元市值AI巨头Anthropic禁止Claude Fable 5全球访问,背后的原因实际上就是有人展示了成功越狱 Fable 5 ,然后美政府敏感了,就要求暂停所有外国国民(无论在美国境内还是境外,包括Anthropic的外国员工),然后 Anthropic也没有办法了,干脆就先全下了。

关键人物是是Pliny the Liberator 的一个分析,他是 AI 越狱(jailbreak)社区里的研究者,Fable 5 发布后,他很快就发布了越狱 Demo,成功绕过了 Fable 5 的安全防护机制,好像他一直都盯着Claude,去年就找过这家AI公司的麻烦。

大致原理是像哄小孩一样,你可以通过不直接问AI“怎么做 XXX 危险的事”,而是把整个过程拆成很多个看起来无害的小问题,分别问模型,最后再让模型把这些碎片重组起来,形成完整的、有用的(甚至对美军有害的)回答。而美军在很多关键系统上引入了这家公司的人工智能大模型,这样的话他们担心可能外国网友也会用这招一点点去诱惑AI说出美军的系统漏洞。

Anthropic也算是自己求锤得锤了,他这两年为了吹嘘自己AI大模型强大,常常自夸实力太强大,甚至大到很危险了。吹得连美国人都很反感。见图3.所以他们也常常吐槽。