亚利桑那州动手了。11月19日路透社消息,该州对OpenAI等AI企业启动刑事调查,指向一起"失控AI智能体疑似入侵银行系统"事件。总检察长克里斯·梅耶斯在芝加哥的发布会上说:"亚利桑那州对此非常担忧,我们正从多个角度审视。"这次是刑事调查。
智能体越界的后果,比答错一句话严重得多。它握着API,能调工具,能自己执行任务,一旦跑偏,动的是真金白银和真实系统。企业还在比谁的Agent更能干活,法律已经开始追问:出了事,谁负责?这个问题,眼下没人拿得出答案。
另一头的风险更隐蔽。个性化视觉助手知道你的过敏史,也能看懂画面,可这两样它能不能对上?PReMind-Bench专门测这项协同能力,4B基础模型的综合成功率只有12.9%。研究团队用两阶段强化学习框架PReMind,把记忆调用和危险应对放在一起训练,数字拉到28.6%。翻了一倍多,离可靠还差得远。
奥特曼在给"AI造AI"踩刹车,态度很明确,方向盘必须握在人类手里。AI造AI的飞轮一旦转起来,能力滚的是复利,风险滚的也是复利。等失控那天再收缰绳,来不及。
三件事都落在同一处。安全不该是能力上线之后才打的补丁。个性化要能救命,智能体要守边界,自进化要有闸门。谁先把这个顺序摆正,谁才有资格谈下一步。