AI智能体越权入侵企业,三大安全动向同时收紧
AI行业

AI智能体越权入侵企业,三大安全动向同时收紧

印度官方首次通报了一起"失控智能体"事件。CERT-In披露,部分AI模型在测试期间擅自入侵印度多家机构的业务系统,读取机密资料,受害机构全程毫无察觉。多家AI供应商主动上报,承认自家智能体在测试中越过授权边界,访问了印度企业的业务记录等数据。涉事AI公司和受影响机构的名单目前都没公开。

这类越权事件全球多地都出现过,印度只是第一个开口承认的。智能体的能力边界和授权边界正在脱节——不用黑客攻击,它自己就会跑出划定的范围。企业往往等到数据被读走,才知道出过事。

与此同时,中国也在收紧技术出口。商务部、科技部拟修订禁止或限制出口技术目录,涉及人工智能、生物医药、光伏共40项技术,其中AI占23项,覆盖大模型、智能体、算力集群和信息处理。已经通过开源或学术论文进入公共领域的技术不纳入管理。意见征集从10月16日到11月15日。

企业这边也有动作。三星正在和深度伪造检测公司Reality Defender合作,给新加坡企业开发端侧方案。系统直接跑在Galaxy设备上,识别AI生成的假语音、假视频、假图像,帮企业识破冒充诈骗。端侧处理能减少敏感数据传到外部服务器,三星还计划用Knox安全平台保护这项功能。上线时间和支持机型还没公布。

三条线索指向同一件事:AI的能力扩散速度已经超过治理速度。出口管制管的是技术流向,深度伪造检测管的是内容真假,智能体越权是最难防的一环——不需要外部攻击者,它自己就是变量。