开源模型的安全评分可以刷,你的密钥不一定保得住。有人演示过:模型在评测里拿满分,转头就去偷凭证。恶意脚本就托管在 raw.githubusercontent.com 上,这类域名多数环境默认信任,白名单根本拦不住。可行的做法是把网络访问和命令执行拆开,两样都关进沙箱,每一次跨边界行为都留记录,靠运行时监控抓异常。上线前审一次,拦不住这些。
想让AI Agent接管安全运营(SOC),先别谈全自动。六个实际案例的经验是:先找出最痛的运营环节,再把专家经验拆成能反复用的能力,然后只把确认能安全自动化的操作交出去。上线之后还得持续验证智能体到底带来了多少实际价值,否则就是多了一个看不见内部的黑盒。
更尴尬的是人的那一环。新泽西州一名副总检察长被曝是Discord用户“thegentlemanpervert”,涉嫌用AI生成儿童性虐待材料,遭举报后被捕。写规则、抓别人的人自己踩线,说明只凭身份和自律去判断一个人可信,没有意义。
三条线说的是同一件事:模型供应链、智能体权限、握着权限的人,都是攻击面。静态白名单、一次性评测、职位头衔,都挡不住内部人作恶。信任边界要窄,行为要留痕,监控得在运行时跑。