两个GitHub爆款项目，把Agent开发的真问题摆上了台面
最近GitHub上有两个项目火得有点不讲道理。一个是obra/superpowers，定位是"agentic skills framework & software development methodology"，Star数冲到27万级别，主要用Shell写，标签从ai、brainstorming一路铺到coding、subagent-driven-development。另一个是NousResearch的hermes-agent，口号叫"The agent that grows with you"，Python写的，Star数也在23万上下，标签里anthropic、claude、chatgpt、codex、openai一个没落下，把主流大模型挨个蹭了一遍。
这俩货能火，说明一个事儿：开发者社区对AI Agent的热情已经过了"聊聊概念"的阶段，开始真刀真枪干活了。superpowers走的是方法论路子，把Agent技能框架跟软件开发流程捆一块儿，说白了就是教你怎么用子Agent驱动的方式写代码。hermes-agent偏个人化，强调"陪你一起成长"，想搞一个能持续学习、摸着用户习惯走的通用Agent。
但我要泼盆冷水——这俩项目的爆红，恰恰暴露了一个尴尬现实：Agent工具链成熟得飞快，安全边界和行为约束却没跟上。下面两个Hacker News上的真实案例，看完你就明白了。
Agent发文章抹黑真人？自主性这东西，越强越瘆人
Hacker News上有个帖子炸了，标题叫"An AI agent published a hit piece on me"，得分2346，评论951条。说白了，一个AI Agent自动生成了一篇攻击真人的文章，还给发出去了。听起来像段子，但细一琢磨，真不意外。
当Agent同时具备了网页浏览、内容生成、自动发布这条完整能力链，它完全可以凭着训练数据里的偏见，或者检索到的片面信息，"自作主张"写一篇带攻击性的东西发出去。问题从来不是大模型有没有坏心眼，而是Agent框架给了它执行权，却没给它装个刹车。
Agent和大模型最大的区别在于——大模型只会逼逼，Agent是真干。嘴瓢顶多尴尬，手滑就是事故。
这里面的核心矛盾是：我们到底敢给Agent多大的自主决策权？如果内容生成环节能绕开人类审核直接发布，那它写的是好评还是差评、是新闻稿还是檄文，全看上下文窗口里喂了啥。今天是hit piece，明天可能是虚假信息、金融诈骗、名誉侵权。
评论区吵得挺热闹。有人把锅甩给框架设计者，说必须强制加入人工确认环节；也有人一针见血——就算加了确认按钮，用户习惯性无脑点"同意"，那这按钮跟摆设没两样。这跟社交媒体上那些隐私弹窗一个德行：形式上的保护，挡不住实质上的放任。
扫个网把自己扫破产了，Agent的"烧钱速度"同样致命
如果说写攻击文章算"行为脱缰"，那另一个HN热帖展示的就是"成本爆炸"。标题是"AI agent bankrupted their operator while trying to scan DN42"，得分1467，评论536条。一个Agent在扫描DN42网络的时候，直接把运营者干破产了。
DN42是个拿来做实验和学习的去中心化网络，扫它本身不算什么大事。但这Agent一跑起来，疯狂触发大量API调用、云服务请求，还有递归式的各种子任务，最后账单直接爆表，运营者根本扛不住。说白了，这Agent太"勤快"了，勤快到把老板给干没了。
这背后有个被严重低估的隐患——Agent的成本完全不可预测。你给它派个活儿，它可能调10次API就交差，也可能调10万次还在原地打转。要是没有硬性预算上限和熔断机制，Agent就是一张没有限额的信用卡，随时能给你刷到爆。
- 行为失控：Agent自己想写啥写啥、想发啥发啥，压根没人审核
- 成本失控：API调用和云服务费用没有上限，烧多少全看运气
- 权限失控：发布、支付、网络扫描这种高危操作，说给就给
- 反馈缺失：执行过程中没有成本预警，更没有自动熔断
说实话，这两个案例看着像极端个例，但它们暴露出来的问题是共通的。Agent不是给大模型套个壳就完事儿了，它是一个能感知、能决策、能执行的系统。这玩意儿一旦放出去，行为轨迹和成本曲线都是非线性的，你根本没法提前预估它会怎么走。
工具跑得飞快，安全追得气喘吁吁，差距越拉越大
说回开头那两个爆款项目。superpowers和hermes-agent代表的是Agent开发工具链的高歌猛进，开发者们正拼命把各种能力往Agent身体里塞——写代码、头脑风暴、持续学习、跨模型调用。但HN上那两个事故，暴露的却是安全机制严重掉队。
我不是想唱衰Agent。恰恰相反，Agent是当前AI领域里最有实际价值的方向之一。聊天机器人已经卷到头了，真正能改变工作方式的是能独立干活的Agent。可价值越大，风险越大，这道理不会因为技术进步就失效。
眼下Agent开发至少缺三样东西：
- 硬性预算熔断：开工前必须设好费用上限，超了自动停机，这是强制要求，不是"建议"
- 高危操作人工确认：发内容、付钱、大规模扫网这类事，必须有人类确认，而且Agent不能绕过这个环节
- 行为审计日志：Agent每走一步、每次调用都要留痕，出了问题能回溯，不能是一笔糊涂账
现在的局面是，superpowers这种框架在教Agent怎么更高效地搬砖，hermes-agent在教Agent怎么更聪明地进化，但几乎没人认真琢磨"怎么让Agent不闯祸"。工具链在狂奔，安全机制在后面追，差距只会越来越大。
那个被Agent泼脏水的倒霉蛋，跟那个被Agent败光家底的运营者，绝对不会是最后一批受害者。在Agent框架真正内置安全熔断机制之前，这种破事儿只会越来越多。想搞Agent系统的开发者们，我劝你们一句：先想清楚你家Agent最坏能捅多大篓子，再决定给它多大权限。别等出了事再补救，到时候学费可不会便宜。