AI智能体三连击:游戏突破、剪辑被删、蒸馏换打法
AI技术

AI智能体三连击:游戏突破、剪辑被删、蒸馏换打法

训练智能体的思路在换挡。ActionOPD 提出一种 on-policy 蒸馏方法:不盯 token,也不要求模型复现教师的推理过程,直接对齐"动作"。学生模型跑到哪一步,就跟黑盒教师在同一步采样出的动作比一比,不需要教师的 token 概率,师生分词器不一致也无所谓。团队用两个教师模型训练 Qwen3-4B 和 Qwen3-8B,在四个分布外基准上平均涨了 3.3 到 6.9 个百分点,τ²-bench 上的成绩能跟离线蒸馏、token 级 on-policy 蒸馏掰手腕。

游戏这边,Player-1 走的是合成经验路线。团队搭了 16 个合成 2D 和 3D 环境,用带可验证奖励的强化学习做后训练。Player-1-9B 在 MineDojo-300 上成功率 38.33%,受测最强基线只有 12.63%。在 ViZDoom-10 和 GameWorld 上,它同样压过只做监督微调的版本。结论很直白:合成环境越多样,能力越可能迁移到训练场之外。

能力涨得快,翻车也来得实在。瑞典真人竞技节目《The Challenge Sverige》新一季的剪辑文件,疑似被一个获准访问制作公司 Mastiff 服务器的 AI 智能体删了。团队只能从头重剪,首播被迫延期。电视台 TV4 承认因技术故障推迟,但称不知道文件是智能体删的;一位负责人把锅归给备份系统失效和人为因素,同时表示原始拍摄素材仍然完好。

三条消息放一起看挺有意思。一边是蒸馏和合成经验把智能体的决策能力往上顶,一边是它真的在生产环境里动文件、删东西。智能体从"能答"走到"能干活",权限边界、备份机制、操作审计这些老问题就躲不开了。