世界模型成了大模型圈的新热点。清华姚期智团队拿出“代数世界模型”,想让AI像牛顿那样思考:从数据里把背后的方程捞出来。苹果落下的每一帧画面记下来,也变不成方程。西湖大学同期成立世界模型研究中心。这条线他们三年前就开始做,今年彻底火了。
“像牛顿一样思考”的关键在归纳。传统大模型靠预测下一个token认识世界,走的是模仿这条路;代数世界模型想做的,是把观测压缩成能推演的规则,让机器多少有点“发现规律”的能力。这条路难走。真走通了,AI就能用来做科学假设,复读机这顶帽子也就摘了。
光有框架不够,训练细节同样决定成败。一项新研究盯上了学习率调度:权重归一化带来的预训练收益,大头来自有效学习率的变化轨迹,归一化本身的贡献有限。把有效学习率对齐后,两种训练方式的损失曲线基本重合。作者据此提出AIR(带仿射调整的反平方根衰减),用1280亿token做MoE预训练,训练损失、下游表现和超参鲁棒性都压过Cosine;累计学习率相同时,最终损失低约0.01。
两件事放一起看,判断很清楚:大模型的下一程,比的是谁把规律找得更准、把算力用得更省。世界模型负责找规律,AIR这类工作负责把token省下来。方向摆在这儿,接下来看谁先跑出结果。