大模型研究最近的思路有点像:先别急着堆参数,把水分挤掉再说。三篇新论文分别从可解释性、训练效率和多模态强化学习入手,方向不同,想法是一致的。
第一篇盯上稀疏自编码器(SAE)。SAE把模型激活拆成稀疏字典的组合,是眼下解释基础模型表征的主流工具。麻烦在于学出来的字典不稳——换个训练轮次、换一层网络,同一个概念可能落到完全不同的原子上去。这篇论文提出的稀疏编码方案让概念发现跨训练保持一致,省得每次解释都像换了本词典。
第二篇讲时序图神经网络的训练开销。TGNN靠不断更新节点记忆来处理动态图,可真实事件流里冗余信息极多,大量计算花在没营养的输入上。RAFT加了一层过滤,先判断输入有没有冗余,信息量低的事件直接挡在训练之外,算力和显存一起省。
第三篇针对带可验证奖励的多模态强化学习(RLVR)。RLVR能给出任务级对错,却说不清视觉推理究竟错在哪一步。作者用on-policy自蒸馏,把正确答案的推理路径蒸馏回模型自身,同时给出视觉上可归因的错误定位——不只知道错了,还知道看错了哪块区域。
解释要稳定,训练要做减法,强化学习得能指认错在哪。这三个方向都不算新,但每篇都往真正能用的地方挪了一步。