微软说，新一代基础模型MAI-Base-2的预训练已经跑完。总参数2.8万亿，活跃参数800亿，用了6000张NVIDIA GB200，连续训练38天。微软称它的性能超过所有参与评测的开源权重模型，MAI-Base-3也已经在准备。
训练效率的数据更有意思。训练期间平均浮点算力利用率21%，有效吞吐量89%，微软说预训练算力效率是DeepSeek-V4-Pro-Base的4到12倍，功劳归给科学规模化、模型与基础设施协同设计、数据规模化。这些数字都出自微软自己披露，还没经过独立验证。
大模型越做越稀疏，MoE成了主流路径。arXiv上一项新研究重新审视了现代MoE里的路由探索问题。现在的主流设计一边把专家粒度切细，一边优化路由策略，怎么把token分给合适的专家、又不让路由塌缩，仍是核心难题。
可解释性这条线上，研究者提出SAE加性残差（SAR），用来衡量高阶交互作用没解释掉的那部分行为变化。在18种模型与行为设置里，SAE坐标的一阶残差都低于同子空间随机旋转的结果，说明表征并非完全可加。所有设置中，特征间的成对交互都改善了留出数据上的组合排序。一项联合steering实验里，成对建模把排序保真度从0.5874提到0.7790，排序误差从0.1444降到0.0606。
MoE管的是把参数规模推上去，SAE管的是把内部机制看清楚。真要解释和干预模型行为，单个特征不够，特征之间的交互也得一起建模。