AI行业

字节重组大模型,讯飞发新,AI推理与路由齐破局

字节Seed部门这回动了真格,刚搞完一波大组织架构调整。新拉起来的四个一级部门,全都直接向吴永辉交差。说白了,这波就是要把预训练数据、强化学习还有后训练资源全捏在一块儿,B端和C端的模型能力彻底分家。李成刚挑起大梁,统管文本、编程、视觉这些预训练数据团队,专心给新Omni模型打地基。另一边科大讯飞也卡好了落地节奏,8月底先丢个阶段性版本给市场尝鲜,等到了1024开发者节,基于全国产算力的全新主力通用大模型就会正式亮相。

市场上也没闲着。冷不丁冒出个神秘新模型“Ox Alpha”,悄悄突袭了OpenRouter。目前输入输出价格全定为零,惹得全网都在盲猜背后是智谱还是小米在操盘。实际上,这种免费策略恰恰透出了大模型分发的新门道。异构AI系统正靠着模型路由来拉高整体效率,就拿Pandora的AI模型路由盒来说,它能把用户提问精准甩给最擅长的专家模型,质量效率两手抓。只不过,这套玩意的价值评估成本目前还偏高。

光有路由分发还不够看。底层推理要是拉胯,一切白搭。Liquid AI拉上Hugging Face,直接甩出了LFM2.5系列DSpark草稿模型,里头包含1.2B、2.6B、8B-A1B三款检查点。这帮人走了条全新的投机解码路子,在不改变输出质量的前提下,硬是把推理吞吐量给拉满了。实测GPU端最高提速3.18倍,连端侧设备都有明显加速,一直被吐槽的部署卡顿老大难问题,这下直接被结结实实地解决了一把。