4万亿Token背后:AI大模型路由与底层算法双提速
AI大模型

4万亿Token背后:AI大模型路由与底层算法双提速

匿名模型Ox Alpha最近在OpenRouter上杀疯了。这个中文社区叫“牛来”的模型直接登顶榜首,前五大应用累计调用超4万亿Token,刷新了单日用量纪录。它主打编码和持续性任务,热度已经从社区尝鲜蔓延到全球开发者的Agent工作流。开发商至今没露面,但市场已经用脚投票。

海量调用背后,单靠一个模型扛下所有任务并不现实。Pandora的AI模型路由盒给出了新解法:把查询请求精准路由给最擅长的专家模型。这种异构AI系统能大幅提升响应效率和质量。虽然评估路由价值有一定成本,但面对复杂任务,多模型协同显然是更优解。

上层应用在卷,底层算法优化也没闲着。一种新的原始加速牛顿法被提出,专门用于处理具有Lipschitz连续Hessian的凸函数最小化问题。该算法只用原始变量,每次迭代仅做一次线性求解。这直接降低了计算复杂度,给大模型训练和推理省下大量算力。

大模型竞争已经进入拼内功的阶段。不管是爆款模型的涌现,还是路由分发机制的成熟,亦或是底层数学算法的突破,都在指向同一个目标:更高质量,更低成本。技术闭环正在快速形成。