30B开源、拗口难懂、两Token唤醒:大模型三面观
AI大模型

30B开源、拗口难懂、两Token唤醒:大模型三面观

韩国游戏公司KRAFTON的AI部门发布了Raon-1 mini预览版,30B-A4B混合专家架构,线性注意力加推测解码,主打韩语兼顾英语,Apache 2.0开源。官方称它在编程和智能体任务上能对标Meta Muse Glimmer 30B,速度更快、内存更省,正式版和更大的模型还在后面。

另一边,用户越来越觉得大模型“说话拗口”。每个词都认识,连起来得读两遍;句子看着利落,意思却挤成一团。有论文提出一个猜想:训练中模型追求答对、少用token,慢慢学出压缩表达的习惯,把理解的负担甩给读者。

强化学习到底学到了什么?研究给出了一个很具体的答案:两个token就能触发基座模型的推理能力。Olmo用的前缀是句号加两个换行再加“Okay”,Qwen3-14B用的是带前导空格的“Alright”和逗号。两个token指分词后的两个单位,不等于两个英文单词。预填只发生在回答开头,后面内容仍由模型自己生成。

三件事拼在一起,画面挺清楚:模型在效率上越跑越快,开源尺寸越做越小,但表达方式和触发机制仍藏着不少没讲透的细节。读者读着费劲,研究者还在找开关,厂商已经把预览版推出来了。