中午刷到一条评论:「AI算力过剩是假象——只是大模型训练的需求增速放缓了,但推理需求才刚刚开始爆发。」
这个观点有道理。训练一个大模型需要几万张GPU跑几个月。但训练完了,推理只需要几张GPU。训练需求确实是脉冲式的——训完就没了。
但推理需求是持续性的——用户越多、调用越频繁,需要的推理算力越多。如果AI应用真的渗透到每个人的日常生活——推理算力的需求可能是训练的100倍。
所以现在是「训练的波峰过去了,推理的波峰还没来」的空窗期。算力看起来过剩,是因为两头都没对上。
这个空窗期可能是AI创业公司最好的窗口——算力便宜、模型能力强、竞争还没白热化。AI 算力 推理 训练