标题：对话AI科学家刘威：“预训练终结”对中国大模型公司影响有限

刘威认为“Ilya预训练终结论”对文本领域的大语言模型影响较大，但对中国大模型公司影响有限。他认为，Ilya的言论背后可能反映了OpenAI内部的技术瓶颈，尤其是在预训练数据上的问题。

刘威指出，OpenAI在训练GPT-5时遇到技术难题，预训练所需的高质量文本token不足。合成数据的多样性差，无法有效补充真实数据。尽管如此，刘威认为行业仍在跟随OpenAI的步伐，其引领地位未变。

刘威强调，文本领域的scaling law已到瓶颈期，但多模态领域仍需探索。中国大模型公司还有提升空间，不必过分担忧。他还提到，预训练的重要性不容忽视，但也有公司选择微调开源模型快速推向市场。

刘威认为，未来的AI发展将通过自博弈的强化学习实现自动迭代，这将是未来大模型技术的关键。他还强调，中美两国在AI领域的竞争各有侧重，中国应注重发挥自身优势，寻找独特技术路径。