2025年9月，Meta FAIR团队开源首个代码世界模型（CWM），参数量32B，上下文达131k token。CWM专为代码生成与推理设计，能模拟代码执行过程、自测自修，并具备接近人类程序员的思考能力。相比传统模型，它更懂代码动态执行及变量状态变化，在SWE-bench Verified得分65.8%，接近GPT-4水平。模型采用三阶段训练，包括预训练、世界建模数据引入及多任务强化学习。目前仅支持Python，未来计划扩展至多语言。研究团队强调其定位为非商业用途，并通过开源推动研究社区探索大模型在编程领域的潜力。