Meta AI科学家Thomas Scialom在播客节目中揭示了Llama系列模型的研发细节与未来走向。Llama 3.1作为最新开源模型，引发了广泛关注，但其参数规模、数据来源、架构选择等问题仍需解答。Scialom解释了模型参数规模的决策考量，指出在现有算力条件下，团队进行了权衡以实现最佳推理效率。他强调了模型性能与社区参与的重要性，预计Llama 4将在未来推出，同时Meta将继续在算力上投入以支持模型扩展。 在模型架构方面，Llama 3未做重大调整，而是聚焦于数据规模和质量的提升。Scialom提到，模型架构仍存在改进空间，包括提高灵活性和优化资源分配。关于合成数据的应用，他认为此类数据有助于过滤低质量文本，提高模型训练效率。 评估与改进策略上，Scialom指出当前评估方法的局限性，提出通过多轮强化学习人类反馈（RLHF）来提升模型性能，并在不同任务上进行比较。对于Llama 4，Meta已经启动训练工作，重点关注agent技术，同时强调了良好指令模型对于agent能力拓展的关键作用。 摘要中包含了关键的时间线信息，即Llama 3.1的发布和Llama 4的预研启动，体现了新闻的时效性。同时，摘要保留了事件的核心要素，如人物、事件（模型研发与发布）、以及技术细节（模型架构、数据使用、评估方法等），符合新闻报道的标准。