今日凌晨，Meta 官方正式发布 Llama 3.1 405B，这是全球最大的开源基础模型，标志着开源引领的新时代。此款模型在功能和性能上与市面上最好的封闭模型相比毫不逊色，且总下载量已超过3亿次。Meta CEO 扎克伯格在长文中阐述了为何开源对开发者、Meta及世界都有益处。 Llama 3.1 405B 拥有诸多亮点：上下文长度扩展至128K，支持八种语言，具备顶级功能与性能。此外，Meta 还推出了8B和70B模型的升级版，增强了多种语言支持和推理能力。用户可通过WhatsApp和meta.ai体验该模型。 此模型在常识理解、多语言翻译、数学应用和文本摘要等领域表现出色，能将故事翻译成西班牙语，处理长文档分析，甚至编写代码。Meta对开源协议的更改，允许开发者利用模型输出来改进其他模型，以兑现开源承诺。 在150多个基准数据集上的评估显示，旗舰模型Llama 3.1 405B与顶级模型竞争激烈。通过优化训练堆栈并使用16,000个H100 GPU，Meta实现了大规模训练。Llama 3.1 405B模型架构选择标准解码器Transformer，采用迭代后训练程序，提高了训练稳定性和模型质量。 Meta还发布了Llama系统，包括调用外部工具的组件，如Llama Guard 3和Prompt Guard，以及标准化接口的评论请求，以促进AI系统的开发。开发者可以充分利用Llama 3.1 405B的强大功能，探索实时和批量推理、监督式微调、测试评估等高级应用。 综上，Meta Llama 3.1 405B的发布标志着开源时代的到来，为开发者提供了强大且功能丰富的AI工具，推动了AI技术的创新和普及。