Meta开源Llama 3.1，意图打造“大模型界的Linux”

Meta近期宣布开源其大参数模型Llama 3.1，此举动被视为AI领域的重要里程碑。Llama 3.1在多项基准测试中表现出色，超越了GPT-4和Anthropic的Claude 3.5 Sonnet，且预计未来几个月内，由Llama 3支持的Meta AI使用量将超过ChatGPT。

Llama 3.1的特性：

• 参数量级：拥有4050亿个模型参数，采用密集Transformer架构。
• 数据规模：使用约15T的多语言token，远超Llama 2的1.8T。
• 训练规模：是Llama 2的50倍，训练计算量大幅提升。
• 架构选择：未采用MOE架构，专注于标准的密集Transformer架构。
• 多模态能力：目前仅支持多语言、编程、推理和工具使用，图像、视频或语音处理功能仍在研发中。

Meta的AI生态系统愿景：

扎克伯格将Llama视为AI领域的“Linux”，意在通过开源促进AI行业的标准化和开放性。Meta计划通过广泛、开放的生态系统，使Llama成为行业标准，支持企业、政府及个人开发者定制适合自身需求的模型。Meta已与Amazon、Databricks、英伟达等合作伙伴展开合作，提供全套服务以支持模型的微调和蒸馏。

面临的挑战：

尽管Llama 3.1提供了强大的基座模型，但运行如此规模模型所需的算力和成本对大多数开发者来说仍然是巨大挑战。4050亿参数的密集模型虽免费提供，但在实际部署中，运行成本可能超过使用闭源模型。

微调与蒸馏：

Meta鼓励用户通过微调和蒸馏技术，将Llama 3.1应用于特定场景，创建满足特定需求的模型。扎克伯格认为，用户应直接在4050亿参数的模型上进行推理，以节省成本，并期望看到更多基于此模型的创新应用。

商业化与未来展望：

Meta的AI商业化策略侧重于改善其广告业务，并通过Meta AI助手提升用户体验，目标是在Instagram、Facebook和WhatsApp等平台上实现广泛集成。随着Llama 3.1的发布，Meta AI新增“想象我”功能，允许用户生成基于特定肖像的图像。未来，Meta AI将出现在Quest耳机中，取代原有的语音命令界面，进一步提升交互体验。

未来规划：

扎克伯格透露，Llama 4和其他后续版本已在研发中，Meta正进行长期投资，包括构建数据中心、配套电力、芯片架构和网络架构等，以支撑未来AI模型的发展。