Meta 在开发 Llama 3 AI 模型时，高管和研究人员将超越 OpenAI 的 GPT-4 作为核心目标，表现出强烈的竞争意识。Meta AI 副总裁 Ahmad Al-Dahle 称，他们计划利用 64,000 个 GPU 来构建前沿技术。内部通信显示，Meta 对开源竞争对手 Mistral 持不屑态度，认为自己能做得更好。Meta 为获取训练数据采取了激进策略，甚至使用了受版权保护的书籍。2024年4月，Meta 发布了 Llama 3 模型，性能与谷歌、OpenAI 的闭源模型相当，但其数据版权存疑，引发多起诉讼。

12月10日，Meta CEO马克·扎克伯格宣布，Meta AI的月活跃用户数接近6亿。Meta AI于2023年秋季推出，10月时月活用户已突破5亿。这主要得益于Llama 3.3模型的推出，该模型降低了运行成本但性能强大。扎克伯格称Llama是全球应用最广的AI模型，下载量超6.5亿次。然而，用户与AI互动的时长和频率才是衡量其价值的关键指标。Meta已将AI助手集成至Facebook、Instagram、Messenger和WhatsApp等应用中，积极推广AI功能。

Meta于12月6日发布了Llama 3.3，该模型具有700亿参数，性能堪比拥有4050亿参数的Llama 3.1。尽管参数量减少，但Llama 3.3在效率和成本控制上表现出色，能在标准工作站上运行，提供高质量文本AI解决方案。Llama 3.3支持8种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型采用了优化的transformer架构，并通过监督式微调（SFT）和基于人类反馈的强化学习（RLHF）进行微调，确保与人类偏好一致。此外，Meta强调Llama 3.3在安全方面的改进，包括数据过滤、模型微调和系统级安全防护，同时鼓励开发者使用Llama Guard 3、Prompt Guard和Code Shield等工具来保障模型的安全使用。

标题：新版Llama 3 70B反超405B！Meta开卷后训练，谷歌马斯克都来抢镜 正文： OpenAI“双12”活动刚开始，大模型圈就热闹非凡。一方面，Meta发布了Llama 3.3，其70B版本的表现已超过之前的405B版本；另一方面，谷歌的Gemini新版本也上线了，并重新夺回了大模型竞技...

AI初创公司Nous Research近日推出了名为Nous Chat的聊天机器人，其底层基于Meta Llama 3.1微调而成的“Hermes 3-70B”模型。该模型在“模型架构、数据合成、微调和推理”方面进行了深入优化，旨在实现“以人为本”的目标。Nous Chat具备长脉络记忆、多轮对话、复杂角色扮演及自我独白等功能，并支持多种语言交流，包括英文、中文和日文。值得注意的是，该聊天机器人的知识截止日期为2023年4月，暂时还不具备主流AI模型的编程能力。此外，Nous Research还预告了其他几款基于Mixtral和Mistral架构的模型，包括Nous-Hermes-2-Mixtral-8x7B-DPO和Nous-Capybara-7B V1.9，这些新模型有望提供更丰富的多角色体验和更自然的对话能力。目前，相关模型已在Hugging Face开放给开发人员预览。

Meta公司于10月24日发布了Llama 3.2模型的量化版本，包括1B和3B两个版本，分别命名为Llama 3.2 1B QLoRA、Llama 3.2 1B SpinQuant、Llama 3.2 3B QLoRA和Llama 3.2 3B SpinQuant。量化技术通过将浮点模型转换为定点...

Meta近日宣布开源其最新的多模态大模型Llama 3.2，该系列模型共分为四个版本，涵盖从1B、3B的轻量级模型到11B、90B的视觉增强型模型。Llama 3.2 1B、3B模型旨在适应边缘设备和移动应用，支持128k标记的上下文长度，且已针对高通和联发科硬件进行了优化，优化后的Arm处理器兼容...

AI界的大神李沐，结束了长达一年半的沉默，重新活跃在B站，分享了关于Llama 3.1论文的解读视频，内容深入浅出，还分享了一些八卦趣事。在这段视频中，李沐手把手地指导观众如何理解Llama 3.1的技术论文，该视频在发布后立即获得了破万的播放量。与此同时，大模型竞技场的排名也进行了更新，Llama...

马斯克力挺扎克伯格，OpenAI推出“0元”策略应战 扎克伯格引领开源潮流 Meta的扎克伯格宣布推出性能强大的开源大模型Llama 3.1系列，包括405B、70B和8B参数版本。Llama 3.1以其高性能、开源特性以及广泛的合作伙伴关系，总下载量已超过3亿次。该模型在多项基准测试中表现出色，可...

Meta AI科学家Thomas Scialom在播客节目中揭示了Llama系列模型的研发细节与未来走向。Llama 3.1作为最新开源模型，引发了广泛关注，但其参数规模、数据来源、架构选择等问题仍需解答。Scialom解释了模型参数规模的决策考量，指出在现有算力条件下，团队进行了权衡以实现最佳推理...