标题：Llama对决GPT：AI开源拐点已至?

随着AI能力的增强，特别是大模型出现后，AI开源成为争议焦点。AI开源生态专家黄之鹏先生受邀讨论AI开源发展趋势。

OpenAI转向闭源

OpenAI从开源转向闭源并非偶然。其历史演变显示，2019年后，由于资金注入和商业导向转变，OpenAI的核心竞争力转向模型本身，开源不再优先。尽管官方称出于安全考虑，但黄之鹏指出，深层次原因是商业模式的调整，而非单纯的安全担忧。他强调，对齐概念虽被夸大，但在遵守当地法规和习俗方面进行适当的对齐是合理的。然而，北美对对齐的重视似乎过头，导致额外成本和潜在性能影响。

Llama与对齐

Llama被认为未过度对齐，但其拒绝率依然较高，这与对齐团队的专注形成鲜明对比。黄之鹏指出，所有声称专注对齐的团队实际上并未严格进行，开源团队反而对不确定性更为警惕。他预测，基本的对齐工作仍将继续，但额外的对齐将减少。

开源模型的界限

当前流行的“开源”模型实质上只是开放权重，完整开源包括数据集处理、训练工具、对齐方法等，目前仅有少数模型实现。Meta的Llama开放权重模型虽带来声誉和开发者生态，但也带来管理问题，尤其是涉及对齐的模型发布。

Google与Meta的策略

Google通过推出开放权重模型，如Gemma和PaliGemma，旨在占领关键市场，巩固其搜索、移动和云计算地位。Meta通过Llama的开源，打破OpenAI的垄断，同时也作为人才培育策略的一部分。微软的开源策略则旨在互补，与OpenAI达成战略默契。

苹果的隐私计算云

苹果的隐私计算云提出在商用环境中提供隐私计算服务，强调用户数据的安全性和环境安全，使用可信执行环境存储关键信息，但未明确将此技术应用于模型训练。这一举措被视为在保护用户数据的同时，维持推理结果的安全性。

AI技术栈与基础设施趋势

未来框架应支持动态图、静态图、生成式模型及AI for Science模型的协同。模型层面，微调难度增加，留给模型的微调空间变小。AI系统关注Agent、Prompt Engineering工具和AI系统的发展，强调感知动物的熵减过程。

AGI与数据驱动

AI系统的发展受到数据驱动的挑战，数据代替逻辑的概念引起关注。工程师需要培养收集、处理数据的能力，以便根据数据自动生成适用模型，甚至让模型编写代码。

AI开源生态趋势

AI开源生态的关键趋势包括多模态统一架构、训练优化方法的简化、尝试替代Transformer架构、Sparse AutoEncoder的可解释性增强以及量化模型的发展。MoE模型的细粒度划分和与可解释性的结合成为研究热点。Neuro+AI和范畴学被认为是未来可能引领AI发展的领域。

开源与封闭之争的本质

开源与封闭之争本质上反映了发展观与静止观的冲突。乐观主义者倾向于推动技术发展，而悲观主义者则关注潜在风险。政策制定者在平衡技术创新与监管之间寻找路径。

中美AI开源生态差异

美国的产业生态协作成熟，能够有效利用免费算力资源，促进了从零成长的创新。中国在开源生态方面已有显著进步，但产业协同仍有提升空间，以加强跨领域的合作。

中国AI开源生态展望

中国AI开源生态得益于丰富的数据资源，展现出活力和繁荣。未来，通过改善产业协同，特别是在国家和产业层面的跨领域合作，中国AI开源生态有望进一步壮大。