7月14日，亚马逊AWS发布介绍其分布式集群Project Rainier，该项目有望成为全球最强AI模型训练计算机。Project Rainier基于Annapurna Labs开发的Trainium2芯片，每个服务器配备16颗芯片，每4个服务器组成一个UltraServer，数以万计的UltraServer通过NeuronLinks和Elastic Fabric Adapter技术互联，构成超级集群。该系统分布于美国多个数据中心，具备跨中心协作能力。Anthropic将利用Project Rainier训练下一代Claude模型，其算力可达Anthropic当前最大训练集群的五倍，为AI模型研发提供强大支持。

6月26日，据外媒报道，人工智能公司Anthropic为训练AI模型Claude，耗资数百万美元购入并销毁大量实体图书，将书籍拆解、扫描后丢弃原件。法庭文件显示，公司曾雇佣前Google Books项目负责人Tom Turvey，试图复制谷歌的图书数字化模式。法官William Alsup裁定该行为构成合理使用，因图书已合法购买、扫描后即刻销毁，且数字文件仅限内部使用。AI训练需要海量优质文本，而书籍相比网络内容更具质量优势。Anthropic最初尝试绕过版权，后转向购买二手书进行破坏式扫描，以规避法律风险。

据财联社4月16日报道，人工智能公司OpenAI正开发类似X（原推特）的社交网络项目，目前处于早期阶段，原型侧重于ChatGPT的图像生成功能及社交动态信息流。CEO奥尔特曼已向外部人士咨询反馈，但具体推出方式未定。此计划可能加剧与马斯克的关系，后者曾试图以974亿美元控股OpenAI，遭拒后成立xAI竞争。近期，双方因合同纠纷互相诉讼。若OpenAI推出社交网络，将与Meta直接竞争，后者也在开发类似功能。此外，社交数据可增强AI模型训练能力，OpenAI或借此获取专属数据资源。尽管项目前景待观察，但显示其扩展业务的新方向。

Meta公司宣布从本周起恢复在欧盟使用Facebook和Instagram上的公共内容（如帖子和评论）训练AI模型。此前，由于GDPR隐私法规限制，Meta在欧盟的AI项目进展滞后。2024年6月，因爱尔兰数据保护委员会（DPC）反对，Meta暂停了相关计划。近期，在欧洲数据保护委员会（EDPB）确认其方法合规后，Meta与DPC达成共识，决定重启训练工作。欧盟用户将收到通知，可选择通过表格拒绝数据使用。Meta强调，不会使用私人消息或18岁以下用户数据进行训练，并效仿谷歌、OpenAI的做法。此外，DPC仍在审查其他AI训练案例，如xAI对Grok的训练。

标题：杨立昆最新访谈：用于训练AI模型的资源，远没有到尽头 Meta首席AI科学家杨立昆近期接受专访，探讨了深度学习的发展历程、机器学习的三种范式、莫拉维克悖论与AI发展的限制、训练AI模型的资源、AI基础设施投资等话题。 杨立昆指出，当前AI发展的三大限制包括物理世界复杂性、莫拉维克悖论（计算机擅...

IBM宣布开发出一种新的光学技术，能以光速训练AI模型，大幅节省能源。此技术应用于数据中心，能将AI模型训练时间从三个月缩短至三周，同时减少能源消耗。传统数据中心内GPU加速器因使用铜线连接，导致大量时间闲置耗能。IBM高级副总裁Dario Gil表示，共封装光学技术（CPO）使芯片间通信如光纤电缆传输数据，开启更快、更可持续的通信新时代，满足未来AI工作负载需求。IBM已在技术论文中介绍了CPO原型，它通过提高带宽，显著减少GPU闲置时间，加速AI处理。该技术有望大幅降低训练大型语言模型的成本。此创新于12月11日公布。

Meta AI近日推出了一款名为SPDL的开源工具，旨在提升AI模型训练中的数据加载效率。该工具采用了多线程技术，能够在常规Python解释器中实现高吞吐量，资源占用更低，并兼容Free-Threaded Python。相比传统的基于进程的数据加载方法，SPDL通过避免进程间通信的开销，提升了2-3倍的数据传输速度。此外，SPDL还引入了预取和缓存技术，确保GPU始终有数据可用，从而减少了GPU的空闲时间。该工具支持单GPU及大型集群环境，并能无缝兼容PyTorch框架。Meta表示，SPDL不仅提高了数据加载的效率，还提供了性能监控和调优工具，方便用户优化数据加载过程。

**摘要：** 10月21日，英伟达发布最新Normalized Transformer（nGPT）架构，显著提升AI模型训练效率。据科技媒体dataconomy报道，nGPT架构能在保持模型稳定性和准确性的同时，将训练时间缩短至原来的1/4或1/20。nGPT的核心技术是“超球面学习”，通过将嵌入、注意力矩阵和隐藏状态等关键组件映射到超球面上，确保模型各层在训练过程中保持平衡。该架构减少了训练步骤，摒弃了LayerNorm或RMSNorm等复杂归一化技术，简化了训练流程。英伟达团队在OpenWebText数据集上进行测试，结果显示nGPT在速度和效率上均优于传统GPT模型。此外，nGPT将归一化和表示学习结合成一个统一框架，简化了模型架构，便于扩展和适应更复杂的系统。未来，nGPT的方法有望应用于其他类型的模型和架构，推动AI技术的发展。 （本文基于10月22日发布的新闻内容整理）

Meta公司已证实，用户通过Ray-Ban智能眼镜拍摄的照片和视频可能用于训练AI模型。Meta政策传播经理Emil Vazquez表示，在特定地区，共享的图像和视频可用于提升AI模型性能，这符合公司的隐私政策。尽管早前Meta发言人在解释时指出，若用户未将照片和视频提交给AI，则数据不会用于训练。...

Meta公司近日承认，自2007年起，在未提供“退出”选项的情况下，其平台收集了所有澳大利亚成年用户的公共数据，并将其用于AI模型的训练。这一做法与欧盟国家有所不同，因澳大利亚缺乏相应法律法规。Meta全球隐私总监梅琳达·克莱鲍在回应澳大利亚参议院大卫·休布里奇的质询时确认了上述事实。Meta承认从Facebook和Instagram上的公开帖子和评论中收集数据，用于训练生成式AI。欧洲用户可选择退出此过程，但澳大利亚及其他地区用户若希望其公开内容保持可见，则无法避免其参与AI训练。休布里奇指出，若澳大利亚有类似的法律，该公司的做法将会改变，这凸显出政府在隐私保护方面的不足导致的数据滥用问题。