OpenAI的前世今生 OpenAI自2015年成立以来，从一家非营利机构发展为全球AI领域的领军企业，其估值呈指数级增长。本文将简要回顾其发展历程、技术突破及未来展望。 1. 前OpenAI时期（2015年之前） OpenAI的诞生得益于三个关键因素：深度学习的兴起、谷歌和Meta在AI领域的...

标题：Hinton与姚期智对谈：认为人类的意识特殊，那是危险的无稽之谈 在WAIC的一场对话中，图灵奖得主Geoffery Hinton与上海期智研究院院长姚期智围绕AI与人类意识展开讨论。Hinton指出，将人类意识视为独特且不可复制的观点不仅错误，还可能带来危险的自满情绪。他认为，AI的发展...

2025年7月，在上海WAIC展会上，一家名为RockAI的公司展示了基于非Transformer架构的Yan 2.0 Preview大模型。该模型具备原生记忆能力与离线智能，可在端侧设备上实现边用边学、多模态理解和自主进化。展会现场，机器狗在完全离线状态下学会新动作，灵巧手通过本地视觉能力流畅玩游戏。RockAI成立于2022年，专注于为端侧设备开发高效AI模型，突破了Transformer架构的高算力需求限制。其技术已在树莓派、骁龙芯片等设备上落地，并与某出海品牌合作推出AI PC，预计下半年量产。RockAI认为，群体智能是迈向AGI的关键路径，未来或将通过设备间协作构建智能群落。

标题：离线智能，什么时候迎来DeepSeek时刻？ 过去两年，AI的发展主要围绕云端和端侧展开。理想中，轻量化模型将让AI摆脱云端束缚，实现设备上的贴身智能。然而现实是，无论是AI玩具还是AI眼镜，其核心交互依然依赖云端，真正实现离线AI的设备凤毛麟角。 技术演示中，端侧模型看似无所不能，但实际落地...

正文：2025年7月19日，KAIST、谷歌DeepMind等机构联合发布了一种全新LLM架构——Mixture-of-Recursions（MoR），被业界称为潜在的“Transformer终结者”。MoR通过动态路由和递归机制，在推理速度上提升2倍，内存占用减半，并在135M到1.7B参数规模下划出新的帕累托前沿，全面超越传统Transformer。其核心创新包括小型路由器为token打分以减少冗余计算，以及KV缓存策略优化内存效率。实验表明，MoR在相同训练FLOPs下实现更低困惑度和更高小样本准确率，推理吞吐量提升超2倍。研究团队认为，MoR展现了高可扩展性和参数效率，或成为下一代LLM架构的标杆。

2025年7月，谷歌发布全新底层架构Mixture-of-Recursions（MoR），被称作“Transformer Killer”。该架构通过统一参数共享、自适应递归深度和高效KV缓存策略，实现内存减半、推理速度翻倍，并首次在单一框架内动态分配计算资源。相比Transformer，MoR在相同FLOPs预算下减少50%参数量，提升少样本准确率至43.1%，训练时间缩短19%，峰值内存降低25%。谷歌DeepMind联合KAIST AI与Mila团队完成这一创新，或将颠覆AI计算范式。未来效果尚需时间验证。

Mamba一作预告新架构：Transformer≠最终解法 Mamba一作发表长文，探讨状态空间模型（SSMs）与Transformer的权衡。Mamba是一种现代SSM，性能超越同等规模的Transformer，被视为其有力挑战者。他提出几个核心观点：Attention虽强大但非万能；Transf...

基于能量的Transformer全面超越主流模型35% 弗吉尼亚大学团队提出了一种全新架构——EBT（Energy-Based Transformers），通过能量最小化机制，首次在跨模态及多项关键指标上全面超越基于Llama 2优化的Transformer++模型。实验表明，EBT在数据量、参...

正文：2025年7月，Meta发布新注意力机制2-Simplicial Transformer，突破传统Transformer性能上限。该架构通过引入三元线性注意力机制，利用OpenAI开源的Triton框架优化计算，显著提升模型在数学、编程和推理任务中的表现。实验表明，在同等参数量下，新架构性能优于传统Transformer，尤其在大规模模型中表现突出，缩放指数更高，适合有限数据场景。研究人员使用Triton实现520TFLOPS运算性能，并结合滑动窗口机制降低计算成本。然而，其高计算复杂度和延迟仍需优化。Meta此番创新引发热议，同时也凸显OpenAI技术的重要性。论文已公开。

标题：一句话生成LoRA！Transformer作者创业公司革新LLM微调 正文： 由Transformer作者之一Llion Jones联合创立的SakanaAI公司，近期推出Text-to-LoRA（T2L），大幅简化模型适配流程。以往微调大模型需数周时间准备数据和调整超参数，如今只需一句话即可...