当前，AI大模型如GPT-4、文心一言、通义千问等面临“数据饥渴症”。数据成为AI发展的瓶颈，高质量数据稀缺且难以快速扩展。低质量数据、数据偏见及行业数据孤岛等问题加速这一问题。国内外企业正努力通过联邦学习、隐私计算等技术激活沉睡数据，并探索生成数据和小数据精细化标注等方式应对。此外，强化学习成为数据稀缺情况下的重要突破方向，尽管其资源消耗和目标设计存在挑战。人与AI的实时交互正创造新的数据形态，成为AI学习和进化的关键。

在NeurIPS 2024会议上，OpenAI联合创始人Ilya Sutskever发表了关于AI未来发展的演讲。Sutskever表示，预训练时代即将结束，因为数据的增长已经接近瓶颈，尽管计算能力和算法在进步。他回顾了过去十年深度学习的发展历程，强调了自回归模型、大型神经网络和大数据集的重要性。此外，Sutskever预测未来将是超级智能的时代，AI将具备代理能力、推理能力、理解和自我意识。他还提到了Agent系统和合成数据作为突破预训练瓶颈的关键，认为AI将从执行任务的工具转变为具有独立智能的存在。

标题：Ilya宣判：预训练即将终结！NeurIPS现场沸腾 在最近的NeurIPS 2024上，Ilya Sutskever发表了关于预训练终结和超级智能即将到来的观点。尽管演讲仅15分钟，但内容引人深思。 Ilya表示：“我们所熟知的预训练即将终结。”未来将是超级智能的时代，即具备推理、理解和自我...

标题：AI进步放缓、遭遇瓶颈？OpenAI等头部公司：不存在 近日，多家媒体报道称，AI公司在技术升级方面遇到了瓶颈，诸如“推迟”、“质疑”、“未达预期”等词汇频繁出现。然而，以OpenAI、谷歌为首的头部公司认为，AI并未遇到所谓的“壁垒”和“瓶颈”，并对其发展前景持乐观态度。 OpenAI首席执...