
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
深度监督网络(DSN)作者谢赛宁十年前被NeurIPS拒稿的论文,今年荣获AISTATS 2025年度时间检验奖。这篇2014年9月发布的论文,提出中间层监督思想,解决了深度学习中的梯度消失、特征鲁棒性和训练效率等问题,影响深远。尽管最初仅获8/8/7高分却遭拒,如今其贡献已被广泛认可,被引用超3000次。DSN启发了后续研究,包括REPA和U-REPA,推动了生成式AI发展。谢赛宁强调坚持的重要性,并感谢导师屠卓文及合作者Chen-Yu Lee的支持。被拒并非学术终点,类似Word2vec和Mamba的经历表明,优秀论文可能因各种原因被拒,但时间会证明其价值。
原文链接
ICML 2024最佳论文曾遭ICLR 2024拒绝,然而,该论文由斯坦福大学和Pika公司联合创始人孟晨琳参与,提出了创新的离散扩散语言建模方法,通过引入分数熵损失函数,显著提升了语言建模任务的性能。实验结果显示,该方法在多数任务中优于GPT-2。尽管论文在评审阶段获得88665的高分,最终却因被认为实验部分不完整而被拒收。
此事件引发了关于学术评审流程和会议间论文竞争性的讨论。值得注意的是,论文作者之一,一作已入职OpenAI,计划在近期的ICML 2024大会上分享这项研究成果。这一进展不仅反映了学术界的动态,也为未来语言模型的发展提供了新的方向。
原文链接
加载更多

暂无内容