谷歌两位大佬Jeff Dean和Noam Shazeer与知名播客主持人Dwarkesh Patel展开对谈，视频发布仅几小时便吸引了20万+网友观看。Jeff Dean现任谷歌首席科学家，而Noam Shazeer曾出走过又回归，他是Transformer的作者。

Noam Shazeer起初只是想在谷歌赚一笔就离开，但最终成为了改变世界的一员。他们讨论了AI算力现状和当前技术趋势，如推理算力仍有提升空间，未来模型架构将更灵活，允许不同团队独立开发。

Noam提到在内存中存储巨大MoE模型的设想，以及“代码中的bug有时对AI模型有益”。Jeff Dean强调了训练可重复性的重要性，并介绍了通过记录操作日志确保结果一致性。

未来模型将采用更有机结构，不同团队可独立开发特定模块。此外，他们回顾了2007年谷歌使用2万亿tokens训练N-gram模型用于机器翻译的经历，展示了分布式训练和无监督学习的潜力。

Jeff Dean认为AI不仅检索信息，还能理解和生成复杂内容，谷歌正致力于让模型处理更多tokens以增强其能力。两人还分享了在谷歌工作的快乐时光，如见证搜索流量的增长和参与创造前所未有的技术。