2017年，谷歌团队发表了《注意力就是你所需要的一切》论文，提出Transformer架构，成为现代AI模型的核心基础。在近期TED AI大会中，前谷歌研究员雅各布·乌斯克尔特表示，尽管他们对Transformer技术寄予厚望，但并未预见到它会在ChatGPT等产品中发挥关键作用。乌斯克尔特指出，虽然Transformer架构在技术上已具备潜力，但当时谷歌对大规模产品开发持保守态度，未将其直接转化为市场产品。乌斯克尔特于2017年离开谷歌，创立Inceptive公司，致力于将深度学习技术引入生物化学领域，设计可编程高效药物。乌斯克尔特强调，用户创造性使用技术的方式常常超出预期，而谷歌当时可能缺乏承担足够风险的意愿。