Title: Transformer“贡献最大”作者Noam Shazeer重返谷歌，出任Gemini联合技术主管 Noam Shazeer，Transformer项目的“贡献最大”作者，已重返谷歌，担任Gemini的联合技术主管，此消息由The Information披露。Gemini项目旨在直...

热门AI角色扮演应用Character.ai由Transformer作者Noam Shazeer创立，其流量已占2024年谷歌搜索20%，每秒处理2万推理请求。沙哥公开了优化秘诀，包括内存高效架构（KV缓存减小20倍）、Attention状态缓存（95%请求无需重算）和原生int8训练。团队通过创新方法如MQA、混合注意力视野和跨层KV共享，显著降低推理成本，使得处理大规模流量的成本远低于商业API。此外，沙哥的远见和工程实力在业界备受瞩目，Meta和特斯拉都表达了合作意向。