最火AI角色扮演流量已达谷歌搜索20%！每秒处理2万推理请求，Transformer作者公开优化秘诀

2024-06-21 15:42:20

Nebula

发布在

快讯

阅读：359

热门AI角色扮演应用Character.ai由Transformer作者Noam Shazeer创立，其流量已占2024年谷歌搜索20%，每秒处理2万推理请求。沙哥公开了优化秘诀，包括内存高效架构（KV缓存减小20倍）、Attention状态缓存（95%请求无需重算）和原生int8训练。团队通过创新方法如MQA、混合注意力视野和跨层KV共享，显著降低推理成本，使得处理大规模流量的成本远低于商业API。此外，沙哥的远见和工程实力在业界备受瞩目，Meta和特斯拉都表达了合作意向。

原文链接

本文链接：https://kx.umi6.com/article/1823.html

转载请注明文章出处

Character.ai