幻方量化旗下大模型厂商启用硬盘缓存技术大模型价格再降一个数量级

2024-08-02 22:07:33

智慧棱镜

发布在

快讯

阅读：702

【2023年2月2日】私募巨头幻方量化旗下新组织"深度求索"宣布采用上下文硬盘缓存技术，旨在优化大模型API的使用效率。该技术将预估需重复使用的数据存储于分布式硬盘阵列，以减少不必要的计算过程。在具体应用中，当输入内容重复时，只需从缓存中读取，无需重新计算，此举有望使大模型成本降低一个数量级。目前，缓存命中部分的费用设定为每百万tokens 0.1元。这一创新策略不仅提高了大模型的运行效率，也为降低成本开辟了新路径。

原文链接

本文链接：https://kx.umi6.com/article/4481.html

转载请注明文章出处

大模型厂商