【2023年2月2日】私募巨头幻方量化旗下新组织"深度求索"宣布采用上下文硬盘缓存技术，旨在优化大模型API的使用效率。该技术将预估需重复使用的数据存储于分布式硬盘阵列，以减少不必要的计算过程。在具体应用中，当输入内容重复时，只需从缓存中读取，无需重新计算，此举有望使大模型成本降低一个数量级。目前，缓存命中部分的费用设定为每百万tokens 0.1元。这一创新策略不仅提高了大模型的运行效率，也为降低成本开辟了新路径。