2025年7月8日，特拉维夫大学研究团队开源了一项新技术，通过引入“思维进度向量”(TPV)，可实时监控和控制大型语言模型(LLM)的推理深度与速度。该方法为LLM推理任务添加了可视化进度条，并通过干预TPV实现加速或减速推理过程。实验表明，使用TPV技术的DeepSeek-R1模型推理速度最高提升6倍，计算量减少30%，同时准确率保持不变甚至有所提升。研究还发现，TPV方法能与提示策略结合，进一步提高性能，在低计算预算下正确答案增加80%。相关代码和论文已发布在GitHub和arXiv平台。

正文：英伟达近日提出全新Star Attention机制，显著提升大语言模型的推理效率，最高可加速10倍。该技术于11月26日发布，适用于处理长序列的Transformer模型，尤其在边缘计算设备如手机和AIPC中表现突出。Star Attention通过分块处理上下文和查询，有效降低了计算成本，同时保持较高精度。在RULER基准测试中，即使上下文长度达到1048K，Star Attention仍能保持90%的准确率，加速比达10.8×～16.9×。该技术可无缝集成至大多数基于Transformer的大规模语言模型中，无需额外微调，有望推动本地设备处理更长序列的应用发展。对于云端服务提供商，Star Attention同样有助于“降本增效”，减少能源消耗。论文地址：[]。