趋境科技推出大模型知识推理一体机，革新“全系统推理架构”，旨在帮助企业高效利用推理资源。随着大模型应用的普及，推理端人工智能服务器预计占比将达72.6%，而开源大模型的进展进一步推动了这一趋势。然而，当前的挑战在于，尽管模型效果显著提升，但在实际部署中面临高昂成本和低效问题，形成“不可能三角”。

趋境科技的“大模型知识推理一体机”搭载业界首创的全系统推理架构，通过协同存储、CPU、GPU、NPU等多种设备，释放异构算力，将推理成本降低10倍以上。该一体机支持本地部署大型模型，提供开放API接口，方便第三方调用，用户可定制企业智能助手，实现“开箱即用”。与传统方案相比，这一架构通过“以存换算”技术释放存力，结合“异构协同”思路，释放全系统存力和算力，实现推理吞吐量提升10倍，大幅降低大模型落地成本。

面对国产GPU性能与国际品牌存在差距的问题，趋境科技的全系统推理架构有助于缩小性能差距，增强国产替代方案的竞争力。此外，趋境科技创新性地设计了“融合推理”技术，即使面对新问题也能从历史信息中提取可复用内容，显著提升性能。

趋境科技与清华KVCache.AI团队合作，开源异构推理框架“KTransformers”，在本地运行千亿级大模型时性能优于Llama.cpp，响应延迟降低20倍，性能提升10倍。通过进一步完善商业版本，趋境科技的全系统推理架构在多个关键指标上显著领先业界方案。

长亭科技利用趋境科技的全系统异构推理架构，将其“问津（ChaitinAI）安全大模型”升级为千亿大模型，安全性能大幅提升，包括攻击识别准确率提高至95.8%，检测时延降至秒级，漏洞发现与修复建议更准确，不良内容识别能力增强，安全报告质量显著提高。部署成本降低50%，促进了更多业务融入大模型能力。

随着算力基础设施的完善和利用效率的提升，大模型在金融、安全、电信、教育等多个行业的应用将进一步扩大，趋境科技的全系统推理架构为大模型的普及提供了有力支持，推动全面智能化时代的到来。