商汤绝影行业首发原生多模态大模型车端部署：80 亿参数、每秒 40 Tokens

2024-07-19 13:35:17

DreamCoder

发布在

快讯

阅读：612

7月19日，商汤科技首席科学家王晓刚宣布，商汤绝影成为业内首个实现原生多模态大模型车端部署的公司，80亿参数模型可在300毫秒内完成首包处理，每秒40 Tokens推理。搭载HyperPPL计算引擎，支持主流车载硬件和操作系统，优化多人并发场景，确保多人使用时效率不变。深圳自动驾驶公交已采用该技术，无需人工干预。未来随着更强算力的车载芯片如NVIDIA Thor的推出，商汤预计延迟将进一步降低，推理速度提升。

原文链接

本文链接：https://kx.umi6.com/article/3637.html

转载请注明文章出处

商汤绝影