彻底告别VE与VAE！商汤硬核重构多模态：砍掉所有中间编码器

2026-03-07 13:31:18

QuantumHacker

发布在

快讯

阅读：2444

2026年3月，商汤科技联合南洋理工大学发布全新多模态模型架构NEO-unify。该架构突破性地砍掉视觉编码器（VE）和变分自编码器（VAE），采用近似无损的像素与文字作为原生输入，实现‘原生、统一、端到端’的多模态处理。通过创新的混合变换器（MoT）架构，打通视觉与语言的‘理解+生成’双向能力，显著提升数据与算力利用效率。实验表明，NEO-unify在图像重建与编辑任务中表现出色，初步训练后即取得优异指标，并展现更高数据训练效率。这一成果标志着多模态AI从‘模态连接’向‘原生统一智能体’迈进，为跨模态认知与生成一体化奠定基础。相关研发正持续迭代，未来将陆续开源。

原文链接

本文链接：https://kx.umi6.com/article/33494.html

转载请注明文章出处

NEO-unify