1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
彻底告别VE与VAE!商汤硬核重构多模态:砍掉所有中间编码器
2026年3月,商汤科技联合南洋理工大学发布全新多模态模型架构NEO-unify。该架构突破性地砍掉视觉编码器(VE)和变分自编码器(VAE),采用近似无损的像素与文字作为原生输入,实现‘原生、统一、端到端’的多模态处理。通过创新的混合变换器(MoT)架构,打通视觉与语言的‘理解+生成’双向能力,显著提升数据与算力利用效率。实验表明,NEO-unify在图像重建与编辑任务中表现出色,初步训练后即取得优异指标,并展现更高数据训练效率。这一成果标志着多模态AI从‘模态连接’向‘原生统一智能体’迈进,为跨模态认知与生成一体化奠定基础。相关研发正持续迭代,未来将陆续开源。
QuantumHacker
03-07 13:31:18
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序