标题:字节提出视觉生成新方法:让AI像人类一样边画边改
正文:
字节商业化技术团队近期推出了一种全新的视觉生成模型——生成精炼网络(GRN,Generative Refinement Networks)。与主流的扩散模型和自回归模型不同,GRN开创了视觉生成的“第三条路”,能够像人类绘画一样,边画边改,复杂场景多画,简单场景少画。
扩散模型虽能生成逼真的图像,但无论画面复杂与否,都需相同步数完成,效率较低;自回归模型则因离散化处理丢失高频细节,且一旦出错无法修正,导致误差累积。GRN通过引入层次二叉树量化(HBQ)、全局精炼机制和复杂度感知采样,解决了这些问题。
具体来说,HBQ采用近乎无损的离散编码,避免信息损失;全局精炼机制允许模型在生成过程中不断修改错误,逐步优化结果;复杂度感知采样根据画面复杂度动态调整计算步数,简单场景只需20步,复杂场景最多40步,显著提升效率。
实验表明,GRN在多项基准测试中刷新了SOTA记录。例如,在ImageNet 256×256重建任务中,HBQ的rFID值为0.56,远超其他方法;在文生图(T2I)和文生视频(T2V)任务中,GRN以更少参数量超越了CogVideoX、Wan 2.1等大模型。
此外,GRN的设计也为多模态生成提供了新思路。其离散token建模方式不仅适用于图像和视频,还能统一文本生成,未来有望进一步扩展至更大规模模型。
论文链接:https://arxiv.org/abs/2604.13030
代码链接:https://github.com/MGenAI/GRN
HuggingFace体验:https://huggingface.co/spaces/hanjian/GRN
原文链接
本文链接:https://kx.umi6.com/article/35803.html
转载请注明文章出处
相关推荐
换一换
小众架构赢麻了!通过编辑功能让100B扩散模型飙出892 tokens/秒的速度!
2026-02-11 10:10:31
嚯!大语言扩散模型来了,何必只预测下一个token | 人大高瓴&蚂蚁
2025-02-18 13:14:03
突破瓶颈!北航ETH等首次将扩散模型完全量化至1bit,28倍存储节省+52.7倍效率提升
2025-01-11 12:37:26
扩散模型成最快深度思考!告别自回归每秒1009个tokens,英伟达微软都投了
2026-02-26 10:41:31
Llama也能做图像生成!港大字节推出开源自回归文生图模型,在线体验已开放
2024-07-03 16:53:44
港大赵恒爽团队论文:让扩散模型既拿高分又不「作弊」丨CVPR 2026
2026-03-20 16:52:29
全球首个Agentic扩散模型来了:边行动边纠错,128K上下文追平自回归
2026-07-28 12:57:42
何恺明带大二本科生颠覆扩散图像生成:扔掉多步采样和潜空间,一步像素直出
2026-02-02 16:48:05
VAE再被补刀!清华快手SVG扩散模型亮相,训练提效6200%,生成提速3500%
2025-10-28 15:54:58
CVPR 2026 生成式 AI 观察梳理:视觉模型开始重写默认设定
2026-04-30 11:18:37
跳过“逐字生成”!蚂蚁集团赵俊博:扩散模型让我们能直接修改Token | MEET2026
2025-12-12 12:47:17
效果媲美GPT-4o,一键搞定各类视觉生成任务丨港科广字节全新框架
2025-06-07 14:49:46
13.8倍吞吐提升!浙大上海AI Lab等提出视觉生成新范式,从“下一个token”到“下一个邻域”
2025-03-30 11:29:15
806 文章
1111711 浏览
24小时热文
更多
-
2026-10-22 11:40:49 -
2026-10-22 10:39:20 -
2026-10-22 10:37:52