1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:每秒生成超30帧视频,支持实时交互!自回归视频生成新框架刷新生成效率

在A100上用310M模型,实现每秒超30帧自回归视频生成,同时保持高质量!最近,微软研究院与北大联合发布的Next-Frame Diffusion (NFD)框架,通过帧内并行采样和帧间自回归方式,大幅提升了视频生成效率,同时维持高画质。

在《我的世界》中,NFD仅需约0.48秒即可生成每个视频片段。例如,玩家在黑暗走廊中前进、攻击小动物后转视角、跳跃放置木块、跳上草地以及连续放置石块等场景均能快速生成。

NFD的独特之处在于其架构设计,包括Tokenizer和基于扩散的Transformer模型。通过块状因果注意力机制结合帧内双向和帧间因果注意力,NFD高效建模时空依赖性,整体成本降低50%。此外,引入一致性蒸馏与投机采样技术,进一步优化生成效率。

实验结果显示,NFD(310M)在FVD上达到212,PSNR为16.46,优于MineWorld(1.2B)的FVD 227和PSNR 15.69,运行速度达6.15FPS。加速版NFD+通过高效采样策略,使130M和310M模型分别达到42.46FPS和31.14FPS,视觉质量依然出色。

这项研究为未来更灵活高效的视频生成提供了新方向。论文地址:https://arxiv.org/pdf/2506.01380;项目主页:https://nextframed.github.io/

原文链接
本文链接:https://kx.umi6.com/article/20123.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
低端显卡登上AI的大船!6GB显存就能生成高质量视频
2025-04-20 23:22:18
阿里万相视频生成大模型宣布开源:8.2GB 显存就能跑,测试超越 Sora
2025-02-25 23:11:59
11B模型拿开源视频生成SOTA!仅用224张GPU训练,训练成本省10倍
2025-03-13 13:15:44
30 秒让照片动起来,首个国产纯自研视频大模型 Vidu 上线
2024-08-01 18:28:17
全球首个无限时长视频生成!新扩散模型引爆万亿市场,电影级理解,全面开源
2025-04-21 16:45:29
新版Sora要来了?泄露视频引围观
2024-12-09 17:32:14
AI视频边生成边播放!首帧延迟仅1.3秒,生成速度9.4帧/秒|Adobe&MIT新研究
2024-12-10 15:56:19
阿里巴巴开源视频生成与编辑模型通义万相 Wan2.1-VACE
2025-05-16 14:14:59
快手可灵 AI 上线 2.1 系列模型:不到 1 分钟生成 5 秒 1080p 视频,更快更便宜
2025-05-29 17:37:51
AI 视频新王全球爆火,威尔·斯密斯终于可以好好吃面(附大量实测演示)
2025-05-24 13:10:24
Llama也能做图像生成!港大字节推出开源自回归文生图模型,在线体验已开放
2024-07-03 16:53:44
何必DiT!字节首次拿着自回归,单GPU一分钟生成5秒720p视频 | NeurIPS’25 Oral
2025-11-14 13:59:52
谷歌 Veo 2 视频生成模型入驻 Gemini,用户可创建 8 秒 720p 视频
2025-04-16 08:56:41
24小时热文
更多
扫一扫体验小程序