标题:每秒生成超30帧视频,支持实时交互!自回归视频生成新框架刷新生成效率
在A100上用310M模型,实现每秒超30帧自回归视频生成,同时保持高质量!最近,微软研究院与北大联合发布的Next-Frame Diffusion (NFD)框架,通过帧内并行采样和帧间自回归方式,大幅提升了视频生成效率,同时维持高画质。
在《我的世界》中,NFD仅需约0.48秒即可生成每个视频片段。例如,玩家在黑暗走廊中前进、攻击小动物后转视角、跳跃放置木块、跳上草地以及连续放置石块等场景均能快速生成。
NFD的独特之处在于其架构设计,包括Tokenizer和基于扩散的Transformer模型。通过块状因果注意力机制结合帧内双向和帧间因果注意力,NFD高效建模时空依赖性,整体成本降低50%。此外,引入一致性蒸馏与投机采样技术,进一步优化生成效率。
实验结果显示,NFD(310M)在FVD上达到212,PSNR为16.46,优于MineWorld(1.2B)的FVD 227和PSNR 15.69,运行速度达6.15FPS。加速版NFD+通过高效采样策略,使130M和310M模型分别达到42.46FPS和31.14FPS,视觉质量依然出色。
这项研究为未来更灵活高效的视频生成提供了新方向。论文地址:https://arxiv.org/pdf/2506.01380;项目主页:https://nextframed.github.io/
原文链接
本文链接:https://kx.umi6.com/article/20123.html
转载请注明文章出处
相关推荐
换一换
腾讯AI视频生成曝光!与Sora同提示词PK,效果如何?
2024-12-02 14:51:40
OpenAI给不了的,DeepMind给,Sora联合负责人跳槽后开组新团队
2025-01-07 13:03:56
阿里万相视频生成大模型宣布开源:8.2GB 显存就能跑,测试超越 Sora
2025-02-25 23:11:59
千问首发灰测HappyHorse模型
2026-04-27 19:31:06
MuleRun(骡子快跑)首发灰测HappyHorse模型,支持用户7×24小时调用
2026-04-28 14:15:35
细节表现超Sora,网友:真正的国产之光!MiniMax视频模型再上新
2024-12-16 14:39:22
马斯克收购视频生成初创公司,4人13个月打造类Sora模型
2025-03-19 07:14:13
OpenAI Sora 2 更新上线:所有用户均能生成 15 秒视频,Pro 最长 25 秒
2025-10-16 15:54:40
快手发布可灵 2.0 视频生成模型及可图 2.0 图像生成模型
2025-04-15 15:33:39
AI的下个进化和爆点
2024-07-29 09:23:23
下一代OpenClaw来了?“龙虾之父”称将率先支持阿里千问
2026-04-07 12:53:34
视频生成的“ChatGPT时刻”究竟有没有到来?
2024-07-26 14:44:17
腾讯混元技术负责人刘威离职创业 瞄准视频生成领域
2024-11-19 16:52:19
697 文章
769048 浏览
24小时热文
更多
-
2026-07-24 00:15:46 -
2026-07-24 00:14:08 -
2026-07-24 00:12:30