标题：事件相机+AI视频生成，港大CUBE框架入选ICIP，无需训练实现可控视频生成

在这个信息爆炸的时代，如何让AI生成的视频更具创意，又符合特定需求？香港大学的最新研究《基于事件、无需训练的可控视频生成框架 CUBE》提供了一个创新方案。

该框架利用事件相机捕捉动态边缘，将AI生成的视频带入新维度，精准且高效。论文名为“Controllable Unsupervised Event-based Video Generation”，发表于图像处理盛会ICIP并被选为Oral报告，同时受邀在WACV workshop演讲。

事件相机不同于传统相机，只捕捉像素亮度变化的“事件”。这种方法不仅减少了冗余数据，还降低了能耗，尤其在高速动态或光线变化大的场景中优势明显。这些独特的“事件数据”是CUBE框架的核心。

CUBE框架结合了“闪现”的边缘数据和文字描述，无需训练就能合成符合需求的视频。这不仅能生成更“合胃口”的场景，还能提高视频质量、时间一致性和文本匹配度。

其他方法要么需要大量训练数据，要么生成效果不佳。CUBE框架不仅解决了这些问题，还在视觉效果、文本匹配度和帧间一致性等方面表现优异。

CUBE框架的工作原理如下：它通过提取事件中的边缘信息，再结合用户提供的文字描述生成视频。方法上，CUBE主要依赖扩散模型生成技术，进一步优化了过程，使其根据“事件”提供的边缘数据生成视频。

CUBE的核心方法包括： 1. 边缘提取：将事件数据转换成边缘信息，形成精确的边缘图。 2. 视频生成：利用扩散模型逐步还原过程生成视频，结合插帧技术使视频更平滑。 3. 控制性与一致性：采用ControlVideo框架，通过文字描述控制生成内容，确保每帧符合特定要求。

实验表明，CUBE在视频质量、文本匹配度和时间一致性等指标上表现优异，优于现有方法。未来，团队希望结合边缘信息和纹理信息，提升视频的真实感，拓展应用场景。

如果你对AI生成视频感兴趣，可进一步参考完整论文和开源代码。论文地址：https://ieeexplore.ieee.org/abstract/document/10647468；代码已开源：https://github.com/IndigoPurple/cube。