360AI推出DiT架构下“省钱版”ControlNet，参数量骤减85%，性能达SOTA！

RelaCtrl团队投稿至凹非寺量子位 | 公众号QbitAI

现有可控Diffusion Transformer方法虽在文本到图像和视频生成方面取得进展，但也带来大量参数和计算开销。同时，这些方法未能有效考虑不同Transformer层之间控制信息的相关性，导致资源分配效率低下。

360人工智能研究院提出新一代控制相关性引导的高效可控生成框架——RelaCtrl。该框架通过优化控制信号集成方式，实现更高效且资源优化的控制，解决上述问题。

团队对常见T2I Diffusion Transformer进行实验验证，取得显著成果。论文一作为中国科学技术大学二年级硕士生曹可，共同一作和项目负责人为360 AI Research AIGC研究员马傲。

研究动机： DiT的可控生成方法提升生成结果保真度和一致性，但仍面临参数和计算负担重，以及控制信息相关性被忽视的问题。受模型量化和剪枝研究启发，团队设计了“ControlNet相关性得分”，指导后续可控生成的条件注入。

实验结果： RelaCtrl在多种条件下展现强大性能，参数量减少约85%，计算复杂度显著降低。定性比较显示其生成图像逼真，定量分析表明其在控制指标、视觉质量和文本相似度上更优。