超越ControlNet++！腾讯优图提出动态条件选择新架构

腾讯优图、南洋理工、浙大等机构联合推出DynamicControl，将多模态大语言模型的推理能力集成到文本生成图像任务中。DynamicControl提出一种高效多控制适配器，自适应选择不同条件，增强可控性而不牺牲图像质量。

基于ControlNet模型，前人探索了布局、分割图等控制信号，但存在局限。DynamicControl支持多种条件动态组合，自适应选择不同数量和类型的条件。算法流程包括双循环控制器产生真实排名分数，与预训练条件评估器结合训练。

双循环控制器优化条件和图像一致性，通过量化生成模型输出来增强优化。研究引入多模态大语言模型，用双周期控制器得分排序优化条件，确保高相关性和质量条件参与。多控制适配器动态编码，选择符合条件参与训练，提高模型效率。

实验显示，DynamicControl增强可控性，不牺牲图像质量和文本对齐。该研究为可控视觉生成提供新视角。