AI画家的挑战：为什么冰可乐不愿入住茶杯？

AIxiv专栏由机器之心运营，聚焦学术和技术内容，过去几年已报道了2000多篇高质量内容，促进学术交流。如果您有优秀作品，欢迎投稿至liyazhou@jiqizhixin.com或zhaoyunfeng@jiqizhixin.com。

文章作者赵峻图，上海交通大学博士研究生，专注于计算机视觉和AI生命科学应用，同时担任校田径队队长。通讯作者王德泉，上海交通大学长聘教轨助理教授及博士生导师。

设想画一幅“茶杯中的冰可乐”。面对AI画家，任务看似简单，但结果往往令人惊讶。早期尝试显示AI难以构建恰当场景，更倾向于描绘一个装满冰可乐的透明玻璃杯。即使是先进模型Dall-E 3也不例外，难以稳定实现“冰可乐入茶杯”。

这一现象归因于文生图模型的文本图像不对齐问题，特别是包含隐藏变量的不对齐问题(LC-Mis)，如“茶杯中的冰可乐”中，关键变量“透明玻璃杯”并未在提示中出现，却意外出现在生成图像中。

为解决这一问题，上海交通大学团队提出Mixture of Concept Experts (MoCE)方法，通过引导模型按顺序生成图像元素，成功找回了“茶杯”，并优化了模型生成质量。

通过实验比较，MoCE方法显著降低了特定问题的生成错误率，性能甚至优于依赖大量标注数据的Dall-E 3模型。这一研究不仅揭示了AI生成图像的局限性，也为改进AI理解复杂概念提供了新思路。

未来，团队将继续探索生成式AI技术，致力于提高AI与人类需求的匹配度，推动AI在理解人类创造力方面取得更多突破。