中山大学和字节智创数字人团队联手开发了一种创新的虚拟试穿技术，称为MMTryon。这个框架允许用户通过输入服装图像和简单的文本指令，如“大衣+牛仔裤+包”，实现多件衣物的按需组合试穿，无论真人或卡通形象都能适用。MMTryon的关键在于其强大的服装编码器，能处理复杂换装场景和各种款式的服装，且无需依赖繁琐的服装分割。 MMTryon采用多模态多参考注意机制，解决了传统换装技术的局限，如不能自定义着装细节和依赖精确分割的问题。通过预训练的服装编码器和数据增强技术，它能在无分割的情况下生成逼真的组合换装效果。在基准测试中，MMTryon的表现超越了现有最佳解决方案（SOTA），并在人类评价中表现出色，尤其在复杂场景下，更受用户喜爱。 论文详细介绍了技术原理和实验结果，对虚拟时尚领域具有重要意义。