AI配音产品LipDub的开发者马特·佩诺西斯表示,团队注意到《鱿鱼游戏》中的口型与音频不同步问题,于是开发了LipDub,旨在自动同步口型与配音音轨。该技术现已服务于好莱坞、广告、在线教育和YouTube等多个领域,尤其是在中国,由于庞大的方言和语言市场,LipDub技术有广阔的应用前景。
马特认为,AI音频技术在全球范围内有着广阔的场景,中国在这一领域迅速进步,与美国等国家展开竞争。LipDub不仅帮助英语内容进入非英语市场,还能助力中文内容进入英语及其他语言市场,打破文化和语言障碍。LipDub可以帮助中国公司让特朗普说中文,显示了中国在AI音频领域的技术实力。
LipDub的核心竞争力在于其高质量的清晰度、分辨率以及对复杂内容如侧面、光照变化的处理能力。平台允许用户在多个语言之间转换,为个人和企业提供本地化解决方案。用户上传视频后,系统会自动检测并标记所有面孔,用户标记完成,系统进行训练,最后将新音频文件与扬声器相关联。
LipDub的运营模式为订阅制,用户在平台上购买积分,用于生成视频内容。生成一分钟新内容的时间约为10至20分钟,具体取决于场景的动态程度。马特指出,随着技术发展,未来有望实现实时口型同步和配音。
AI配音领域存在翻译准确性和口语、俚语处理的挑战,但马特表示,这些问题可以通过改进翻译算法和技术逐步解决。同时,LipDub也在关注音频隐私和滥用可能性,制定了严格的内容审核制度,确保平台的健康发展。
马特强调,AI音频技术具有巨大潜力,但并非完美无缺,仍需要人类的持续优化和改进。团队正在努力解决上述挑战,同时加强数字水印等技术手段,以防止音频滥用。此外,LipDub的团队由一流的研究人员组成,他们致力于在AI音频领域进行创新研究,为全球用户提供高质量的本地化解决方案。
LipDub已在好莱坞的ADR(额外录音)工作中发挥作用,同时也与YouTube创作者、广告公司等进行合作,提供定制化的本地化服务。随着公司的发展,LipDub将继续推出新产品,旨在让用户能够以创意的方式访问和利用各种视觉特效应用程序,让个人参与到艺术创作中。
.png)

-
2025-07-20 21:10:03
-
2025-07-20 21:09:03
-
2025-07-20 20:08:46