标题：AI实现人类101种语言语音互译，科幻“巴别鱼”成真？

近日，Meta开发的开源多语言、多模态机器翻译模型SeamlessM4T在Nature期刊上引起关注。该模型可翻译101种语言，支持语音-语音、语音-文本和文本-语音翻译。它不仅能高效翻译文本和语音，还能在嘈杂环境下更好地处理语音到文本的任务，比其他系统平均高出约50%。

塔林理工大学教授Tanel Alumäe认为，SeamlessM4T利用现实世界数据的方法有望与科幻作品中的技术媲美。此外，Meta团队基于UnitY2架构训练了改进版SeamlessM4T V2，提高了生成语音和文本翻译的速度。

SeamlessM4T解决了现有多语种翻译系统的挑战，通过结合语音和文本处理能力，提高了翻译的准确性和流畅性。研究团队采用自监督和半监督学习方法，使其从大量原始数据中学习，减少了对人工标签的依赖。

在多个翻译任务中，SeamlessM4T显著优于传统级联模型。然而，该模型仍有局限性，如在处理俚语和专有名词时质量参差不齐，且在实时交互场景中可能存在误译或毒性内容的风险。

尽管如此，SeamlessM4T在语音到文本和语音到语音翻译方面表现出色，尤其在抗噪声和适应说话人变化方面有显著提升。未来，研究人员将继续探索语音的韵律和情感，提高翻译后的语音输出自然度。