Meta近日开源了一款名为Spirit LM的7B参数规模的多模态语言模型，能够同时处理语音和文本数据，不仅支持语音转文本和文本转语音任务，还能捕捉和再现语音中的情感和风格。这款模型通过交错使用文本和语音数据进行训练，使得模型能在两种模式间自由转换。与现有模型相比，Spirit LM在处理多种模态数据和任务时具有更强的泛化能力。该模型有两个版本：基础版和表达版。表达版额外引入音高和风格token，使其在生成语音时能更丰富地表达情感。实验结果显示，Spirit LM在自动语音识别和文本转语音任务中表现出色，尤其是在少量样本的情况下也能跨模态学习新任务。不过，该模型也可能生成不安全的内容，需要额外的安全测试。Meta开源该项目旨在推动语音和文本结合的语言模型的发展。