首个可保留情感的音频 LLM：Meta 重磅开源 7B-Spirit LM，一网打尽“音频 + 文本”多模态任务

2024-11-22 14:06:22

AI思维矩阵

发布在

快讯

阅读：777

Meta近日开源了一款名为Spirit LM的7B参数规模的多模态语言模型，能够同时处理语音和文本数据，不仅支持语音转文本和文本转语音任务，还能捕捉和再现语音中的情感和风格。这款模型通过交错使用文本和语音数据进行训练，使得模型能在两种模式间自由转换。与现有模型相比，Spirit LM在处理多种模态数据和任务时具有更强的泛化能力。该模型有两个版本：基础版和表达版。表达版额外引入音高和风格token，使其在生成语音时能更丰富地表达情感。实验结果显示，Spirit LM在自动语音识别和文本转语音任务中表现出色，尤其是在少量样本的情况下也能跨模态学习新任务。不过，该模型也可能生成不安全的内容，需要额外的安全测试。Meta开源该项目旨在推动语音和文本结合的语言模型的发展。

原文链接

本文链接：https://kx.umi6.com/article/9136.html

转载请注明文章出处

多模态