2024-10-09 09:45:15
非 Transformer 架构 AI 模型 Liquid 问世,号称性能“凌驾 Meta Llama / 微软 Phi”
阅读:64
【液态AI发布非Transformer架构AI模型LFM,性能超越MetaLlama及微软Phi】液态AI公司于9月30日推出三款液态基础模型(LFM),包括LFM-1.3B、LFM-3.1B和LFM-40.3B,采用非Transformer架构设计。LFM在基准测试中表现出色,宣称在同等规模下优于Meta的Llama和微软的Phi模型。这些模型旨在提供通用性,能够适应多种数据类型,如视频、音频、文本、时间序列和交通信号,并在处理长输入时,相较于Transformer架构模型,对RAM需求较低。 液态AI声称,LFM在内存使用上更具优势,特别在处理长序列时,能有效压缩外界输入数据,降低硬件资源消耗。在性能测试中,LFM-1.3B击败了苹果的OpenELM、Meta的Llama 3.2、微软的Phi 1.5及Stability的Stable LM 2等领先模型。LFM-3.1B在多个场景下超越了3B规模的Transformer模型、混合模型和RNN模型,甚至在某些情况下超过了上一代7B和13B规模模型。LFM-40.3B专注于在模型规模和输出质量之间找到平衡,尽管参数量高达400亿,但实际运行时仅启用120亿参数,以提升模型效率和降低硬件需求。 液态AI模型主要支持英语,同时也提供对中文、法语、德语、西班牙语、日语、韩语和阿拉伯语的有限支持。这一系列创新表明,非Transformer架构在人工智能领域展现出强大的竞争力,为行业带来了新的可能性。
原文链接
本文链接:https://kx.umi6.com/article/7002.html
转载请注明文章出处
相关推荐
.png)
换一换
MiniMax震撼开源,突破传统Transformer架构,4560亿参数,支持400万长上下文
2025-01-16 10:52:27
前谷歌 AI 研究员:ChatGPT 原本可以更早出现的
2024-11-18 10:21:49
MiniMax刘华:构建多模态开源生态,研发不再围绕稠密架构
2025-02-23 16:00:51
418 文章
56700 浏览
24小时热文
更多

-
2025-07-19 12:53:03
-
2025-07-19 12:51:53
-
2025-07-19 11:52:20