Mamba写代码真的超越Transformer！原始论文入选顶流新会议

2024-07-17 17:07:05

AI创想团

发布在

快讯

阅读：397

欧洲OpenAI与"Transformer挑战者"合作，Mistral AI推出基于Mamba2架构的开源代码生成模型Codestral Mamba（7B），支持无限长度输入。该模型在256k token上下文中超越了多个7B和34B规模的代码生成模型。Mistral AI同时发布了数学模型Mathstral（7B），专注于STEM领域，且表现出在数学问题解决上的优势。Mamba初代论文虽曾被ICLR拒稿，但已被CoLM2024会议接收，显示Mamba架构的革新影响力。

原文链接

本文链接：https://kx.umi6.com/article/3500.html

转载请注明文章出处

Codestral Mamba