微软论文意外曝光GPT核心机密：4o-mini仅8B，o1约300B

微软在一篇论文中意外透露了OpenAI模型的参数细节。论文显示，GPT-4o-mini约有8B参数，o1-preview约300B参数。此外，微软还提到了其他模型的参数，包括GPT-4o约200B，Claude 3.5 Sonnet 2024-10-22版本约175B，以及微软自家的Phi-3-7B模型。

尽管论文中提到这些数据是估计值，但仍引发广泛讨论。一些人质疑为何没有提及谷歌Gemini模型的参数。有人猜测，这可能是因为大多数模型在英伟达GPU上运行，而谷歌模型则在TPU上运行，使得参数估计更为复杂。

微软并非首次“意外”泄露此类信息。今年10月，微软曾在另一篇论文中“意外”曝光GPT-3.5-Turbo的20B参数，后又被删除。

该论文主要介绍了MEDEC benchmark，旨在识别和纠正临床笔记中的错误。研究显示，Claude 3.5 Sonnet在错误标志检测方面表现优异，得分70.16，其次是o1-mini。

每次模型参数的曝光都引发热议。此次泄露再次引发了关于模型大小和技术优势的讨论。