标题：DeepSeek-V3为何爆火？

近期，DeepSeek-V3在国外迅速走红，主要原因有三：出色的性能、较低的训练成本及开源特性。

性能出色：在多项测试中，DeepSeek-V3超越了GPT-4o和Claude 3.5 Sonnet，尤其在数学和代码生成方面表现突出。

成本低廉：仅需600万美元即可完成训练，性价比极高。

开源特性：全球开发者均可免费使用和测试。

该模型由中国幻方量化公司开发，基于自研的MoE架构。MoE架构通过组合多个专家模型，大幅提升处理复杂任务的效率与准确度。

架构亮点：

• MLA技术：通过压缩注意力机制，提高信息处理效率。
• DeepSeekMoE技术：用更细粒度的专家和共享专家提高训练效率。
• 无辅助损失的负载平衡策略：确保专家间工作量均衡。
• 多令牌预测训练目标：提高模型的预测能力和数据效率。

训练技术：在2048个NVIDIA H800 GPU上进行训练，使用DualPipe算法优化任务分配和通信效率。引入FP8技术，通过更小的数字替代大数字，加速计算，节省电力。

预训练：使用14.8万亿高质量数据点，涵盖多领域和语言。通过超参数调整、长上下文扩展、评估基准等方法确保模型全面发展。

后训练：通过监督微调和强化学习，训练模型处理复杂数据和生成文本。最终通过两个时期的微调，采用余弦衰减学习率调度，确保模型在实际应用中更加精准。

测试成绩：在多项基准测试中，DeepSeek-V3表现优异，尤其是在数学推理、编程和多语言任务上，超越众多开源和闭源模型。其训练成本仅为557.6万美元，远低于其他模型。