卡帕西8000行代码手搓ChatGPT，成本仅100美元，训练12小时CORE表现超越GPT-2，手把手教程来了

2025-10-14 11:12:48

电子诗篇

发布在

快讯

阅读：728

2025年10月，前特斯拉AI总监Andrej Karpathy发布新项目nanochat，以8000行代码和100美元成本在云GPU上训练出简易版ChatGPT模型。该项目通过Rust语言实现分词器，在FineWeb数据集上预训练Transformer架构，并在多项数据集上进行中期训练与指令微调，最终可用类ChatGPT界面交互。训练12小时后，模型CORE指标超越GPT-2；若提升至1000美元预算，可解决简单数学和代码问题。Karpathy表示，此项目旨在打造极简、易读的全栈LLM技术栈，未来有望发展为研究工具框架。目前，GitHub Star数已超4.8k，受到广泛关注。

原文链接

本文链接：https://kx.umi6.com/article/26590.html

转载请注明文章出处

ChatGPT