Andrej Kaparthy 开源 nanochat：从零开始的极简全栈训练/推理方案

“vibe coding” 理念的倡导者 andrej karpathy 最近推出了一个名为「nanochat」的全新开源项目：

nanochat 是一个类似 ChatGPT 的大语言模型（LLM）全栈实现，代码库单一、简洁、最小化，高度可定制且依赖极少。它被设计为在单个配备 8XH100 的节点上运行，通过如 speedrun.sh 这类脚本完成从头到尾的完整流程。涵盖分词、预训练、微调、评估、推理，以及通过简易 UI 提供网络服务，让你能像使用 ChatGPT 一样与自己训练的 LLM 实时对话。https://www.php.cn/link/92ea7d01cd7d6245f19a2da8aa6534b4

以下是来自 Andrej Karpathy 推特的内容整理：

与我之前仅聚焦预训练的 nanoGPT 不同，nanochat 是一个极简、从零构建的完整 ChatGPT 克隆，覆盖训练和推理的全栈流程。整个系统被压缩进一个几乎无外部依赖的轻量级代码库中。

你只需启动一台云上的 GPU 服务器，运行一个脚本，大约 4 小时后，就能通过类似 ChatGPT 的网页界面与你自己训练的 LLM 对话。

整个项目约 8000 行代码，结构清晰，实现了如下功能：

• 使用全新编写的 Rust 分词器进行训练
• 在 FineWeb 数据集上预训练 Transformer 架构的 LLM，并在多个维度评估 CORE 指标
• 在 SmolTalk 的用户-助手对话数据、多选题和工具使用场景上进行中期训练（Midtrain）
• 执行 SFT（有监督微调），并在常识任务（ARC-E/C、MMLU）、数学（GSM8K）和代码生成（HumanEval）上评估性能
• 可选地在 GSM8K 上应用 “GRPO” 算法进行强化学习（RL）
• 推理引擎支持高效机制：KV cache、prefill/decode 分离、工具调用（通过轻量沙箱运行 Python 解释器），可通过命令行或类 ChatGPT 的 WebUI 交互
• 自动生成一份 Markdown 格式的“成绩单”，对训练过程进行总结并引入游戏化展示

即便只投入约 100 美元（在 8×H100 节点上运行约 4 小时），你也能得到一个“迷你版 ChatGPT”，具备写故事、作诗、回答基础问题的能力。

经过约 12 小时训练后，模型在 CORE 指标上即可超越 GPT-2。当预算提升至约 1000 美元（总计约 41.6 小时训练），其输出连贯性显著提升，能够处理简单的数学题和编程任务，并通过多项选择测试。

零一万物开放平台

零一万物大模型开放平台

0

查看详情

举例来说，一个深度为 30 的模型，在训练 24 小时后（计算量大致相当于 GPT-3 Small 125M，约为 GPT-3 的千分之一），可在 MMLU 上获得 40+ 分，ARC-Easy 达到 70+，GSM8K 超过 20+。

我的目标是将一个完整的“强基线”技术栈整合进一个紧凑、易读、可修改、可复现的代码仓库中。

nanochat 将作为我正在开发的课程 LLM101n 的最终项目。

我相信它也有潜力像 nanoGPT 那样，演变为一个研究工具或评估基准平台。

当前版本尚未完全完成、调优或优化（仍存在大量可改进的空间），但整体框架已足够稳定，适合发布到 GitHub，供社区在此基础上持续迭代和完善各个模块。

以上就是Andrej Kaparthy 开源 nanochat：从零开始的极简全栈训练/推理方案的详细内容，更多请关注php中文网其它相关文章！