Karpathy 用 200 行纯 Python 从零实现 GPT：代码逐行解析

Karpathy 用 200 行纯 Python 从零实现 GPT：代码逐行解析

2026 年 2 月，Karpathy 发布了 microgpt —— 200 行纯 Python、零依赖的 GPT 实现。

包含全部核心算法：Tokenizer、Autograd、Transformer、Adam、训练+推理。

为什么重要？

1. 零依赖：只要标准库
2. 完整实现：一气呵成
3. 200 行：一周能吃透

核心模块

Tokenizer

uchars = sorted(set(''.join(docs)))
BOS = len(uchars)

Autograd

class Value:
    def __init__(self, data):
        self.data = data
        self.grad = 0.0

Transformer

class Attention:
    def __call__(self, x):
        q = x @ self.wq
        att = q @ k.T / math.sqrt(self.head_size)
        return softmax(att) @ v

资源

• microgpt - 5000+ Stars
• 博客
• HN - 1796 分