nanogpt

仓库创建 2025年11月3日最近提交 1 个月前SkillHot 收录 22 天前

▸ 精选理由

对想从零理解 Transformer/GPT 细节的开发者与学生非常友好。

这个 Skill 做什么

约 300 行简洁实现的 GPT 教学代码，便于学习与实验复现。

把 GPT 的核心实现浓缩到大约 300 行代码，便于学习、修改和做实验，能复现 GPT‑2（124M）或在小数据上训练 Shakespeare。适合想从零理解 transformer 架构、动手调参或快速验证想法的人。代码简洁、可读且容易改动，是学习原理和做小规模试验的好材料。

▸ 展开 SKILL.md 英文原文

Educational GPT implementation in ~300 lines. Reproduces GPT-2 (124M) on OpenWebText. Clean, hackable code for learning transformers. By Andrej Karpathy. Perfect for understanding GPT architecture from scratch. Train on Shakespeare (CPU) or OpenWebText (multi-GPU).

开发编程教学实现GPT复现轻量训练通用

1.1w

Stars

821

Forks

仓库内 Skill

+761

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/01-model-architecture/nanogpt/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/01-model-architecture/nanogpt/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# nanoGPT - Minimalist GPT Training

## Quick start

nanoGPT is a simplified GPT implementation designed for learning and experimentation.

**Installation**:
```bash
pip install torch numpy transformers datasets tiktoken wandb tqdm
```

**Train on Shakespeare** (CPU-friendly):
```bash
# Prepare data
python data/shakespeare_char/prepare.py

# Train (5 minutes on CPU)
python train.py config/train_shakespeare_char.py

# Generate text
python sample.py --out_dir=out-shakespeare-char
```

**Output**:
```
ROMEO:
What say'st thou? Shall I speak, and be a man?

JULIET:
I am afeard, and yet I'll speak; for thou art
One that hath been a man, and yet I know not
What thou art.
```

## Common workflows

#

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有