distributed-llm-pretraining-torchtitan

仓库创建 2025年11月3日最近提交 1 个月前SkillHot 收录 22 天前

▸ 精选理由

面向有大规模 GPU 集群与预训练需求的团队，提升训练可扩展性与性能。

▸ 风险提示

依赖大量 GPU/集群资源，部署与权限复杂，应有运维保障。

这个 Skill 做什么

提供基于 PyTorch 的 4D 并行分布式 LLM 预训练平台（TorchTitan）。

提供基于 PyTorch 的大规模 LLM 预训练平台，支持 4D 并行（FSDP2、TP、PP、CP），能在 8 到 512+ GPU 集群上训练 Llama 3.1、DeepSeek 等模型并使用 Float8、torch.compile 和分布式 checkpoint。适合需要高效分布式预训练、节省显存和提升吞吐的场景。特点是把多种并行策略做成可插拔的工程化框架，显著提速并便于扩展。

▸ 展开 SKILL.md 英文原文

Provides PyTorch-native distributed LLM pretraining using torchtitan with 4D parallelism (FSDP2, TP, PP, CP). Use when pretraining Llama 3.1, DeepSeek V3, or custom models at scale from 8 to 512+ GPUs with Float8, torch.compile, and distributed checkpointing.

开发编程分布式训练4D并行大规模预训练通用

1.1w

Stars

821

Forks

仓库内 Skill

+761

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/01-model-architecture/torchtitan/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/01-model-architecture/torchtitan/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# TorchTitan - PyTorch Native Distributed LLM Pretraining

## Quick start

TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.

**Installation**:
```bash
# From PyPI (stable)
pip install torchtitan

# From source (latest features, requires PyTorch nightly)
git clone https://github.com/pytorch/torchtitan
cd torchtitan
pip install -r requirements.txt
```

**Download tokenizer**:
```bash
# Get HF token from https://huggingface.co/settings/tokens
python scripts/download_hf_assets.py --repo_id meta-llama/Llama-3.1-8B --assets tokenizer --hf_token=...
```

**Start training

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有