verl-rl-training

仓库创建 2025年11月3日最近提交 1 个月前SkillHot 收录 21 天前

▸ 精选理由

针对生产级 RLHF 与大规模训练优化，适合有集群需求的研发团队。

▸ 风险提示

常需企业级后端与大规模算力，部署复杂且依赖私有基础设施。

这个 Skill 做什么

verl 提供面向大规模 LLM 的高效 RL 训练与混合流框架实现。

做大规模 LLM 的强化学习（如 RLHF、GRPO、PPO）后训练时就会用到。verl 提供了生产级的训练框架（HybridFlow），能在多种基础设施后端上高效跑分布式 RL 训练和回放流水线。适合需要可扩展、低开销训练流程、或想把研究级算法投入生产的场景。特点是性能与工程化并重，方便迁移到实际集群。

▸ 展开 SKILL.md 英文原文

Provides guidance for training LLMs with reinforcement learning using verl (Volcano Engine RL). Use when implementing RLHF, GRPO, PPO, or other RL algorithms for LLM post-training at scale with flexible infrastructure backends.

研究检索分布式训练RLHF工业级通用

1.1w

Stars

817

Forks

仓库内 Skill

+704

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/06-post-training/verl/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/06-post-training/verl/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# verl: Volcano Engine Reinforcement Learning for LLMs

verl is a flexible, efficient, and production-ready RL training library for large language models from ByteDance's Seed team. It implements the HybridFlow framework (EuroSys 2025) and powers models like Doubao-1.5-pro achieving O1-level performance on math benchmarks.

## When to Use verl

**Choose verl when you need:**
- Production-ready RL training at scale (tested up to 671B parameters)
- Flexibility to swap backends (FSDP ↔ Megatron-LM ↔ vLLM ↔ SGLang)
- Support for multiple RL algorithms (PPO, GRPO, RLOO, REINFORCE++, DAPO)
- Multi-turn rollout with tool calling for agentic workflows
- Vision-language model RL training

**Consider

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有