simpo-training

仓库创建 2025年11月3日最近提交 1 个月前SkillHot 收录 21 天前

▸ 精选理由

训练流程更简单且更高效，适合想快速做偏好对齐的团队。

▸ 风险提示

需训练数据与GPU，性能提升声明需在自己数据上验证。

这个 Skill 做什么

无参考模型的偏好优化方法，作为DPO的高效替代用于对齐训练。

帮你把偏好反馈直接用来微调大模型，做对齐训练时不用再搞一个参考模型（比 DPO 更省事也更快），在 AlpacaEval 2.0 上有明显性能提升。适合想做 preference alignment 但不想折腾 DPO/PPO 复杂流程和额外模型时使用。实现上更简洁、训练效率更高，能节省算力和工程工作量，让调优流程更轻量化。

▸ 展开 SKILL.md 英文原文

Simple Preference Optimization for LLM alignment. Reference-free alternative to DPO with better performance (+6.4 points on AlpacaEval 2.0). No reference model needed, more efficient than DPO. Use for preference alignment when want simpler, faster training than DPO/PPO.

研究检索偏好优化无参考模型高效通用

1.1w

Stars

817

Forks

仓库内 Skill

+704

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/06-post-training/simpo/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/06-post-training/simpo/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# SimPO - Simple Preference Optimization

## Quick start

SimPO is a reference-free preference optimization method that outperforms DPO without needing a reference model.

**Installation**:
```bash
# Create environment
conda create -n simpo python=3.10 && conda activate simpo

# Install PyTorch 2.2.2
# Visit: https://pytorch.org/get-started/locally/

# Install alignment-handbook
git clone https://github.com/huggingface/alignment-handbook.git
cd alignment-handbook
python -m pip install .

# Install Flash Attention 2
python -m pip install flash-attn --no-build-isolation
```

**Training** (Mistral 7B):
```bash
ACCELERATE_LOG_LEVEL=info accelerate launch \
  --config_file accelerate_configs/deep

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有