OpenRaiser/NanoResearch✦ 精选0°

evaluating-llms-harness

仓库创建 2026年3月17日最近提交 2 个月前SkillHot 收录 20 天前

⬈ GitHub 仓库 ⬈ SKILL.md 原文件 ⬇ Raw 原始文件

▸ 精选理由

行业标准基准套件，便于复现与横向比较

▸ 风险提示

会下载/加载大型模型并消耗大量带宽与算力

这个 Skill 做什么

在60+学术基准上系统评估并比较语言模型性能的基准工具。

在 60+ 学术基准（如 MMLU、HumanEval、GSM8K、TruthfulQA、HellaSwag）上系统评估和比较 LLM 性能，适合做模型对比、训练进度跟踪或学术报告。支持 HuggingFace、vLLM 和 API 调用，输出标准化的 prompts 与指标，方便复现和横向比拼。它是业界常用的基准工具，能把测评流程和结果都标准化，便于直接比较不同模型的强项与弱点。

▸ 展开 SKILL.md 英文原文

Evaluates LLMs across 60+ academic benchmarks (MMLU, HumanEval, GSM8K, TruthfulQA, HellaSwag). Use when benchmarking model quality, comparing models, reporting academic results, or tracking training progress. Industry standard used by EleutherAI, HuggingFace, and major labs. Supports HuggingFace, vLLM, APIs.

研究检索模型评测基准测试HuggingFace通用

1.5k

Stars

104

Forks

仓库内 Skill

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/OpenRaiser/NanoResearch/main/skills/vendor-ai-research/lm-evaluation-harness/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/OpenRaiser/NanoResearch/main/skills/vendor-ai-research/lm-evaluation-harness/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# lm-evaluation-harness - LLM Benchmarking

## Quick start

lm-evaluation-harness evaluates LLMs across 60+ academic benchmarks using standardized prompts and metrics.

**Installation**:
```bash
pip install lm-eval
```

**Evaluate any HuggingFace model**:
```bash
lm_eval --model hf \
  --model_args pretrained=meta-llama/Llama-2-7b-hf \
  --tasks mmlu,gsm8k,hellaswag \
  --device cuda:0 \
  --batch_size 8
```

**View available tasks**:
```bash
lm_eval --tasks list
```

## Common workflows

### Workflow 1: Standard benchmark evaluation

Evaluate model on core benchmarks (MMLU, GSM8K, HumanEval).

Copy this checklist:

```
Benchmark Evaluation:
- [ ] Step 1: Choose benchmark suite
- [ ] Step 2:

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有