benchmark-runner

仓库创建 2026年6月26日最近提交 22 天前SkillHot 收录 22 天前

▸ 精选理由

为基准测试提供可复现的 hermetic 运行方式，便于对比与自动化评测。

这个 Skill 做什么

用 Claude Code CLI 以无头方式运行技能基准，产出结构化、可复现的运行记录。

用 Claude Code CLI 做无头、可重现的技能基准跑者，负责用确定的 claude -p 调用、隔离环境和结构化输出记录一次完整运行。适合搭建或运行 benchmark harness，需精确控制模型、prompt、token/turn 计数以及是否暴露被测技能时使用。特色是把“可比、可核”的跑步流程落地，提醒并规避那些会悄悄破坏结果的陷阱。

▸ 展开 SKILL.md 英文原文

Drive the Claude Code CLI as the hermetic, headless runner for a skill benchmark — the concrete Claude implementation of benchmark-skill's abstract "headless agent runner". Use when building or running a benchmark harness (see the benchmark-skill) on Claude Code: the exact `claude -p` invocation, how to isolate a run, how to expose or withhold the skill under test, how to read tokens/turns, and the reliability traps that silently corrupt results.

开发编程基准测试Claude CLI自动化Claude Code

Stars

Forks

仓库内 Skill

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/Svendsys/agent-skills/master/claude/skills/benchmark-runner/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/Svendsys/agent-skills/master/claude/skills/benchmark-runner/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Benchmark Runner (Claude Code)

`benchmark-skill` specifies *what* the runner must deliver — hermetic, bounded,
one-variable, structured transcript. This is how to get all of it from the
`claude` CLI. Confirm flags against the installed version (`claude --help`); they
drift.

## The call

One hermetic, non-interactive run:

    claude -p "$PROMPT" \
      --model "$MODEL" \
      --output-format json \
      --setting-sources '' \
      --disallowedTools '*' \
      --append-system-prompt "$SYSTEM"

- **`-p` + `--output-format json`** — non-interactive; emits one JSON object with
  `result` (the text), `usage.output_tokens` / `usage.input_tokens`, `num_turns`,
  `total_cost_usd`, and `mode

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有