wjs-evaling-voicedrop-prompts

仓库创建 2026年5月11日最近提交 3 天前SkillHot 收录 20 天前

▸ 精选理由

用数据化的盲审流程判断 prompt 改动是否真实提升表现。

这个 Skill 做什么

对 VoiceDrop 的系统 prompt 做盲测式胜率评估。

当你改了 VoiceDrop 的挖矿 system prompt（MINE_SYSTEM）并想用数据判断新版本是否更好时用。它在本地跑冠军版 vs 候选版的盲测对比，用相同输入和 golden fixtures 派子评委打分、汇总胜率，评估通过后会把候选自动推广到 agent/src/prompts/mine.js。特点是可复现的盲评流程和自动化推广，不靠主观几次尝试。

▸ 展开 SKILL.md 英文原文

Use when 王建硕 wants to evaluate whether a change to VoiceDrop's 挖矿 system prompt is actually better than the live version — runs the local eval harness (golden fixtures × champion-vs-candidate, same input), dispatches blind pairwise judge subagents, aggregates a win-rate verdict, and on approval promotes the candidate into agent/src/prompts/mine.js. Triggers — "评估 prompt"、"挖矿 prompt 改好了吗"、"eval prompt"、"比一比两版 prompt"、"/wjs-evaling-voicedrop-prompts".

研究检索prompt评估盲测A/B比对Claude Code

107

Stars

Forks

仓库内 Skill

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/jianshuo/claude-skills/main/wjs-evaling-voicedrop-prompts/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/jianshuo/claude-skills/main/wjs-evaling-voicedrop-prompts/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# VoiceDrop 挖矿 prompt 评估

harness = 本 skill（协议）+ jianshuo.dev `agent/eval/`（脚本/数据）。运行时 = 本地 Claude Code。
被测对象 = `agent/src/prompts/mine.js` 的 `MINE_SYSTEM`（git 即版本库）。

## 何时用
用户改了挖矿 prompt（`MINE_SYSTEM`），想用数据判断改好了还是改坏了，而不是凭感觉看一两次。

## 流程（按序）

1. **拿候选 prompt**：把候选版 `MINE_SYSTEM` 文本写到一个临时文件（如 `/tmp/cand-prompt.txt`）；冠军 = 当前 `mine.js` 的 `MINE_SYSTEM`（脚本自动读）。
2. **跑产出**：`cd ~/code/jianshuo.dev/agent && CLAUDE_API_KEY=$CLAUDE_API_KEY node eval/run-eval.mjs /tmp/cand-prompt.txt <runId>`。产出落 `eval/runs/<runId>/`。先看终端有没有「确定性回退」警告——有就先停，多半是候选 prompt 破坏了 JSON 输出。
3. **成对盲评**：对每条 fixture，dispatch 一个 subagent，喂 `references/judge-rubric.md` + 该 fixture 的 transcript + 两份产出。**A/B 顺序随机**（一半 fixture 把 candi

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有