km:skill-improve

仓库创建 2026年1月24日最近提交 21 天前SkillHot 收录 20 天前
▸ 精选理由

适合维护大量 skills 的团队,用数据避免凭直觉合并改动。

这个 Skill 做什么

对现有 skill 的改动通过盲 A/B 试验与实测数据验证是否采纳。

把对现有 skill 的改动当实验来跑,从现状分析到 candidate 起草,再用盲 A/B 运营试验检验实际效果,最后决定是否采纳。适合想验证某个改动真能提升表现且不想凭主观判断直接上线时用。职责是做盲测和采纳判定,不负责从零创建新 skill 或对非-skill prompt 资产的量化评测。

▸ 展开 SKILL.md 英文原文

既存 skill の改善アイデアを現状分析から A/B 運用テストまでのサイクルで検証し、実挙動で改善を確かめてから採用する。「この skill を改善したい」「skill の変更を検証して」「skill を A/B テストして」「skill の効き目を確かめて」など、skill の改善・変更検証の依頼で使う。挙動品質の blind A/B 検証と採用判定が責務。新規 skill をゼロから作る依頼、assertion ベースの定量 eval、skill 以外の prompt 資産(CLAUDE.md / rules 等)の改善は対象外。

Skill 开发管理skill改进A/B测试验证运维通用
0
Stars
0
Forks
9
仓库内 Skill
+0
7 日增星
安装 / 使用
给你的 Agent 一句话(通用)
帮我安装这个 skill:https://raw.githubusercontent.com/koumatsumoto/agent-config/main/templates/skills/skill-improve/SKILL.md
或 curl 直取 SKILL.md
curl -fsSL "https://raw.githubusercontent.com/koumatsumoto/agent-config/main/templates/skills/skill-improve/SKILL.md"
SKILL.MD 节选查看完整文件 ↗
# Skill Improvement Cycle

skill のような prompt 資産の変更は、diff の静的レビューだけでは「意図した挙動改善が実際に起きるか・既存挙動を退行させないか」を判定できない。改善アイデアを課題として具体化し、candidate を起草し、実挙動(A/B 運用テスト)で質の向上を確かめてから採用する。

## 入口

- **改善アイデアから**(基本形): 人間が持ち込んだ改善アイデアを起点に、フェーズ 1 から回す。base はディスク上の現行版そのもの
- **diff 済み変更の検証から**: 対象 skill が既に編集済みなら、base(変更前)を `git show <ref>:<path>` 等で references ごと一時ディレクトリに再現し、candidate(作業ツリー)と比較する。フェーズ 2(現状分析)だけ先に行ってからフェーズ 5(検証)に入る — 効く層・変更タイプ・wash リスクの特定は検証設計に必要なため省略できない

## 改善サイクル

1. **アイデアの具体化**: 「どの場面で・現状どうなるか・どうなってほしいか」に落とす。答えが検証設計を変える曖昧さが残るならユーザーに確認する
2. **現状分析**: 対象 skill 一式(SKILL.md + references)を読み、次の 3 つを特定する
   - **効く層・分岐**: アイデアが skill のどの層・分岐に効くか。変更しない層が単独で拾える改善は A/B で差が出ない(wash リスクの予測)
   - **source
via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有