agentic-eval

仓库创建 2025年6月12日最近提交 4 小时前SkillHot 收录 20 天前
▸ 精选理由

适合构建评价→优化流水线,提高生成结果可靠性。

这个 Skill 做什么

提供评估与自我改进的模式与范式,提升 agent 输出质量。

把“生成→评估→批判→重写”变成可执行的工作流,用来让 AI agent 自我检视并迭代改进输出质量。常用在需要 self-critique、用 LLM 当评判器或搭 evaluator→optimizer 流水线来保证结果稳定可靠时。它提供具体的评估范式和量化指标,方便把人工评审流程自动化、持续提升生成质量。

▸ 展开 SKILL.md 英文原文

Patterns and techniques for evaluating and improving AI agent outputs. Use this skill when: - Implementing self-critique and reflection loops - Building evaluator-optimizer pipelines for quality-critical generation - Creating test-driven code refinement workflows - Designing rubric-based or LLM-as-judge evaluation systems - Adding iterative improvement to agent outputs (code, reports, analysis) - Measuring and improving agent response quality

研究检索评估模式反思循环自我改进通用
3.7w
Stars
4.6k
Forks
40
仓库内 Skill
+837
7 日增星
安装 / 使用
给你的 Agent 一句话(通用)
帮我安装这个 skill:https://raw.githubusercontent.com/github/awesome-copilot/main/skills/agentic-eval/SKILL.md
或 curl 直取 SKILL.md
curl -fsSL "https://raw.githubusercontent.com/github/awesome-copilot/main/skills/agentic-eval/SKILL.md"
SKILL.MD 节选查看完整文件 ↗
# Agentic Evaluation Patterns

Patterns for self-improvement through iterative evaluation and refinement.

## Overview

Evaluation patterns enable agents to assess and improve their own outputs, moving beyond single-shot generation to iterative refinement loops.

```
Generate → Evaluate → Critique → Refine → Output
    ↑                              │
    └──────────────────────────────┘
```

## When to Use

- **Quality-critical generation**: Code, reports, analysis requiring high accuracy
- **Tasks with clear evaluation criteria**: Defined success metrics exist
- **Content requiring specific standards**: Style guides, compliance, formatting

---

## Pattern 1: Basic Reflection

Agent evalua
via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有