arize-evaluator

仓库创建 2025年6月12日最近提交 4 小时前SkillHot 收录 20 天前

▸ 精选理由

适合需要大规模自动化评估与监控模型表现的团队

▸ 风险提示

评估数据可能发往模型或第三方，注意数据泄露风险

这个 Skill 做什么

在 Arize 上配置并运行 LLM 评估器与自动化评价任务。

在 Arize 上搭建并运行“LLM 当裁判”的评估流程：创建或更新 evaluator、映射字段、触发跑评估并监控得分（如幻觉、准确性、相关性等）。用于想要批量给模型输出打分、做实验对比或持续监控评估质量的场景。特别在于把人类评判思路程序化，能自动化地在 span/实验上跑评估并持续追踪指标。

▸ 展开 SKILL.md 英文原文

Handles LLM-as-judge evaluation workflows on Arize including creating/updating evaluators, running evaluations on spans or experiments, managing tasks, trigger-run operations, column mapping, and continuous monitoring. Use when the user mentions create evaluator, LLM judge, hallucination, faithfulness, correctness, relevance, run eval, score spans, score experiment, trigger-run, column mapping, continuous monitoring, or improve evaluator prompt.

数据与抓取评估器LLM判官模型评估通用

3.7w

Stars

4.6k

Forks

仓库内 Skill

+837

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/github/awesome-copilot/main/skills/arize-evaluator/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/github/awesome-copilot/main/skills/arize-evaluator/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Arize Evaluator Skill

> **`SPACE`** — All `--space` flags and the `ARIZE_SPACE` env var accept a space **name** (e.g., `my-workspace`) or a base64 space **ID** (e.g., `U3BhY2U6...`). Find yours with `ax spaces list`.

This skill covers designing, creating, and running **LLM-as-judge evaluators** on Arize. An evaluator defines the judge; a **task** is how you run it against real data.

---

## Prerequisites

Proceed directly with the task — run the `ax` command you need. Do NOT check versions, env vars, or profiles upfront.

If an `ax` command fails, troubleshoot based on the error:
- `command not found` or version error → see references/ax-setup.md
- `401 Unauthorized` / missing API key →

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有