arize-experiment

仓库创建 2025年6月12日最近提交 4 小时前SkillHot 收录 20 天前

▸ 精选理由

便于系统化比较模型性能并导出实验结果

▸ 风险提示

运行实验可能使用账号配额或上传敏感数据，注意权限和成本

这个 Skill 做什么

创建、运行并分析在 Arize 平台上的模型实验与对比。

在 Arize 平台上创建、运行并分析模型实验，把不同模型或不同配置做对比并导出结果。常用于做 A/B 测试、基准对比、或验证模型性能变化，能通过 ax CLI 管理 experiment 和 runs。优势是把评估流程标准化、方便比较多次运行的指标和导出分析数据。

▸ 展开 SKILL.md 英文原文

Creates, runs, and analyzes Arize experiments for evaluating and comparing model performance. Covers experiment CRUD, exporting runs, comparing results, and evaluation workflows using the ax CLI. Use when the user mentions create experiment, run experiment, compare models, model performance, evaluate AI, experiment results, benchmark, A/B test models, or measure accuracy.

数据与抓取实验管理模型对比Arize通用

3.7w

Stars

4.6k

Forks

仓库内 Skill

+837

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/github/awesome-copilot/main/skills/arize-experiment/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/github/awesome-copilot/main/skills/arize-experiment/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Arize Experiment Skill

> **`SPACE`** — All `--space` flags and the `ARIZE_SPACE` env var accept a space **name** (e.g., `my-workspace`) or a base64 space **ID** (e.g., `U3BhY2U6...`). Find yours with `ax spaces list`.

## Concepts

- **Experiment** = a named evaluation run against a specific dataset version, containing one run per example
- **Experiment Run** = the result of processing one dataset example -- includes the model output, optional evaluations, and optional metadata
- **Dataset** = a versioned collection of examples; every experiment is tied to a dataset and a specific dataset version
- **Evaluation** = a named metric attached to a run (e.g., `correctness`, `relevance`), with

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有