github/awesome-copilot✦ 精选0°

arize-prompt-optimization

仓库创建 2025年6月12日最近提交 4 小时前SkillHot 收录 20 天前

⬈ GitHub 仓库 ⬈ SKILL.md 原文件 ⬇ Raw 原始文件

▸ 精选理由

把真实信号和评估闭环用于系统化提示优化，适合模型工程师。

▸ 风险提示

需访问生产追踪数据与 ARIZE 凭证，涉及敏感数据。

这个 Skill 做什么

基于生产追踪与评估数据，用数据驱动流程优化 LLM 提示词。

把线上真实请求的 trace 数据拿来找出 LLM 的 prompt 问题，自动抽取 span 里的 prompts，量化表现并用数据驱动去优化和调参（会用到 ax CLI 做自动搜索）。遇到想让 AI 回答更准、修 prompt 或提升输出质量时用，优点是基于生产数据而不是凭感觉调试。

▸ 展开 SKILL.md 英文原文

Optimizes, improves, and debugs LLM prompts using production trace data, evaluations, and annotations. Extracts prompts from spans, gathers performance signal, and runs a data-driven optimization loop using the ax CLI. Use when the user mentions optimize prompt, improve prompt, make AI respond better, improve output quality, prompt engineering, prompt tuning, or system prompt improvement.

研究检索提示优化数据驱动Arize通用

3.7w

Stars

4.6k

Forks

仓库内 Skill

+837

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/github/awesome-copilot/main/skills/arize-prompt-optimization/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/github/awesome-copilot/main/skills/arize-prompt-optimization/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Arize Prompt Optimization Skill

> **`SPACE`** — All `--space` flags and the `ARIZE_SPACE` env var accept a space **name** (e.g., `my-workspace`) or a base64 space **ID** (e.g., `U3BhY2U6...`). Find yours with `ax spaces list`.

## Concepts

### Where Prompts Live in Trace Data

LLM applications emit spans following OpenInference semantic conventions. Prompts are stored in different span attributes depending on the span kind and instrumentation:

| Column | What it contains | When to use |
|--------|-----------------|-------------|
| `attributes.llm.input_messages` | Structured chat messages (system, user, assistant, tool) in role-based format | **Primary source** for chat-based LLM prompt

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有