ref-hallucination-arena

仓库创建 2025年7月8日最近提交 18 天前SkillHot 收录 20 天前

▸ 精选理由

字段级验证准确性，适合引用质量基准测试

▸ 风险提示

会调用外部数据库/API进行核验

这个 Skill 做什么

检验模型引用的文献是否真实并衡量参考文献的幻觉率

把模型给出的学术引用一条条查实，去 Crossref、PubMed、arXiv、DBLP 验证题名、作者、年份、DOI 等字段对不对，算出整体和按学科的“引用幻觉率”。常在你要评测或比对模型推荐论文准不准、检查参考文献质量时用。能解析 BibTeX 输出并支持 ReAct + web search 的工具辅助，能细到年份约束和学科分布，方便定位问题来源。

▸ 展开 SKILL.md 英文原文

Benchmark LLM reference recommendation capabilities by verifying every cited paper against Crossref, PubMed, arXiv, and DBLP. Measures hallucination rate, per-field accuracy (title/author/year/DOI), discipline breakdown, and year constraint compliance. Supports tool-augmented (ReAct + web search) mode. Use when the user asks to evaluate, benchmark, or compare models on academic reference hallucination, literature recommendation quality, or citation accuracy.

研究检索参考文献验证基准测试防幻觉通用

748

Stars

Forks

仓库内 Skill

+40

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/agentscope-ai/OpenJudge/main/skills/ref-hallucination-arena/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/agentscope-ai/OpenJudge/main/skills/ref-hallucination-arena/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Reference Hallucination Arena Skill

Evaluate how accurately LLMs recommend real academic references using the
OpenJudge `RefArenaPipeline`:

1. **Load queries** — from JSON/JSONL dataset
2. **Collect responses** — BibTeX-formatted references from target models
3. **Extract references** — parse BibTeX entries from model output
4. **Verify references** — cross-check against Crossref / PubMed / arXiv / DBLP
5. **Score & rank** — compute verification rate, per-field accuracy, discipline breakdown
6. **Generate report** — Markdown report + visualization charts

## Prerequisites

```bash
# Install OpenJudge
pip install py-openjudge

# Extra dependency for ref_hallucination_arena (chart generati

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有