trafilatura-research

仓库创建 2026年7月26日最近提交 3 天前SkillHot 收录 2 天前

▸ 精选理由

快速把杂乱网页转成干净可检索的研究语料

▸ 风险提示

会联网抓取页面，注意目标站点许可与速率限制

这个 Skill 做什么

用 Trafilatura 提取网页文章文本、元数据与 Markdown

用 Trafilatura 快速把网页文章抽取成干净的正文、元数据和 Markdown，方便做语料整理、文献清洗或后续摘要检索。适合需要批量抓取公开文章并准备成研究用源码或知识库的时候使用。优势是速度快、能保留元信息并生成 Markdown，流程里还会检查 trafilatura 是否已安装。

▸ 展开 SKILL.md 英文原文

Use Trafilatura for fast extraction of clean article text, metadata, and Markdown from web pages. Best for research corpora, article cleanup, and preparing sources for summaries or retrieval.

研究检索网页抽取文本清洗语料通用

Stars

Forks

仓库内 Skill

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/fullREFIT/skills/main/skills/trafilatura-research/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/fullREFIT/skills/main/skills/trafilatura-research/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Trafilatura Research Extraction

## When to use

Use this skill when the task needs clean article text, metadata, or Markdown from public pages, especially for research briefs, corpora, and source cleanup.

## Workflow

1. Check whether `trafilatura` is installed with `scripts/trafilatura_check.py`.
2. Use known URLs from search, last30days, GitHub, or user-provided sources.
3. Extract main text and metadata.
4. Preserve the source URL and extraction date.
5. If extraction fails or returns boilerplate, try Crawl4AI or Firecrawl next.

## Strengths

- Fast and lightweight.
- Good article extraction quality.
- Works from Python or CLI.
- Useful for batch-cleaning research sources.

## Caveat

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有