web-scraper

仓库创建 2026年3月18日最近提交 1 天前SkillHot 收录 5 小时前

▸ 精选理由

高频的数据获取工具，能处理 JS 渲染与表格抽取，适合信息搜集。

▸ 风险提示

会访问外部网站，可能遇到反爬或法律合规问题。

这个 Skill 做什么

抓取网页并提取结构化内容，支持搜索、链接抽取与动态渲染页面抓取。

用 Python 抓取网页、搜索网络并抽取结构化内容，能提取链接、表格或把页面转成干净的 Markdown。需要抓取动态 JavaScript 渲染页面、爬取多页或做定向链接抽取时用。特别支持动态渲染抓取和目标化提取，方便把网页内容拿去分析或导入数据流程。

▸ 展开 SKILL.md 英文原文

Scrape web pages, search the internet, and extract structured content using Python. Use when the user wants to fetch a webpage, search for information online, extract links, or crawl JavaScript-rendered dynamic pages.

数据与抓取网页抓取数据提取动态渲染爬虫通用

Stars

Forks

仓库内 Skill

积累中

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/Await-d/OpenAWork/main/packages/resources/resources/skills/reference/web-scraper/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/Await-d/OpenAWork/main/packages/resources/resources/skills/reference/web-scraper/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Web Scraper

Fetch, search, and extract content from websites.

## When to use this skill

- User asks to fetch or read a webpage / URL
- User wants to search the internet for information
- User needs to extract links, tables, or structured data from a website
- User asks to crawl a JavaScript-rendered (dynamic) page
- User wants web content converted to clean Markdown for analysis

## Scripts overview

| Script             | Purpose                                              | Dependencies                                                  |
| ------------------ | ---------------------------------------------------- | ------------------------------------------------------------- |
| `fetc

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有