web-scraping

仓库创建 2025年12月19日最近提交 20 天前SkillHot 收录 20 天前

▸ 精选理由

能处理复杂动态站点，多页爬取适合大规模数据采集。

▸ 风险提示

抓取外部网站可能触及合规或被封禁风险

这个 Skill 做什么

使用浏览器自动化抓取网页并提取结构化数据，支持动态渲染与分页。

用浏览器自动化抓取网页并把内容抽成结构化数据，能应对 JavaScript 渲染、分页和多页采集。需要批量抓取产品、文章或目录并处理登录、翻页时用。实现上跑在 Python 自动化流程中，支持持久化 cookies/login 和异步操作，方便拿到干净可用的数据。

▸ 展开 SKILL.md 英文原文

Extract structured data from websites, scrape page content, and collect information across multiple pages. Trigger when the user asks to: extract data from a website, scrape a page, collect information from URLs, pull content from web pages, gather data across multiple pages, or download page content.

数据与抓取网页爬取JS 渲染分页处理通用

235

Stars

Forks

仓库内 Skill

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/billy-enrizky/openbrowser-ai/main/plugin/skills/web-scraping/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/billy-enrizky/openbrowser-ai/main/plugin/skills/web-scraping/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Web Scraping

Extract structured data from websites using Python code execution with browser automation functions. Handles JavaScript-rendered content, pagination, and multi-page scraping.

All code runs via `openbrowser-ai -c`. The daemon starts automatically and persists variables across calls. All browser functions are async -- use `await`.

The CLI daemon also persists cookies and login state in `~/.config/openbrowser/profiles/daemon/storage_state.json`, so authenticated sessions can be reused across later runs.

## Setup

Before running, verify openbrowser-ai is installed:

```bash
openbrowser-ai --help
```

If not found, install:

```bash
# macOS/Linux
curl -fsSL https://raw.githubus

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有