dask

仓库创建 2025年10月20日最近提交 8 小时前SkillHot 收录 20 天前

▸ 精选理由

对需扩展到超内存或集群并行的数据处理任务能显著提升效率。

▸ 风险提示

可能需集群权限与高资源，部署和调度成本较高。

这个 Skill 做什么

为 pandas/NumPy 工作流提供并行与分布式计算能力以扩展内存和性能。

帮你把现有的 pandas/NumPy 代码扩展到超过内存或分布式集群跑，能把大表切成并行任务处理，加速文件批量处理和分布式训练。用在数据量超出单机内存或要用多核/多机提速的时候。特点是能无缝接入现有 pandas 工作流，支持 out-of-core 与集群计算。

▸ 展开 SKILL.md 英文原文

Distributed computing for larger-than-RAM pandas/NumPy workflows. Use when you need to scale existing pandas/NumPy code beyond memory or across clusters. Best for parallel file processing, distributed ML, integration with existing pandas code. For out-of-core analytics on single machine use vaex; for in-memory speed use polars.

开发编程分布式计算并行处理大数据通用

3.2w

Stars

3.2k

Forks

仓库内 Skill

+1.6k

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/K-Dense-AI/scientific-agent-skills/main/skills/dask/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/K-Dense-AI/scientific-agent-skills/main/skills/dask/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Dask

## Overview

Dask is a Python library for parallel and distributed computing that enables three critical capabilities:
- **Larger-than-memory execution** on single machines for data exceeding available RAM
- **Parallel processing** for improved computational speed across multiple cores
- **Distributed computation** supporting terabyte-scale datasets across multiple machines

Dask scales from laptops (processing ~100 GiB) to clusters (processing ~100 TiB) while maintaining familiar Python APIs.

**Current upstream:** dask **2026.3.0** (PyPI, March 2026). Docs: [docs.dask.org](https://docs.dask.org/en/stable/). Since **2025.1.0**, the expression-based DataFrame API with query planning

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有