modal-serverless-gpu

仓库创建 2025年11月3日最近提交 1 个月前SkillHot 收录 21 天前

▸ 精选理由

无需管理底层基础设施，适合快速部署按需 GPU 推理与批处理任务。

▸ 风险提示

依赖第三方服务并可能产生费用与外部网络调用

这个 Skill 做什么

介绍在 Modal 无服务器平台上运行 GPU 工作负载并部署自动扩缩的模型 API。

能让你在 Modal 的无服务器平台上按需跑 GPU 任务，无需管机器，适合部署会自动扩缩的模型 API 或跑批量训练/推理。用在想按秒计费、避免空闲成本或快速上线模型 API 的场景。特点是自动扩缩、按需付费、免运维机器管理，省心又灵活。

▸ 展开 SKILL.md 英文原文

Serverless GPU cloud platform for running ML workloads. Use when you need on-demand GPU access without infrastructure management, deploying ML models as APIs, or running batch jobs with automatic scaling.

垂直行业Serverless GPU自动扩缩模型部署通用

1.1w

Stars

819

Forks

仓库内 Skill

+732

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/09-infrastructure/modal/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/09-infrastructure/modal/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# Modal Serverless GPU

Comprehensive guide to running ML workloads on Modal's serverless GPU cloud platform.

## When to use Modal

**Use Modal when:**
- Running GPU-intensive ML workloads without managing infrastructure
- Deploying ML models as auto-scaling APIs
- Running batch processing jobs (training, inference, data processing)
- Need pay-per-second GPU pricing without idle costs
- Prototyping ML applications quickly
- Running scheduled jobs (cron-like workloads)

**Key features:**
- **Serverless GPUs**: T4, L4, A10G, L40S, A100, H100, H200, B200 on-demand
- **Python-native**: Define infrastructure in Python code, no YAML
- **Auto-scaling**: Scale to zero, scale to 100+ GPUs instantly

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有