gemma4-local-deploy
仓库创建 2025年12月9日最近提交 10 天前SkillHot 收录 21 天前
▸ 精选理由
一站式本地模型部署与量化/长上下文配置向导。
▸ 风险提示
会下载外部模型并运行安装脚本，需较高权限与磁盘资源。
这个 Skill 做什么
在 Apple Silicon 本机部署 Gemma 4 12B 并暴露本地模型服务。
在 Mac（Apple Silicon）上一键把 Gemma 4 12B 部署成本地模型服务，自动处理 llama.cpp 安装/升级、下载 GGUF 量化模型，并用 llama-server 或 Ollama 暴露 OpenAI-compatible API。适合想把大模型放自己机器跑、需要长上下文（64K/128K/256K QAT）或想对比不同量化方案时使用。会配置 tmux 后台运行并做健康检查、问答验收和资源占用检查，遇到常见故障也给出排查建议。
▸ 展开 SKILL.md 英文原文
在本机 Mac 或 Apple Silicon 上部署 Gemma 4 12B。本地安装/升级 llama.cpp，下载 GGUF 量化模型，用 llama-server 暴露 OpenAI-compatible API，或用 Ollama 暴露本地模型服务；按用户需求在默认 Q4_K_M、64K/128K 长上下文、QAT Q4_0 @ 256K、左右对比演示之间选择，配置 tmux 后台运行，验证健康检查、问答接口、资源占用和常见故障。当用户说部署 Gemma 4、Gemma 4 12B、本地大模型、长上下文、QAT、量化、llama-server、Ollama、GGUF、Mac 本地模型服务时使用。
240
Stars
23
Forks
40
仓库内 Skill
+8
7 日增星
安装 / 使用
给你的 Agent 一句话（通用）
帮我安装这个 skill：https://raw.githubusercontent.com/majiayu000/spellbook/main/skills/gemma4-local-deploy/SKILL.md或 curl 直取 SKILL.md
curl -fsSL "https://raw.githubusercontent.com/majiayu000/spellbook/main/skills/gemma4-local-deploy/SKILL.md"SKILL.MD 节选查看完整文件 ↗
# Gemma 4 12B 本地部署 把 Gemma 4 12B 的 GGUF 版本部署成本机模型服务。默认使用 `llama.cpp` / `llama-server`、Apple Metal、`Q4_K_M` 和 `tmux`，只监听 loopback；用户明确要求 QAT、256K、对比演示或 Ollama 时才切换路线。 ## Operating Contract - Direct actions: 读取本机硬件、磁盘、端口、进程和模型缓存；在用户已要求本地部署时，安装或升级明确的软件包、下载选定模型、创建专用模型目录和 tmux 会话，并只绑定 `127.0.0.1`。 - Escalate before: 停止不属于本 Skill 的现有进程、覆盖已有模型或配置、删除用户数据、监听公网地址、改变防火墙，或下载用户未选择的大型模型变体。 - Evidence-backed pushback: 如果用户指定的模型标签、上下文、内存预算或本机能力与当前可验证状态冲突，先展示命令输出并提出可运行的 profile，不伪造支持状态。 - Feedback loop: 现状检查 → 选择并复述 profile → 执行一条部署路线 → 当前会话完成健康、模型和聊天验证 → 报告端点、资源与限制。 ## 默认选择 - 默认模型仓库：`ggml-org/gemma-4-12B-it-GGUF` - 默认量化：`Q4_K_M` - 默认模型名：`gemma-4-12b-it` - 默认端点：`http://127.0.0.1:8080` - 默认上下文：`32768` -
via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有