nnsight-remote-interpretability

仓库创建 2025年11月3日最近提交 1 个月前SkillHot 收录 21 天前

▸ 精选理由

支持同一套代码在本地与远程大模型上复现实验，便于规模扩展。

▸ 风险提示

远程执行会传输模型与数据，存在隐私与凭据泄露风险。

这个 Skill 做什么

用 nnsight 在本地或通过 NDIF 远程运行对 PyTorch 模型做可解释性分析。

nnsight 可以透明地查看和操控任何 PyTorch 模型的内部状态，并能把同一套代码在本地跑小模型或通过 NDIF 在远程跑 70B+ 大模型复用。需要在没有本地 GPU 或要做大模型可解释性/干预实验时用它。优势是无缝本地↔远程执行，方便做细粒度的解释性分析和实验操控。

▸ 展开 SKILL.md 英文原文

Provides guidance for interpreting and manipulating neural network internals using nnsight with optional NDIF remote execution. Use when needing to run interpretability experiments on massive models (70B+) without local GPU resources, or when working with any PyTorch architecture.

研究检索机制可解释性远程 NDIFPyTorch模型内省通用

1.1w

Stars

817

Forks

仓库内 Skill

+704

7 日增星

安装 / 使用

给你的 Agent 一句话（通用）

帮我安装这个 skill：https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/04-mechanistic-interpretability/nnsight/SKILL.md

或 curl 直取 SKILL.md

curl -fsSL "https://raw.githubusercontent.com/Orchestra-Research/AI-Research-SKILLs/main/04-mechanistic-interpretability/nnsight/SKILL.md"

SKILL.MD 节选查看完整文件 ↗

# nnsight: Transparent Access to Neural Network Internals

nnsight (/ɛn.saɪt/) enables researchers to interpret and manipulate the internals of any PyTorch model, with the unique capability of running the same code locally on small models or remotely on massive models (70B+) via NDIF.

**GitHub**: [ndif-team/nnsight](https://github.com/ndif-team/nnsight) (730+ stars)
**Paper**: [NNsight and NDIF: Democratizing Access to Foundation Model Internals](https://arxiv.org/abs/2407.14561) (ICLR 2025)

## Key Value Proposition

**Write once, run anywhere**: The same interpretability code works on GPT-2 locally or Llama-3.1-405B remotely. Just toggle `remote=True`.

```python
# Local execution (small

via SKILL·HOT · 数据来自 GitHub 公开信息 · 原文版权归作者所有