· reAPI Team
本地编程大模型怎么选：8、16、32 或 64 GB 能装下哪些模型
本地编程大模型既要放得进内存，也要支持 64K 上下文。本文按下载大小和上下文整理 Ollama 模型库中支持工具调用的编程模型。
选择本地编程大模型，应先看两个数字，而非排行榜：机器有多少内存，模型能容纳多长的上下文。Claude Code 或 Cline 这样的编程智能体需要支持工具调用的模型，Ollama 文档表示，编程工具至少需要 64,000 token 的上下文。[1] 下列模型在 Ollama 模型库中均标有工具支持，按 2026 年 11 月 4 日所列 4 位版本的下载大小排序。[2]
我们不按质量给它们排名。没有一项独立基准测试在相同智能体任务上覆盖所有这些模型，合适的选择也取决于你的仓库。我们能提供的是：哪些装得下、哪些上下文足够，以及哪些在有限内存带宽下运行较快。
按内存预算选择本地编程大模型
| 内存预算 | 模型（Ollama 标签） | 4 位下载大小 | 上下文窗口 | 备注 |
|---|---|---|---|---|
| 不超过 8 GB | qwen2.5-coder:7b | 4.7 GB | 32K | 低于智能体所需的 64K |
| 不超过 8 GB | mimo-v2.6:9b-q4_K_M | 6.6 GB | 256K | Xiaomi；文本和图像输入 |
| 不超过 16 GB | qwen2.5-coder:14b | 9.0 GB | 32K | 低于智能体所需的 64K |
| 不超过 16 GB | gpt-oss:20b | 14 GB | 128K | OpenAI 开放权重模型 |
| 不超过 32 GB | qwen3.6:27b-q4_K_M | 17 GB | 256K | 文本和图像输入；编程变体为 18 GB |
| 不超过 32 GB | qwen3-coder:30b | 19 GB | 256K | 完整标签为 30b-a3b-q4_K_M |
| 不超过 32 GB | north-mini-code-1.0 | 19 GB | 488K | Cohere；总参数 30B，激活参数 3B |
| 不超过 32 GB | qwen2.5-coder:32b | 20 GB | 32K | 低于智能体所需的 64K |
| 不超过 64 GB | qwen3-coder-next | 52 GB | 256K | Qwen 的智能体编程模型 |
| 超过 64 GB | gpt-oss:120b | 65 GB | 128K | |
| 超过 64 GB | nemotron-3.5-super:120b-a12b-q4_K_M | 90 GB | 1M | NVIDIA；激活参数 12B |
| 超过 64 GB | qwen3-coder:480b | 290 GB | 256K | 仅适用于工作站或服务器 |
下载大小只是下限，不是完整需求。上下文缓存会随着设置的窗口增大，因此一个 19 GB 的模型在运行 64K 或更长上下文时，需要超过 19 GB 的可用内存。Ollama 提醒，更长上下文会增加模型运行所需的内存。[1]
为什么上下文长度会排除一些模型
除非自行选择，否则 Ollama 会根据 GPU 显存设置上下文：VRAM 低于 24 GiB 时为 4K token，24 到 48 GiB 时为 32K，再高则为 256K。[1] 其 Claude Code 指南要求较大仓库使用 64K 或更长上下文。[4] 因此，使用 16 GB 显卡时，你需要手动调高默认值，同时确保模型及其缓存仍能装下。
模型自身的上限也很重要。qwen2.5-coder 各标签列出的上下文窗口为 32K，因此即使内存充裕，也无法达到 Ollama 为编程智能体推荐的 64K。[3] 它们仍适合自动补全和简短编辑。对于需要读取多个文件并保留较长工具历史的智能体，表中 128K 到 488K 的模型才是现实选择。
混合专家模型在相同内存条件下运行更快
Cohere 将 North Mini Code 描述为“拥有 3B 激活参数的 30B 混合专家模型”：总计约 300 亿参数，每个 token 使用约 30 亿。[2] Qwen3-Coder 的 30B 标签带有相同的 a3b 后缀，NVIDIA 的 Nemotron 标签则写为 120b-a12b。[3] 所有权重仍需驻留内存，因此下载大小与总参数量相近的稠密模型相同。但生成速度不同。每个 token 只读取激活的专家，而本地机器生成 token 的速度通常受限于内存带宽，而非计算能力。
影响很大。在内存带宽为 273 GB/s 的机器上，如果每个 token 读取 35 GB 的 70B 稠密模型权重，输出上限约为每秒 8 token；而一个激活参数为 3B 的模型，读取约 1.5 GB 的 4 位权重，上限就高得多。我们的 DGX Spark 配置参数指南详细列出了计算过程。编程智能体会生成长输出并多次调用工具，这种差异在每一轮中都会体现。
将本地模型连接到编程智能体
Ollama 可以通过 ollama launch claude 启动连接本地模型的 Claude Code；脚本可用 ollama launch claude --model <model> --yes -- -p "..." 跳过提示。[4] Ollama 将工具调用和思考能力列为“兼容模型可用”，因此连接前应检查模型页是否有工具标签。[4] LM Studio 也可以，通过端口 1234 上兼容 Anthropic 的接口连接；我们的 Ollama 与 LM Studio 对比介绍了两种配置方式。
无论使用哪款工具，都应显式设置上下文。模型若在你不知情时以 4K 运行，就会从对话中丢失文件，表现得比实际能力更差。
FAQ
本地编程模型需要多少内存？
对于使用 64K 上下文的智能体，应计划约 24 GB 或更多内存：例如 qwen3.6:27b 或 qwen3-coder:30b 这样的 17 GB 到 19 GB 模型，再加上上下文缓存余量。较小模型能放入 8 GB 到 16 GB，但上限为 32K 的模型更适合补全，而非智能体。[1][3]
Nemotron 3.5 Super 是什么？
Ollama 将其列为“NVIDIA 用于编程、推理、工具使用和文档理解的视觉语言模型”。本地标签对应 120B 模型，激活参数为 12B，上下文为 1M-token；其 4 位版本下载大小为 90 GB。[2][3]
可以在笔记本上运行本地编程大模型吗？
可以，但要遵守上述内存限制。8 GB 到 16 GB 的笔记本可以运行 mimo-v2.6:9b 或 gpt-oss:20b，它们列出的上下文窗口分别为 256K 和 128K，但需要为上下文缓存预留空间。[3]
什么时候改用托管模型
当代码不能离开本机，或运行轮次足够多、硬件成本低于 token 成本时，本地编程大模型值得使用。如果内存上限达不到 256K 上下文模型所需容量，或者希望在同一任务上比较本地模型与更大的托管模型，托管 API 更简单。reAPI 通过一个兼容 OpenAI 的密钥提供 Kimi K3、DeepSeek V4 和 GLM-5.2 等模型，进行这种比较只需改一行模型设置。
参考资料
- Ollama. Context length. 2026 年 11 月 4 日获取自 docs.ollama.com/context-length
- Ollama. Model library search: tools capability, "coder". 2026 年 11 月 4 日获取自 ollama.com/search?c=tools&q=coder
- Ollama. Model tag pages: qwen3-coder, qwen3-coder-next, qwen3.6, north-mini-code-1.0, mimo-v2.6, nemotron-3.5-super, qwen2.5-coder and gpt-oss. 2026 年 11 月 4 日获取自 ollama.com/library
- Ollama. Claude Code integration. 2026 年 11 月 4 日获取自 docs.ollama.com/integrations/claude-code