Локальная LLM для программирования: какие модели помещаются в 8, 16, 32 или 64 GB

Выбор локальной LLM для программирования начинается с двух чисел, а не с рейтинга: сколько памяти у вашей машины и какой контекст вмещает модель. Агенту программирования вроде Claude Code или Cline нужна модель с поддержкой вызовов инструментов, а документация Ollama указывает, что инструментам программирования требуется контекст не менее 64,000 токенов.^[1] Модели ниже представлены в библиотеке Ollama с поддержкой инструментов и отсортированы по размеру скачиваемых 4-битных версий, указанному на 4 ноября 2026 года.^[2]

Мы не ранжируем их по качеству. Нет единого независимого бенчмарка, охватывающего все эти модели на одинаковых агентных задачах, а правильный выбор зависит от вашего репозитория. Мы можем показать, какие модели помещаются в память, какие вмещают достаточный контекст и какие работают быстро при ограниченной пропускной способности памяти.

Локальные LLM для программирования по объёму памяти

Источники: библиотека моделей Ollama и страницы тегов.^[2][3]

Размер загрузки задаёт нижнюю границу, а не полное требование. Кэш контекста растёт с заданным окном, поэтому модели размером 19 GB с контекстом 64K и более нужно больше 19 GB свободной памяти. Ollama предупреждает, что больший контекст увеличивает объём памяти, необходимый для запуска модели.^[1]

Почему длина контекста исключает некоторые модели

Ollama задаёт контекст по объёму памяти GPU, если вы не выбрали его сами: 4K токенов при VRAM менее 24 GiB, 32K при объёме от 24 до 48 GiB и 256K выше этого.^[1] Руководство по Claude Code требует 64K или больше для крупных репозиториев.^[4] Значит, на карте с 16 GB нужно вручную увеличить значение по умолчанию, причём модель вместе с кэшем всё равно должна поместиться.

Важен и собственный потолок модели. У тегов qwen2.5-coder указано контекстное окно 32K, поэтому даже с запасом памяти они не достигнут 64K, рекомендуемых Ollama для агентов программирования.^[3] Они остаются полезными для автодополнения и коротких правок. Для агента, читающего несколько файлов и хранящего длинную историю инструментов, реалистичны модели из таблицы с контекстом от 128K до 488K.

Модели со смесью экспертов работают быстрее при том же объёме памяти

Cohere описывает North Mini Code как «модель Mixture-of-Experts на 30B с 3B активных параметров»: всего около 30 миллиардов параметров, около 3 миллиардов используется для каждого токена.^[2] Тег 30B у Qwen3-Coder содержит тот же суффикс a3b, а тег NVIDIA Nemotron содержит 120b-a12b.^[3] Все веса по-прежнему должны находиться в памяти, поэтому размер загрузки такой же, как у плотной модели аналогичного общего размера. Со скоростью генерации ситуация иная. Для каждого токена читаются только активные эксперты, а скорость генерации токенов локальной машиной обычно ограничивает пропускная способность памяти, а не вычисления.

Эффект велик. На машине с пропускной способностью памяти 273 GB/s чтение 35 GB весов плотной модели 70B на токен ограничивает вывод примерно 8 токенами в секунду, тогда как чтение около 1.5 GB 4-битных весов модели с 3B активных параметров даёт намного более высокий потолок. Мы разбираем этот расчёт в руководстве по характеристикам DGX Spark. У агентов программирования, генерирующих длинные ответы и много вызовов инструментов, эта разница проявляется на каждом ходе.

Подключение локальной модели к агенту программирования

Ollama может запустить Claude Code с локальной моделью через ollama launch claude; для скриптов ollama launch claude --model <model> --yes -- -p "..." пропускает запросы.^[4] Ollama указывает, что вызов инструментов и рассуждения доступны «с совместимыми моделями», поэтому перед подключением проверьте тег инструментов на странице модели.^[4] LM Studio тоже подходит благодаря эндпоинту, совместимому с Anthropic, на порту 1234; наше сравнение Ollama vs LM Studio описывает обе настройки.

В любом инструменте задавайте контекст явно. Модель, незаметно работающая с 4K, будет терять файлы из разговора и казаться хуже, чем она есть.

FAQ

Сколько памяти нужно локальной модели для программирования?

Для агента с контекстом 64K рассчитывайте примерно на 24 GB или больше: модель размером от 17 GB до 19 GB, например qwen3.6:27b или qwen3-coder:30b, плюс место под кэш контекста. Более мелкие модели помещаются в 8 GB или 16 GB, но варианты с потолком 32K лучше подходят для автодополнения, чем для агентов.^[1][3]

Что такое Nemotron 3.5 Super?

Ollama описывает её как «визуально-языковую модель NVIDIA для программирования, рассуждений, использования инструментов и понимания документов». Локальный тег представляет модель на 120B с 12B активных параметров и контекстом 1M токенов; размер 4-битной загрузки составляет 90 GB.^[2][3]

Можно ли запустить локальную LLM для программирования на ноутбуке?

Да, в пределах указанных выше ограничений памяти. Ноутбук с 8 GB или 16 GB может запускать mimo-v2.6:9b или gpt-oss:20b, у которых указаны контекстные окна 256K и 128K, но оставьте место под кэш контекста.^[3]

Когда лучше использовать облачную модель

Локальная LLM для программирования оправданна, когда код не должен покидать машину или когда число ходов делает оборудование дешевле токенов. Если памяти меньше, чем нужно модели с контекстом 256K, или вы хотите сравнить локальную модель с более крупной облачной на той же задаче, облачный API проще. reAPI предоставляет такие модели, как Kimi K3, DeepSeek V4 и GLM-5.2, через один совместимый с OpenAI ключ, поэтому для такого сравнения достаточно изменить модель в одной строке.

Источники

1. Ollama. Context length. Дата обращения: 4 ноября 2026, docs.ollama.com/context-length
2. Ollama. Model library search: tools capability, "coder". Дата обращения: 4 ноября 2026, ollama.com/search?c=tools&q=coder
3. Ollama. Model tag pages: qwen3-coder, qwen3-coder-next, qwen3.6, north-mini-code-1.0, mimo-v2.6, nemotron-3.5-super, qwen2.5-coder and gpt-oss. Дата обращения: 4 ноября 2026, ollama.com/library
4. Ollama. Claude Code integration. Дата обращения: 4 ноября 2026, docs.ollama.com/integrations/claude-code