· reAPI Team
Lokales LLM zum Programmieren: Modelle für 8, 16, 32 oder 64 GB
Ein lokales LLM zum Programmieren muss in Ihren Speicher passen und 64K Kontext bieten. Coding-Modelle mit Tool-Unterstützung aus Ollama, nach Downloadgröße und Kontext.
Die Wahl eines lokalen LLM zum Programmieren beginnt mit zwei Zahlen, nicht mit einer Rangliste: wie viel Speicher Ihr Rechner hat und wie viel Kontext das Modell aufnehmen kann. Ein Coding-Agent wie Claude Code oder Cline braucht ein Modell, das Tool-Aufrufe unterstützt. Laut Ollamas Dokumentation benötigen Coding-Tools einen Kontext von mindestens 64,000 Tokens.[1] Die folgenden Modelle sind in Ollamas Modellbibliothek mit Tool-Unterstützung aufgeführt, sortiert nach der Downloadgröße ihrer 4-Bit-Versionen, Stand 4. November 2026.[2]
Wir erstellen keine Rangliste nach Qualität. Es gibt keinen einzelnen unabhängigen Benchmark, der alle diese Modelle bei denselben Agentenaufgaben abdeckt, und die richtige Wahl hängt von Ihrem Repository ab. Wir können jedoch aufzeigen, welche Modelle in den Speicher passen, welche genug Kontext aufnehmen und welche bei begrenzter Speicherbandbreite schnell laufen.
Lokales LLM zum Programmieren nach Speicherbudget
| Speicherbudget | Modell (Ollama-Tag) | 4-Bit-Download | Kontextfenster | Hinweise |
|---|---|---|---|---|
| Bis zu 8 GB | qwen2.5-coder:7b | 4.7 GB | 32K | Unter den 64K, die Agenten benötigen |
| Bis zu 8 GB | mimo-v2.6:9b-q4_K_M | 6.6 GB | 256K | Xiaomi; Text- und Bildeingabe |
| Bis zu 16 GB | qwen2.5-coder:14b | 9.0 GB | 32K | Unter den 64K, die Agenten benötigen |
| Bis zu 16 GB | gpt-oss:20b | 14 GB | 128K | Open-Weight-Modell von OpenAI |
| Bis zu 32 GB | qwen3.6:27b-q4_K_M | 17 GB | 256K | Text- und Bildeingabe; eine Coding-Variante ist 18 GB groß |
| Bis zu 32 GB | qwen3-coder:30b | 19 GB | 256K | Vollständiger Tag 30b-a3b-q4_K_M |
| Bis zu 32 GB | north-mini-code-1.0 | 19 GB | 488K | Cohere; 30B insgesamt, 3B aktiv |
| Bis zu 32 GB | qwen2.5-coder:32b | 20 GB | 32K | Unter den 64K, die Agenten benötigen |
| Bis zu 64 GB | qwen3-coder-next | 52 GB | 256K | Qwens Modell für agentisches Programmieren |
| Über 64 GB | gpt-oss:120b | 65 GB | 128K | |
| Über 64 GB | nemotron-3.5-super:120b-a12b-q4_K_M | 90 GB | 1M | NVIDIA; 12B aktiv |
| Über 64 GB | qwen3-coder:480b | 290 GB | 256K | Nur Workstation oder Server |
Quellen: Ollama-Modellbibliothek und Tag-Seiten.[2][3]
Die Downloadgröße ist eine Untergrenze, nicht der vollständige Speicherbedarf. Der Kontext-Cache wächst mit dem eingestellten Fenster. Ein 19-GB-Modell mit 64K oder mehr Kontext benötigt daher mehr als 19 GB freien Speicher. Ollama weist darauf hin, dass ein größerer Kontext den Speicherbedarf zum Ausführen eines Modells erhöht.[1]
Warum die Kontextlänge manche Modelle ausschließt
Wenn Sie keinen Kontext festlegen, bestimmt Ollama ihn anhand Ihres GPU-Speichers: 4K Tokens bei weniger als 24 GiB VRAM, 32K zwischen 24 und 48 GiB und 256K darüber.[1] Der Leitfaden für Claude Code verlangt bei größeren Repositories 64K oder mehr.[4] Bei einer 16-GB-Karte müssen Sie den Standardwert also manuell erhöhen, und Modell samt Cache müssen weiterhin in den Speicher passen.
Auch die Obergrenze des Modells selbst ist entscheidend. Die Tags von qwen2.5-coder weisen ein Kontextfenster von 32K aus. Selbst mit freiem Speicher können sie daher die 64K nicht erreichen, die Ollama für Coding-Agenten empfiehlt.[3] Für Autovervollständigung und kurze Änderungen bleiben sie nützlich. Für einen Agenten, der mehrere Dateien liest und einen langen Verlauf von Tool-Aufrufen behält, sind die Modelle mit 128K bis 488K aus der Tabelle die realistischen Optionen.
Mixture-of-Experts-Modelle laufen mit demselben Speicher schneller
Cohere beschreibt North Mini Code als „ein 30B-Mixture-of-Experts-Modell mit 3B aktiven Parametern“: etwa 30 Milliarden Parameter insgesamt, von denen etwa 3 Milliarden für jedes Token genutzt werden.[2] Der 30B-Tag von Qwen3-Coder trägt dasselbe Suffix a3b, und der Nemotron-Tag von NVIDIA lautet 120b-a12b.[3] Alle Gewichte müssen weiterhin im Speicher liegen, daher ist die Downloadgröße dieselbe wie bei einem dichten Modell ähnlicher Gesamtgröße. Bei der Generierungsgeschwindigkeit sieht es anders aus. Für jedes Token werden nur die aktiven Experten gelesen, und gewöhnlich begrenzt die Speicherbandbreite, nicht die Rechenleistung, wie schnell ein lokaler Rechner Tokens erzeugt.
Der Effekt ist groß. Auf einem Rechner mit 273 GB/s Speicherbandbreite begrenzt das Lesen von 35 GB dichter 70B-Gewichte pro Token die Ausgabe auf etwa 8 Tokens pro Sekunde. Das Lesen von etwa 1.5 GB an 4-Bit-Gewichten für ein Modell mit 3B aktiven Parametern erlaubt dagegen eine deutlich höhere Obergrenze. Die Rechnung erläutern wir in unserem Leitfaden zu den technischen Daten von DGX Spark. Bei Coding-Agenten, die lange Ausgaben und viele Tool-Aufrufe erzeugen, macht sich dieser Unterschied bei jedem Durchlauf bemerkbar.
Ein lokales Modell mit einem Coding-Agenten verbinden
Ollama kann Claude Code mit ollama launch claude gegen ein lokales Modell starten; für Skripte überspringt ollama launch claude --model <model> --yes -- -p "..." die Rückfragen.[4] Ollama führt Tool-Aufrufe und Thinking als „mit kompatiblen Modellen“ verfügbar auf. Prüfen Sie daher vor dem Verbinden, ob die Modellseite den Tools-Tag trägt.[4] LM Studio funktioniert ebenfalls, über seinen Anthropic-kompatiblen Endpunkt auf Port 1234; unser Vergleich Ollama vs. LM Studio behandelt beide Konfigurationen.
Stellen Sie den Kontext in beiden Tools ausdrücklich ein. Ein Modell, das unbemerkt mit 4K läuft, verliert Dateien aus der Konversation und wirkt schlechter, als es ist.
FAQ
Wie viel Speicher brauche ich für ein lokales Coding-Modell?
Planen Sie für einen Agenten mit 64K Kontext ungefähr 24 GB oder mehr ein: ein 17 GB bis 19 GB großes Modell wie qwen3.6:27b oder qwen3-coder:30b plus Platz für den Kontext-Cache. Kleinere Modelle passen in 8 GB bis 16 GB. Diejenigen mit einer Obergrenze von 32K eignen sich jedoch besser für Vervollständigungen als für Agenten.[1][3]
Was ist Nemotron 3.5 Super?
Ollama beschreibt es als „NVIDIAs Vision-Language-Modell für Programmierung, Reasoning, Tool-Nutzung und Dokumentverständnis“. Der lokale Tag bezeichnet ein 120B-Modell mit 12B aktiven Parametern und einem Kontext von 1M Tokens; sein 4-Bit-Download ist 90 GB groß.[2][3]
Kann ich ein lokales LLM zum Programmieren auf einem Laptop ausführen?
Ja, innerhalb der oben genannten Speichergrenzen. Ein Laptop mit 8 GB bis 16 GB kann mimo-v2.6:9b oder gpt-oss:20b ausführen, die mit Kontextfenstern von 256K beziehungsweise 128K aufgeführt sind. Lassen Sie jedoch Platz für den Kontext-Cache.[3]
Wann sich stattdessen ein gehostetes Modell eignet
Ein lokales LLM zum Programmieren lohnt sich, wenn Ihr Code den Rechner nicht verlassen darf oder Sie so viele Durchläufe ausführen, dass Hardware günstiger ist als Tokens. Wenn Ihr maximaler Speicher unter dem Bedarf eines Modells mit 256K Kontext liegt oder Sie ein lokales Modell mit einem größeren gehosteten Modell bei derselben Aufgabe vergleichen möchten, ist eine gehostete API einfacher. reAPI stellt Modelle wie Kimi K3, DeepSeek V4 und GLM-5.2 über einen OpenAI-kompatiblen Schlüssel bereit. Für diesen Vergleich genügt damit eine Änderung des Modells in einer Zeile.
Quellen
- Ollama. Context length. Abgerufen am 4. November 2026 von docs.ollama.com/context-length
- Ollama. Model library search: tools capability, "coder". Abgerufen am 4. November 2026 von ollama.com/search?c=tools&q=coder
- Ollama. Model tag pages: qwen3-coder, qwen3-coder-next, qwen3.6, north-mini-code-1.0, mimo-v2.6, nemotron-3.5-super, qwen2.5-coder and gpt-oss. Abgerufen am 4. November 2026 von ollama.com/library
- Ollama. Claude Code integration. Abgerufen am 4. November 2026 von docs.ollama.com/integrations/claude-code