· reAPI Team
코딩용 로컬 LLM: 8, 16, 32, 64 GB에 맞는 모델
코딩용 로컬 LLM은 메모리에 들어가고 64K 컨텍스트를 수용해야 합니다. Ollama 라이브러리의 도구 지원 코딩 모델을 다운로드 크기와 컨텍스트별로 정리했습니다.
코딩용 로컬 LLM 선택은 순위표가 아니라 두 숫자에서 시작합니다. 컴퓨터의 메모리 용량과 모델이 수용하는 컨텍스트 크기입니다. Claude Code나 Cline 같은 코딩 에이전트에는 도구 호출을 지원하는 모델이 필요하며, Ollama 문서는 코딩 도구에 최소 64,000토큰의 컨텍스트가 필요하다고 설명합니다.[1] 아래 모델은 Ollama 라이브러리에 도구 지원으로 등재돼 있으며, 2026년 11월 4일 목록에 나온 4비트 버전의 다운로드 크기순으로 정리했습니다.[2]
품질 순위는 매기지 않습니다. 동일한 에이전트 작업에서 모든 모델을 다루는 단일 독립 벤치마크는 없으며, 올바른 선택은 저장소에 따라 달라집니다. 알려 드릴 수 있는 것은 메모리에 맞는 모델, 충분한 컨텍스트를 담는 모델, 제한된 메모리 대역폭에서도 빠르게 실행되는 모델입니다.
메모리 용량별 코딩용 로컬 LLM
| 메모리 용량 | 모델 (Ollama 태그) | 4비트 다운로드 | 컨텍스트 윈도 | 참고 |
|---|---|---|---|---|
| 8 GB 이하 | qwen2.5-coder:7b | 4.7 GB | 32K | 에이전트에 필요한 64K 미만 |
| 8 GB 이하 | mimo-v2.6:9b-q4_K_M | 6.6 GB | 256K | Xiaomi; 텍스트와 이미지 입력 |
| 16 GB 이하 | qwen2.5-coder:14b | 9.0 GB | 32K | 에이전트에 필요한 64K 미만 |
| 16 GB 이하 | gpt-oss:20b | 14 GB | 128K | OpenAI 오픈 웨이트 모델 |
| 32 GB 이하 | qwen3.6:27b-q4_K_M | 17 GB | 256K | 텍스트와 이미지 입력; 코딩 변형은 18 GB |
| 32 GB 이하 | qwen3-coder:30b | 19 GB | 256K | 전체 태그 30b-a3b-q4_K_M |
| 32 GB 이하 | north-mini-code-1.0 | 19 GB | 488K | Cohere; 전체 30B, 활성 3B |
| 32 GB 이하 | qwen2.5-coder:32b | 20 GB | 32K | 에이전트에 필요한 64K 미만 |
| 64 GB 이하 | qwen3-coder-next | 52 GB | 256K | Qwen의 에이전트 코딩 모델 |
| 64 GB 초과 | gpt-oss:120b | 65 GB | 128K | |
| 64 GB 초과 | nemotron-3.5-super:120b-a12b-q4_K_M | 90 GB | 1M | NVIDIA; 활성 12B |
| 64 GB 초과 | qwen3-coder:480b | 290 GB | 256K | 워크스테이션 또는 서버 전용 |
출처: Ollama 모델 라이브러리와 태그 페이지.[2][3]
다운로드 크기는 최소치이지 전체 요구량이 아닙니다. 설정한 윈도에 따라 컨텍스트 캐시가 커지므로, 64K 이상 컨텍스트로 실행하는 19 GB 모델에는 19 GB보다 많은 여유 메모리가 필요합니다. Ollama는 더 큰 컨텍스트가 모델 실행에 필요한 메모리를 늘린다고 경고합니다.[1]
컨텍스트 길이 때문에 일부 모델이 제외되는 이유
직접 선택하지 않으면 Ollama는 GPU 메모리에 따라 컨텍스트를 정합니다. VRAM 24 GiB 미만은 4K 토큰, 24에서 48 GiB 사이는 32K, 그 이상은 256K입니다.[1] Claude Code 가이드는 더 큰 저장소에 64K 이상을 요구합니다.[4] 따라서 16 GB 카드에서는 기본값을 직접 높여야 하며, 모델과 캐시가 여전히 함께 들어가야 합니다.
모델 자체의 상한도 중요합니다. qwen2.5-coder 태그에 나오는 컨텍스트 윈도는 32K이므로, 메모리가 남더라도 Ollama가 코딩 에이전트에 권장하는 64K에 도달할 수 없습니다.[3] 자동 완성과 짧은 편집에는 여전히 유용합니다. 여러 파일을 읽고 긴 도구 이력을 유지하는 에이전트에는 표의 128K부터 488K 모델이 현실적인 선택입니다.
전문가 혼합 모델이 같은 메모리에서 더 빠른 이유
Cohere는 North Mini Code를 “활성 파라미터 3B의 30B 전문가 혼합 모델”로 설명합니다. 전체 약 300억 파라미터 중 토큰마다 약 30억 개를 사용한다는 뜻입니다.[2] Qwen3-Coder의 30B 태그에도 같은 a3b 접미사가 붙으며, NVIDIA Nemotron의 태그는 120b-a12b입니다.[3] 모든 가중치는 여전히 메모리에 있어야 하므로, 다운로드 크기는 전체 규모가 비슷한 밀집 모델과 같습니다. 생성 속도는 다릅니다. 각 토큰은 활성 전문가만 읽으며, 로컬 컴퓨터의 토큰 생성 속도는 보통 연산 성능보다 메모리 대역폭에 제한됩니다.
영향은 큽니다. 메모리 대역폭이 273 GB/s인 컴퓨터에서 토큰마다 70B 밀집 가중치 35 GB를 읽으면 출력은 초당 약 8토큰으로 제한됩니다. 반면 활성 3B 모델의 4비트 가중치 약 1.5 GB를 읽으면 상한은 훨씬 높아집니다. DGX Spark 사양 가이드에서 이 계산을 자세히 다룹니다. 긴 출력과 많은 도구 호출을 생성하는 코딩 에이전트에서는 이 차이가 매 턴 나타납니다.
로컬 모델을 코딩 에이전트에 연결하기
Ollama는 ollama launch claude로 로컬 모델에 연결된 Claude Code를 시작할 수 있습니다. 스크립트에서는 ollama launch claude --model <model> --yes -- -p "..."로 확인 단계를 건너뜁니다.[4] Ollama는 “호환 모델에서” 도구 호출과 사고를 사용할 수 있다고 명시하므로 연결 전에 모델 페이지의 도구 태그를 확인하세요.[4] LM Studio도 포트 1234의 Anthropic 호환 엔드포인트로 작동합니다. Ollama vs LM Studio 비교에서 두 설정을 다룹니다.
어느 도구든 컨텍스트를 명시적으로 설정하세요. 알리지 않고 4K로 실행되는 모델은 대화에서 파일을 놓치며 실제보다 성능이 나빠 보입니다.
FAQ
로컬 코딩 모델에 메모리가 얼마나 필요한가요?
64K 컨텍스트의 에이전트라면 약 24 GB 이상을 계획하세요. qwen3.6:27b나 qwen3-coder:30b 같은 17 GB에서 19 GB 모델에 컨텍스트 캐시 공간을 더한 양입니다. 더 작은 모델은 8 GB에서 16 GB에 들어가지만, 상한이 32K인 모델은 에이전트보다 자동 완성에 적합합니다.[1][3]
Nemotron 3.5 Super란 무엇인가요?
Ollama는 이를 “코딩, 추론, 도구 사용, 문서 이해를 위한 NVIDIA의 비전 언어 모델”로 소개합니다. 로컬 태그는 활성 파라미터 12B와 1M 토큰 컨텍스트를 갖춘 120B 모델이며, 4비트 다운로드 크기는 90 GB입니다.[2][3]
노트북에서 코딩용 로컬 LLM을 실행할 수 있나요?
네, 위의 메모리 한도 안에서 가능합니다. 8 GB에서 16 GB 노트북은 컨텍스트 윈도가 각각 256K와 128K로 나오는 mimo-v2.6:9b나 gpt-oss:20b를 실행할 수 있지만, 컨텍스트 캐시 공간을 남겨 두세요.[3]
호스팅 모델을 대신 사용할 때
코드가 컴퓨터 밖으로 나갈 수 없거나, 하드웨어가 토큰보다 저렴해질 만큼 많은 턴을 실행한다면 코딩용 로컬 LLM은 가치가 있습니다. 메모리 상한이 256K 컨텍스트 모델의 요구량보다 낮거나, 같은 작업에서 로컬 모델과 더 큰 호스팅 모델을 비교하고 싶다면 호스팅 API가 간단합니다. reAPI는 Kimi K3, DeepSeek V4, GLM-5.2 같은 모델을 하나의 OpenAI 호환 키로 제공하므로, 모델 한 줄만 바꿔 비교할 수 있습니다.
참고 자료
- Ollama. Context length. 2026년 11월 4일 확인, 출처: docs.ollama.com/context-length
- Ollama. Model library search: tools capability, "coder". 2026년 11월 4일 확인, 출처: ollama.com/search?c=tools&q=coder
- Ollama. Model tag pages: qwen3-coder, qwen3-coder-next, qwen3.6, north-mini-code-1.0, mimo-v2.6, nemotron-3.5-super, qwen2.5-coder and gpt-oss. 2026년 11월 4일 확인, 출처: ollama.com/library
- Ollama. Claude Code integration. 2026년 11월 4일 확인, 출처: docs.ollama.com/integrations/claude-code