信じられない：Kimi K3 — 2.8兆パラメータを4GB GPUで実行

Kimi K3を4GB GPUで実行できるのか？「ローカルで実行する」という一般的な意味ではできません。 Kimi K3のネイティブMXFP4重みは、メタデータと実行時オーバーヘッドの前に約1.4TBが必要です。4GBカードは、ソフトウェアがディスクまたはホストメモリからモデルの小さな部分をストリーミングする場合のみ、小さなステージングデバイスとしてのみ機能できます。技術的には興味深いことですが、Kimi K3を4GBのVRAMにロードするのと同じではなく、現在のメインストリームなKimi K3レシピでは実用的なセットアップになりません。^[1][2]

この区別が重要なのは、3つの真実がしばしば1つの誤った結論に組み合わされるからです。Kimi K3はスパースで、トークンあたり104Bのパラメータのみがアクティブであり、レイヤーオフロードツールはより小さい70Bモデルを4GB GPUで実行してきました。しかし、これらの事実はどれも2.8Tチェックポイントを4GBに適合させるわけではありません。このガイドはメモリ計算を実行し、オフロードが実際に何を変えるかを説明し、現在のソフトウェアサポートを確認し、今日機能する低ハードウェアルートを示します。

TL;DR

• Kimi K3は本当に2.8T個の合計パラメータを持っています。 これは、トークンあたり104Bのアクティブパラメータ、93層、896個の専門家、および1Mトークンのコンテキストウィンドウを持つスパースMixture-of-Expertsモデルです。^[1]
• MXFP4はそれを小さくしません。 パラメータあたり4ビットは、スケール、メタデータ、非4ビットテンソル、および実行時状態の前に、約1.4 TBの10進数または1.27 TiBの生重みフロアを配置します。
• 104Bアクティブはコンピュート値であり、ストレージ値ではありません。 ルーターは次のトークンで異なる専門家を選択できるため、すべての専門家はどこかでアクセス可能なままである必要があります。
• 4GB GPUはステージングエリアのみです。 ディスクまたはCPUオフロードはモデルピースをVRAMを通して移動します。これはモデル全体を保存する必要性を取り除きません。
• AirLLMは現在、Kimi K3サポートを文書化していません。 発行されている4GBの例はLlama 3 70Bを対象としていますが、Kimi K3は新しいカスタムマルチモーダルMoEアーキテクチャを使用しています。^[4]
• 実用的なルートはAPIです。 ローエンドラップトップは、モデルがリモートインフラストラクチャで実行されている間、OpenAI互換エンドポイント経由でKimi K3を呼び出すことができます。

一目でわかるKimi K3のハードウェア現実

Moonshotは、Kimi K3をKimi Delta Attention、Attention Residuals、およびStable LatentMoEに基づいて構築されたオープンウェイト、ネイティブマルチモーダルエージェントモデルとして説明しています。896個のルーテッド専門家のうち16個をトークンごとにアクティブ化し、MoonViT-V2ビジョンエンコーダを含みます。^[1][2]

これらのアーキテクチャの選択は、計算と長いコンテキストのコストを削減します。これらは兆規模のチェックポイントをコンシューマーGPUモデルに変えません。

なぜ2.8兆のMXFP4パラメータはまだ約1.4TB必要なのか

最初の計算は単純です。

2.8兆パラメータ × 4ビット
= 11.2兆ビット
= 1.4兆バイト
= 約1.27 TiB

これは完全な展開推定値ではなく、下限です。実際のチェックポイントは、量子化スケール、インデックス、構成、埋め込み、他の精度で保存されたテンソル、および401M単位のビジョンエンコーダも備えています。実行時は、アクティベーション、選択された専門家の作業メモリ、注意状態、CUDAまたはNPUカーネル、および同時実行性とコンテキスト設定に応じて成長するKVまたはリカレント状態予算を追加します。^[1]

公式のHugging Faceチェックポイントは多くの大きなsafetensorシャードに分割されています。個別にリストされたシャードはギガバイト単位で測定されます。1つのシャードは、推論エンジンが単一のアクティベーションバッファを割り当てたことがある前に、4GBカードの全容量を超える可能性があります。^[3]

比較のために、4GBカードは理論的には約80億個の通常の4ビットパラメータを保持できます。ただし、実行時にもメモリが必要なため、実際にはより少なく保持できます。Kimi K3は合計パラメータ数で約350倍大きいです。

なぜ「104Bアクティブパラメータ」は52GBモデルを意味しないのか

MoEスパー性はメモリ算術を削減しますが、チェックポイントは保持しなければなりません。Kimi K3は各トークンを896個の専門家のうち小さなサブセットを通してルーティングするため、2.8Tパラメータのうち104Bのみがそのトークンの順方向パスに参加します。4ビットずつ、104Bパラメータは実行時オーバーヘッド前の大まかに52GBの重みデータを表すだけです。

その52GB推定値でさえ、静的なミニチェックポイントと混同されるべきではありません。次のトークンは異なる専門家セットを選択する場合があります。ワークロードが専門家選択を固定しない限り（これはモデル動作を変更します）、実行時は完全な専門家プール全体へのアクセスを必要とします。

3つの個別の数字があります。

• 2.8Tの合計パラメータは、完全なチェックポイントストレージを決定します。
• 104Bアクティブパラメータは、トークンあたりのコンピュートとデータアクセスを概算します。
• 4GB VRAMは、ある瞬間にGPUに存在できる量です。

スパースアクティベーションにより、Kimi K3は密な2.8Tモデルより効率的になります。これは完全なモデルを104Bダウンロードにしません。104Bはまだ4GB GPUをはるかに超えています。

レイヤーバイレイヤーオフロードがどのように4GB GPUを使用できるか

レイヤーオフロードはどこで重みが待つかを変更し、重みの数ではありません。基本的なオフロードループはこのようなものです。

1. ほとんどのモデル重みをSSDまたはシステムRAMに保持します。
2. 次に必要なレイヤーまたは専門家チャンクをGPUメモリにロードします。
3. 順方向パスのその部分を実行します。
4. チャンクを削除し、次のチャンクをロードします。
5. すべてのレイヤーおよび生成されたトークンに対してシーケンスを繰り返します。

これは、VRAMより大きなモデルがすべて実行される方法です。AirLLMは、Llama 3 70B演示を伴うこのパターンをレイヤーワイズシャードにモデルを分解し、ロードを計算とオーバーラップさせることで普及させました。^[4]

Kimi K3はこのパターンをはるかに難しくします。93個の層、数百の可能な専門家、カスタムKDA/ゲーテッド-MLA注意スタック、ネイティブマルチモーダリティ、および1テラバイト以上の量子化重みがあります。完全なMoE層は、それ自体が4GBを超える可能性があるため、互換性のあるエンジンはサブ層またはエキスパートレベルのストリーミングが必要です。単なる通常のレイヤーオフロードではありません。

パフォーマンスのボトルネックは、その後、データ移動になります。1つのトークンを生成すると、数十の層にわたって多くのランダムまたは半ランダムな専門家読み取りがトリガーされる可能性があります。高速なNVMe SSDでさえ、アクセラレータメモリより数桁遅くです。このプロセスは次のトークンに対して繰り返されます。オフロードは実験を開始できます。対話的にはしません。

今日AirLLMでKimi K3を4GB GPUで実行できますか？

2026年8月1日現在の発行されたサポートと例によるとはいいえ。 AirLLMはLlama、Mixtral、Qwen、ChatGLM、Baichuan、Mistral、InternLM、および関連モデルファミリーを文書化しています。その見出し4GB結果はKimi K3ではなくLlama 3 70Bです。^[4]

この不在は重要です。Kimi K3は、既存のローダーが自動的に識別できるより大きなLlamaチェックポイントではありません。作業する実装は、以下を理解する必要があります。

• Kimi K3のカスタムモデル構成とテンソル名。
• 896人の専門家にわたるStable LatentMoEルーティング。
• ネイティブMXFP4重みとMXFP8アクティベーション。
• KDAおよび定期的なゲーテッド-MLA注意レイヤー。
• 保存されている推論出力とマルチモーダルビジョンタワー。
• 利用可能なVRAMに十分小さい専門家認識パーティション化。

Moonshotは現在、Kimi K3展開についてvLLM、SGLang、TokenSpeedを推奨しています。AirLLMをサポートされたエンジンとしてリストアップしていません。^[1]

これは、コミュニティ4GBポートが不可能であることを証明していません。オフロードエンジンが明示的にK3をサポートするまで、コピーされたAirLLM Llama例は今日の再現可能なKimi K3チュートリアルではないことを意味します。信頼できる請求は、公開ブランチ、正確なコミット、ストレージおよびRAMの詳細、プロンプト、出力、1秒あたりのトークン、および完全な公式重みが使用されたことの証拠を提供する必要があります。

検証されたKimi K3展開の外観

本番Kimi K3レシピはクラスタースケールで動作します。1つの現在のvLLM-Ascendガイドは、各自が16個の64GB NPUを備えた4つのAtlas 800 A3ノードにわたる131Kコンテキスト展開を検証します。その1M-コンテキスト構成には、少なくとも8つのそのようなノードが必要です。^[5]

これは普遍的な最小値ではありません。異なるアクセラレータ、エンジン、同時実行性、およびコンテキスト制限は要件を変更します。ただし、それは有用な現実チェックです。検証された構成は、ギガバイトではなくテラバイトで集約されたアクセラレータメモリを測定します。

適切なハードウェア回答は、目標が実行の証明、対話的使用、マルチユーザーサービス、または本番スループットであるかによって異なります。「4GBで実行される」というフレーズはその目標なしで意味がありません。

4GB Kimi K3クレームを評価するためのチェックリスト

チュートリアルに従う前に、これらの質問に答える証拠を探します。

1. それは公式の2.8Tチェックポイントですか？ Kimi名を持つ蒸留、プロキシ、またはより小さいモデルはKimi K3ではありません。
2. 完全な重みはどこに保存されていますか？ 回答は、テラバイト以上のローカルまたはネットワークストレージを考慮する必要があります。
3. どのくらいのシステムRAMが必要ですか？ 「4GB GPU」は、横に座っている512GBまたは1TBのホストメモリについては何も言いません。
4. どの推論エンジンコミットがK3をサポートしていますか？ ジェネリックpip installコマンドは、新しいアーキテクチャに対して十分ではありません。
5. ビジョンはサポートされていますか、または言語のみですか？ 401M視力エンコーダをスキップすることで、テストされたモデルの表面が変更されます。
6. どのコンテキスト長が使用されましたか？ 64トークンのデモと1M-トークンセッションは、根本的に異なる実行時ニーズを持っています。
7. 測定スループットは何ですか？ トークン1秒あたり（または1分あたり）、さらに最初のトークンまでの時間が必要です。
8. 答えが検証されましたか？ プロセス開始は成功したことが、正しい重みをロードしたか、または一貫性のあるK3出力を生成したことの証拠ではありません。

投稿がVRAMのみを報告する場合、トリックを可能にするリソースが省略されています。

4GB GPUコンピューターからKimi K3を使用する実用的な方法

今日機能するルートは、推論をリモートに保ち、ローエンドコンピュータをクライアントとして使用することです。ローカルGPUは無関係です。必要なのはネットワーク接続とAPIキーだけです。

reAPIはOpenAI互換のChat Completionsエンドポイント経由でKimi K3を公開しています。

curl https://api.reapi.ai/v1/chat/completions \
  -H "Authorization: Bearer $REAPI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "kimi-k3",
    "messages": [
      {
        "role": "user",
        "content": "Explain how expert routing changes memory access in a sparse MoE model."
      }
    ],
    "reasoning_effort": "high",
    "stream": true
  }'

これはローカル推論ではなく、そのようにマーケティングされるべきではありません。マルチノードアクセラレータクラスターを獲得および操作することなくKimi K3機能が必要な開発者にとって、実用的な回答です。完全な要求契約はKimi K3 API文書にあり、モデルページにはライブレートがあります。^[6]

ローカルオフロードで実験したいのなら

システムリサーチとして扱い、ワンコマンドインストールではありません。現実的なプレフライトリストは。

• チェックポイント、キャッシュ、および変換アーティファクト用の少なくとも1.5-2TBの自由高速ストレージ。
• 十分な帯域幅と多くの大きなシャードをダウンロードする忍耐。
• Kimi K3のアーキテクチャとMXFP4形式を明示的にサポートする推論エンジンブランチ。
• ホストRAM、メモリマッピング、ページキャッシュ、およびSSDの耐久性の計画。
• 実験的なランタイムがビジョンを実装していない場合は言語のみモード。
• 最初の検証用の短いコンテキストと小さな出力。
• ディスク読み取り、GPU使用率、最初のトークンまでの時間、および出力の正確性のためのインストルメンテーション。

Llama モデルIDをmoonshotai/Kimi-K3に置き換えることで、作業コマンドを発明しません。オフロードエンジンが明示的にK3をサポートするまで、最も可能性の高い結果は、サポートされていない構成、テンソル不一致、または変換中のメモリ不足エラーです。

FAQ

Kimi K3は本当に4GB GPUで実行できますか？

自己完結型の実用的なローカルモデルとしてではありません。将来の専門化されたランタイムは、重みをより大きなストレージまたはRAMからストリーミングしながら、4GB VRAMをステージングバッファとして使用する可能性がありますが、完全なモデルは適合しません。現在のメインストリーム4GBレシピはKimi K3サポートを文書化しません。

Kimi K3の重みはどのくらい大きいのですか？

2.8Tパラメータの場合、4ビットずつの理論的フロアは約1.4 TB 10進数または1.27 TiBです。実際のチェックポイントと実行時は、量子化メタデータ、非4ビットテンソル、ビジョンエンコーダ、および実行状態のために必要です。

Kimi K3はなぜ104Bパラメータのみがアクティブであると言っているのですか？

Kimi K3はスパースMoEモデルです。各トークンは専門家のサブセットを使用し、計算を削減しますが、将来のトークンは異なる専門家を選択できます。完全な2.8T専門家プールはまだアクセス可能なままである必要があります。

MXFP4は4GBを持つGPUがそれを実行できるという意味ですか？

いいえ。MXFP4は、主要な重みが値あたり約4ビットを使用することを意味します。4ビット×2.8兆はオーバーヘッド前にまだ約1.4 TBです。

AirLLMはKimi K3を実行できますか？

AirLLMは現在、文書化されたモデルファミリーの間にKimi K3をリストしたり、Kimi K3レシピを提供したりしていません。その4GB例はLlama 3 70Bの場合です。サポートは後で追加される可能性がありますが、ジェネリックモデルローダーから想定されるべきではありません。

Kimi K3を使用する最も安い実用的な方法は何ですか？

散発的または開発用途の場合は、ホストされているトークンごとのAPIを使用します。セルフホスティングは、制御、持続したボリューム、またはデータロケーションニーズがマルチノードハードウェアと運用作業を正当化する場合にのみ合理的になります。

Kimi K3のより小さいバージョンをローカルで実行できますか？

コミュニティの蒸留が現れる可能性がありますが、それらは異なる重みと能力を備えた別々のモデルです。要件が4GBローカルアシスタントの場合、そのメモリ予算用に設計されたモデルを選択し、正確にラベル付けします。

4GB GPUでKimi K3を実行することの正直な意味

4GB GPUで単一のKimi K3を実行することは、狭い定義でのみ信じられます。GPUは小さな部分を保持し、残りの約1.4TBのチェックポイントはどこか他の場所に住み、それを通してストリーミングします。これは価値のある研究デモンストレーションになる可能性がありますが、今日は実用的なローカル展開ではありません。

タイトルが信じられないのは、GPUの周りの機械を省略しているためです。SSD、システムRAM、カスタムランタイム、転送時間、およびしばしばリモートインフラストラクチャ。請求を判断する前に、これらすべてのリソースをカウントしてください。目標がKimi K3を使用することではなく、極限オフロードを研究することは、APIが4GBラップトップで今機能するルートです。

開示: reAPIはこの記事を公開し、ホストされているKimi K3 APIアクセスを提供します。アーキテクチャと量子化の事実はMoonshot公式リポジトリとテクニカルレポートから来ます。4GB評価はこれらの仕様、現在のエンジン文書、および基本的なストレージ算術から派生しています。reAPIが4GB GPUで完全なKimi K3生成を再現したという主張ではありません。

References

1. Moonshot AI. Kimi K3 official repository — architecture, model summary, native MXFP4, and recommended inference engines. Retrieved August 1, 2026. github.com/MoonshotAI/Kimi-K3
2. Kimi Team. Kimi K3: Open Frontier Intelligence. Published July 2026. arxiv.org/abs/2607.24653
3. Moonshot AI. Kimi K3 official weights and model card. Retrieved August 1, 2026. huggingface.co/moonshotai/Kimi-K3
4. AirLLM. Supported model families and 4GB Llama 3 70B layer-offloading example. Retrieved August 1, 2026. github.com/lyogavin/airllm
5. vLLM Ascend. Validated Kimi K3 multi-node deployment guide. Retrieved August 1, 2026. docs.vllm.ai/projects/ascend/tutorials/models/Kimi-K3
6. reAPI. Kimi K3 API reference and current model page. Retrieved August 1, 2026. reapi.ai/docs/kimi-k3 and reapi.ai/models/kimi-k3

Further reading

• reAPI. Kimi K3: The Complete Guide to Moonshot's 2.8T Flagship. reapi.ai/blog/kimi-k3-complete-guide
• reAPI. Best Open-Source AI Video Models for Local GPUs. reapi.ai/blog/best-open-source-ai-video-models-local-gpu-2026
• Moonshot AI. Kimi K3 official repository. github.com/MoonshotAI/Kimi-K3