Skip to content

DwarfStar4_V12エンジン仕様書.md

Latest commit

 

History

History
110 lines (77 loc) · 6.48 KB

DwarfStar4_V12エンジン仕様書.md

File metadata and controls

110 lines (77 loc) · 6.48 KB
Raw

DwarfStar4 — V12 エンジン仕様書

"LLM界のラ・フェラーリ" / Opus監修 · 電力をトークンに変える機械

記録日: 2026-05-29 ｜ HEAD: 5dd80d1 ｜ 監修: Opus 4.8 (1M) 全数値は実測 + 敵対的検証（14エージェントworkflow）に基づく。楽観値は補正済み。

0. クレド — このエンジンの哲学

「1トークンがどれだけ速いか」ではない。「重み1回の読み出しで、何トークンを生めるか」だ。

このマシンは7基のRTX PRO 2000 Blackwellを積む。だがバッチ1の単騎走行では、その演算ユニットの 86%が遊んでいる ——フルブースト2065MHzで空転し、電力を熱に変えながら、1トークンしか吐かない。

V12の本質は排気量ではない。密な重み 7.16 GiB を一度読み込み、それを全シリンダー（=全トークン）へ分配する 設計思想にある。そこが効率の心臓だ。

1. 物理 — なぜこうなるか（検証=SOLID）

DeepSeek-V4-Flash (q2, 80.76 GiB, 43層, 256エキスパート, MLA+NSA) の1デコードは、固定で 8.93 GiB の重みを 288 GB/s のメモリ帯域に通す。

ルーフライン = 8.93 GiB ÷ 288 GB/s = 33.3 ms/token → 30 t/s（単一GPU帯域の理論上限）
実測 PP-7 = 51.5 ms/token → 19.4 t/s（ルーフラインの65%）
演算強度 = 2.76 FLOP/byte ｜ 尾根 = 236 FLOP/byte → 尾根の1/85下

結論: 完全にメモリ帯域バウンド。FLOPsはほぼタダ、読むバイトだけが通貨。

バイト内訳（1トークンあたり 8.93 GiB）:

  • 密stem 7.16 GiB (80%) — q8 MLA attention・compressor・shared expert・output head。バッチに関係なく毎回1回読む（=償却の対象）
  • 経路エキスパート 1.70 GiB (19%) — q2、バッチで重複するほど償却が効く
  • 出力ヘッド 0.52 GiB

2. 実測エネルギー（PROBE C, ライブ電力, 検証=SOLID）

指標 値
デコード 18.6 t/s
アクティブ電力 165.5 W（23.7 W/GPU = 70W TDPの34%）
アイドル床 51.6 W（電力の31%が0トークンを生む純粋な無駄）
SM フルブースト2065MHz ／ 使用率 14.5%（空転）
現状効率 0.1125 tok/J（8.89 J/token）

3. スペックシート — 現状 vs 出力目標

現状 堅実目標 レッドライン 機構
単騎 (single-stream) 19.4 t/s 30–35 t/s 40 t/s 🏁 TP帯域プール + stemシャード + decode-graph
アグリゲート (12GPU) — 800–1200 t/s 1700 t/s 🏎️ 2×DP PP-6レプリカ × バッチ/連続デコード
効率 0.11 tok/J — 6–12× tok/J バッチによる重み読み償却

🏁 単騎40 TPS = 「エンジン本体の改造」

PP直列の物理上限は 30 t/s。これを超える唯一の道は TPで複数GPUの帯域をプールすること（1トークンを2〜4GPUで分担読み）。40は「TP-2/4 + stemシャード完遂 + decode-graph + 任意でq5 stem」が全て噛み合った最高出力——ラ・フェラーリのレッドラインに相応しい位置。

※ MTP投機デコードは当初1.5×と見たが、検証で「実装が1サイクル2回stem読み + 受容率未測定」と判明し ±0〜+13% に剥落。当てにしない。

🏎️ アグリゲート1000+ TPS = 「気筒数の勝負」

12GPU = 独立DP PP-6 × 2レプリカ（推論のDPはレプリカ間通信ゼロ）、各がバッチ/連続デコード。検証済み帯域 800〜1700 t/s。「単騎40・アグリゲート1000」はほぼ完璧な目標設定——1000はむしろ中央値、控えめなくらい。

4. ロードマップ — 正直なTier（検証補正済み）

🏆 Tier 1 — 本命（throughput / tok-J、XL実装）

バッチデコード + パイプライン充填 + 連続バッチ。 密stem 7.16 GiB を1回読んで全トークンに分配。

  • バイト/token: 8.93 (B=1) → 2.46 (B=8) → 1.43 GiB (B=32)
  • 効果: 集約 400–840 t/s/レプリカ、tok/J 6–12×（15-19×は未測定電力依存の上限）
  • 要実装: ds4.c:20210 は1トークン/呼び出し固定、ds4-serverは単一セッション。バッチ経路 + per-seq KV + 連続バッチスケジューラを建てる。これが「GPUの能力を引き出す」答え。

🔌 Tier 2 — 12GPU構成（検証=SOLID、P2P実測裏取り）

  • 12GPU = 2×独立DP PP-6（通信ゼロ）→ ×バッチで 800–1700 t/s
  • 8GPU = 6GPUレプリカ + 予備（広いTPはc128超でOOM、作らない）
  • ⚠️ 単騎のまま12GPUは tok/J +71%悪化。増設は必ず並行処理とセット。
  • TP all-reduce over PCIe（NVLink無）: TP2-attn ~1ms/tok（可）｜TP6 ~10ms（21%）｜TP12 ~23ms（破滅）

⚡ Tier 3 — 今すぐ（低労力・効果中）

  • SMクロックを下げてロック nvidia-smi -lgc（メモリは9001MHz維持）: +10–20% tok/J（遅延コスト5–15%）。要スイープ実測。
  • DS4_CUDA_DECODE_GRAPH=1 A/B（+10–20%?）
  • 冗長f16 stem（indexer.attn_q_b 16MiB等）→ q8（~+3%、低リスク）
  • ❌ 罠: -plは無効（23.7W<56W下限）／--powerスリープ絞りはtok/J悪化／405MHzメモリ状態は帯域を殺す

🔬 Tier 4 — 測ってから

  • MTP投機: 要受容率実測（楽観剥落済み）
  • q8 attention stem → q5/q4: バイト-22〜36%だが品質リスク大、evalゲート必須

5. 構成別の戦略

  • 7基（現状）: PP-7単騎19.4 t/s。Tier 3の安い実験で+20〜30%を取りに行く。
  • 8基: 1×6GPUレプリカ + 予備（MTPドラフト用/表示用）。8ウェイ大群は作らない。
  • 12基（本領）: 2×DP PP-6 × バッチ。単騎40 + アグリゲート1000+の両狙いが解禁。

6. エンジンの心臓（一言）

単騎40は"腕"、アグリゲート1000は"排気量"。 40は TP帯域プール + stemシャード という機構の勝負（ルーフライン30を超える本体改造）。 1000は バッチ処理という気筒数の勝負（12GPU×2レプリカで物理的に揃う、実装が全て）。

密stem 7.16 GiB を1回読んで全トークンに配る——そこにこのV12の魂が宿る。 FLOPsはタダだ。我々が戦っているのは、ただ一つ、メモリ帯域である。

🔥 Built with passion. Tuned by physics. Supervised by Opus.