Systems Engineering Playbook: Optimizing Qwen 3.5-397B MoE on Ironwood (TPU7x)
Googleは、397BパラメータのQwen 3.5 MoEをIronwood TPUで高速化するシステム最適化手法を公開しました。
JAX/Pallas、データ並列とエキスパート並列の組み合わせにより、prefill中心ワークロードで最大4.7倍の推論高速化を報告しています。
対象はGoogle自身のGemini APIやGoogle AI Studioで提供されるモデルではなく、Qwen 3.5-397B MoEをIronwood TPU7x上で提供・推論するための開発者向け技術解説です。
Data ParallelismとExpert Parallelismを組み合わせ、トークンルーティング向け通信融合やカスタム低レベルカーネルを実装したと説明されています。
Batched Ragged Page AttentionやGated DeltaNetブロックの最適化により、メモリ帯域とTensorCore MXUの利用率を高め、prefill中心の処理で最大4.7倍の高速化を達成したとしています。
モデルは397Bパラメータであり、ローカル実行、量子化、Ollama/LM Studio/llama.cpp/MLX、商用利用条件はこの記事では扱っていません。
APIの移行期限・破壊的変更・料金変更は記載されていません。大規模MoE推論基盤を設計するTPU/JAX開発者に関係する内容です。