#Inference

Googleは、397BパラメータのQwen 3.5 MoEをIronwood TPUで高速化するシステム最適化手法を公開しました。 JAX/Pallas、データ並列とエキスパート並列の組み合わせにより、prefill中心ワークロードで最大4.7倍の推論高速化を報告しています。

対象はGoogle自身のGemini APIやGoogle AI Studioで提供されるモデルではなく、Qwen 3.5-397B MoEをIronwood TPU7x上で提供・推論するための開発者向け技術解説です。 Data ParallelismとExpert Parallelismを組み合わせ、トークンルーティング向け通信融合やカスタム低レベルカーネルを実装したと説明されています。 Batched Ragged Page AttentionやGated DeltaNetブロックの最適化により、メモリ帯域とTensorCore MXUの利用率を高め、prefill中心の処理で最大4.7倍の高速化を達成したとしています。 モデルは397Bパラメータであり、ローカル実行、量子化、Ollama/LM Studio/llama.cpp/MLX、商用利用条件はこの記事では扱っていません。 APIの移行期限・破壊的変更・料金変更は記載されていません。大規模MoE推論基盤を設計するTPU/JAX開発者に関係する内容です。

OpenAIとBroadcomは、LLM推論向けに最適化したOpenAI初のIntelligence Processor「Jalapeño」を発表しました。 ChatGPT、Codex、APIなどを支える推論基盤を高速・高効率・低コストにするためのフルスタック戦略です。

Jalapeñoは、OpenAIがLLM推論のために設計した専用アクセラレータで、Broadcom、Celesticaなどと共同で実装・量産体制を進めるものです。 OpenAIは、モデル、カーネル、サービング、製品要件の知見をもとに、計算、メモリ、ネットワーク、データ移動を推論向けに最適化したと説明しています。 エンジニアリングサンプルはラボでMLワークロードを実行しており、GPT-5.3-Codex-Sparkを含む負荷で動作しているとされています。 初期テストでは、現行の最先端と比べてワットあたり性能が大幅に良い見込みで、詳細な技術レポートは今後公開予定です。 初期展開は2026年末までを想定し、その後複数世代にわたりギガワット規模のデータセンターパートナーと展開する計画です。 ユーザー向け機能の即時変更ではありませんが、長期的にはChatGPT応答、Codexの長いタスク、APIのコスト・速度・安定性に影響する基盤投資です。 無料/有料プラン、日本での利用可否、APIの破壊的変更はこの記事では示されていません。

Google Developers Blogで、TPU Developer Hubの正式公開が発表されました。 モデル開発者向けに、TPUの設計、最適化、デバッグ、分散学習、低レイテンシ推論までをまとめたコード中心の学習・実装リソースです。

TPU Developer Hubは、Google Cloud TPUを使うモデル開発者、最適化担当、MLインフラ担当向けの公式リソースです。 内容は、TPUハードウェア、XLAなどのソフトウェアスタック、XProfによるトレース/デバッグ、並列化、Pallasカーネル、ネットワーク/セキュリティまで広く扱います。 PyTorch on TPUの移行、低レイテンシ推論、KV cache offloadingなど、実装に近いトピックも含まれます。 GoogleはこのHubを、AI支援開発ツールにも取り込みやすい「agent-ingestion friendly」なリソースとして位置づけています。 特定モデル/APIの破壊的変更ではなく、TPU活用のドキュメント・レシピ集の公開です。利用条件はGoogle Cloud TPUの利用形態に依存します。