#vLLM

GoogleはRayのTPU対応について、Ray Serve、Ray Data、Ray Trainで推論・データ処理・分散学習を行う方法を公開しました。TPUスライスの配置をtopology指定で扱い、vLLMによるLLM提供とJAX学習を実行できます。

Ray Serveではaccelerator_config.topologyを指定し、複数ホストにまたがるモデルを同じTPUスライスへ配置してvLLMで提供できます。指定しない場合、ワーカーが別スライスに分散してデプロイが停止するため、実運用では重要な設定です。 Ray Dataのiter_jax_batches()は、デバイス分割済みのJAX配列を渡し、ホスト側コピーによる入力ボトルネックを抑えます。 Ray TrainのJaxTrainerは、TPUトポロジーを指定して分散学習、チェックポイント、障害回復、複数スライスへの拡張を扱えます。JAXは各ワーカー関数内でimportする必要があります。 Ray 2.55以降のTPU対応を前提とする開発者向け解説で、モデル/APIの新規提供や利用料金変更ではありません。 Google Cloud TPUで大規模推論・後学習・バッチ推論を行うチームは、手作業の配置制御を減らしつつ、RayService、公式TPUイメージ、ダッシュボード監視を組み合わせられます。

Googleは、ツール利用型LLMエージェントの強化学習後学習を効率化するJAXネイティブライブラリTunixを紹介しました。非同期ロールアウトと生産者・消費者パイプラインでTPUの待機時間を減らす設計です。

Tunixは、ネットワークI/Oやツール実行待ちの間にも別のエージェント軌跡を処理し、TPUの稼働率を維持します。 可変長の軌跡を継続的に学習器へ流すため、同期バッチの待ち時間を抑えます。 vLLM-TPUとSGLang-Jaxの非同期推論に対応し、カスタムのオープンソース環境を組み込む抽象化と継続的なRL指標プロファイリングを提供します。 Gemini APIの新エンドポイントではなく、TPU上でエージェントRLを訓練する開発者向けの基盤更新です。 ローカルLLM実行向けではなく、分散学習とGoogle TPU環境を前提としています。

Googleが、トークンを逐次生成せず256トークンのブロックを並列に反復修正する実験的モデルDiffusionGemmaの開発者ガイドを公開しました。 26B MoEのうち推論時に3.8Bパラメータを活性化し、量子化すれば18GB VRAM以内でのローカル実行を想定しています。

DiffusionGemmaはGemma 4の26B MoE基盤を使い、256トークン単位の拡散・デノイジングで文章を並列生成します。双方向注意により、生成途中で前の誤りを修正できる点が通常の自己回帰モデルとの違いです。 Googleによる測定では、RTX 5090で毎秒700トークン超、NVIDIA H100 1基で毎秒1,000トークン超とされ、GPU上で最大4倍の高速化をうたっています。 モデルは26Bですが推論時の活性パラメータは3.8Bで、量子化構成では18GB VRAM以内を想定しています。RTX 4090/5090などの消費者向けGPUからHopper、Blackwellまで対象です。 重みはHugging FaceでApache 2.0ライセンスとして公開され、vLLMのOpenAI互換ローカルサーバー、Hugging Face Transformers、SGLang、MLXに対応します。公式ファインチューニングレシピも公開されています。 Google Cloud Model GardenとNVIDIA NIMでも展開できます。記事ではOllama、LM Studio、llama.cppへの対応は明記されていません。 Google AI StudioやGemini APIでの提供は示されておらず、ダウンロード可能な実験的オープンモデルとしての提供が中心です。 通常のGemma利用規約ではなく、公開されたDiffusionGemma重みについて記事はApache 2.0ライセンスと明記しています。