LiteRT.js, Google's high performance Web AI Inference
GoogleはLiteRTのJavaScriptバインディングであるLiteRT.jsを発表しました。
Webブラウザ内で.tfliteモデルをローカル実行し、プライバシー、低遅延、サーバーコスト削減を狙うWeb AI推論基盤です。
LiteRT.jsは、JavaScript/TypeScriptのWebアプリからブラウザ内でML/AIモデルをクライアント側実行するための新しいLiteRTバインディングです。
既存の.tfliteモデルをモバイル/デスクトップのWebブラウザへ展開でき、TensorFlow.jsにおける.tflite対応の発展形として位置づけられています。
推論基盤はWebAssemblyとLiteRTスタックを使い、CPUではXNNPACK、GPUではML Drift/WebGPU、今後はWebNN経由のNPU利用も見込まれます。
初期リリースではLiteRT.jsのnpmパッケージとデモが提供され、テキスト生成、物体検出、音声処理などのオンデバイスWeb AI用途を想定しています。
ローカル実行により、サーバー推論コストの削減、低遅延、プライバシー向上を狙えるため、WebアプリでAI機能を配布する開発者に関係します。
PyTorchモデルはLiteRT TorchでLiteRTへ変換でき、AI Edge Quantizerによる量子化も利用可能です。
記事内ではAPI移行期限、破壊的変更、有料/無料条件、日本での提供可否は明記されていません。