LiteRT-LMによるオンデバイス生成AIの高速化
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Google Developers AI
Google AI Edgeが提供する「LiteRT-LM」は、Gemma 4モデルをモバイルやエッジ環境で実行するための最適化インフラであり、メモリ効率の高い動的読み込みとマルチトークン予測により、最大2.2倍の速度向上を実現し、オンデバイスでの多機能・エージェント機能を解放する。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Google AI Edge の LiteRT-LM は、Gemma 4 をクロスプラットフォームのモバイルおよびエッジ環境で実行するための、実証済みかつ高度に最適化されたインフラストラクチャを提供します。これは、メモリ効率の高い動的読み込み、最大 2.2 倍の高速化を実現するマルチトークン予測（Multi-Token Prediction）、そして思考モード（Thinking Mode）や制約付きデコーディング（Constrained Decoding）といった高度なオーケストレーションツールを活用することで、オンデバイス上でモデルが持つネイティブの多モーダル機能およびエージェント機能を積極的に解放します。さらに、このエンジンはその統合範囲を Android 以外へと急速に拡大しており、Apple エコシステム向けには新しいネイティブ Swift API を、高性能でサーバーレスなブラウザ推論を実現するために WebGPU アクセラレーション対応の JavaScript API を新たに導入しています。
原文を表示
Google AI Edge’s LiteRT-LM provides a production-proven, highly optimized infrastructure for running Gemma 4 across cross-platform mobile and edge environments. It actively unlocks the model's native multimodal and agentic features on-device by utilizing memory-efficient dynamic loading, Multi-Token Prediction for up to a 2.2x speedup, and advanced orchestration tools like Thinking Mode and Constrained Decoding. Furthermore, the engine is rapidly expanding its integration surfaces beyond Android, introducing new native Swift APIs for Apple ecosystems and WebGPU-accelerated JavaScript APIs for high-performance, serverless browser inference.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み