オンデバイス AI の加速：Arm と Google AI Edge の最適化
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Google Developers AI
Arm が提供するスケーラブル行列拡張 2（SME2）と Google の AI エッジソフトウェアスタックを統合することで、CPU を強力な行列演算アクセラレータとして活用し、オンデバイスでの生成 AI の高パフォーマンスを実現する手法が示された。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Arm Scalable Matrix Extension 2 (SME2) と Google AI Edge ソフトウェアスタックの統合により、CPU を強力な行列演算アクセラレータへと変換することで、高性能なオンデバイス生成 AI が実現します。Stability AI の「stable-audio-open-small」モデルを事例として、LiteRT、XNNPACK、KleidiAI を活用したハードウェアアクセラレーションを自動化する、「変換・最適化・デプロイ」という簡素化されたパイプラインが紹介されています。その結果、Arm 搭載のモバイルデバイスやノートパソコンにおいて高音質を維持しながら、音声生成の速度が 2 倍以上に向上し、メモリ使用量が 4 分の 1 に削減されました。
技術用語: Arm Scalable Matrix Extension 2 (SME2) - Arm スケーラブル行列拡張 2; Google AI Edge - Google AI エッジ; on-device generative AI - オンデバイス生成 AI; matrix-compute accelerator - 行列演算アクセラレータ; LiteRT - LiteRT; XNNPACK - XNNPACK; KleidiAI - KleidiAI
原文を表示
Integration of Arm Scalable Matrix Extension 2 (SME2) and the Google AI Edge software stack enables high-performance, on-device generative AI by turning the CPU into a powerful matrix-compute accelerator. Using Stability AI’s "stable-audio-open-small" model as a case study, it outlines a streamlined "Convert, Optimize, and Deploy" pipeline that utilizes LiteRT, XNNPACK, and KleidiAI to automate hardware acceleration. The resulting implementation achieves over a 2x speedup in audio generation and a 4x reduction in memory usage while maintaining high audio quality on Arm-powered mobile devices and laptops.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み