Ahmad Osman が語る、ローカル AI の追い上げの理由

![image](https://substackcdn.com/image/fetch/$s_!9BC6!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F9842112b-570d-48b7-92f3-7cbb05681776_1280x720.jpeg) Ahmad Osman は本日、AI Engineer World's Fair に出席しました。 Ahmad Osman は、今年開催された AI Engineer World's Fair で主要なテーマとなるずっと前から、ローカル AI（ご自身のコンピュータやワークステーション、専用ハードウェア上でモデルを実行すること）の推進を続けてきました。また、彼はローカル AI システムの展開と運用のためのオープンソースソフトウェアを開発する企業「Osmantic」の創設者でもあります。 AIEWF から浮き彫りになったテーマの一つは、オープンソース大規模言語モデル（LLM: Large Language Model）が、大規模なプロプライエタリなフロンティアモデルに対するますます信頼性の高い代替手段となりつつあるという点です。ローカル AI システムのほとんどがオープンモデルに依存しているため、この変化は Osman が主張してきた立場をさらに強固なものにしています。彼が Latent Space に語ったところによると、「オープンソースモデルとクローズドなフロンティアモデルとの間のギャップは縮まり続けています」。 Osman は「Open Source AI Must Win」というウェブサイトで、この主張をより明確に展開しています。そこでは彼は、「許可を求めることなく知能システムを研究し、構築し、修復し、展開し、監査し、適応させ、教え、保存し、実行する能力は、存在そのものにとって極めて重要である」と記述しています。 AIEWF では、Osman はローカル LLM とワークステーションエージェントに関する 2 部構成のワークショップを開催しました。これらのセッションでは、この分野がどれほど急速に発展しているかが示されました。つまり、スマートフォンやラップトップで動作するモデルから、専用 GPU ワークステーションやエンタープライズインフラストラクチャへと進化しているのです。 オスマンのワークショップへの関心は、ハードウェアの趣味人だけに限られてはいませんでした。参加者は、初めて AI 対応マシンを検討している学生から、モデルルーティングやプライベートインフラストラクチャ、企業データの制御について考えている企業の経営層まで多岐にわたりました。 続く Q&A で、オスマンはなぜローカル AI がより多くの注目を集めているのか、モデルとハードウェアの状況がどのように変化したのか、そしてなぜ彼が開発者や企業がローカル AI を本格的なインフラストラクチャとして扱うようになることを期待しているのかを説明します。 ローカル AI の具体化 Latent Space: ワークショップの内容と参加者が何を求めていたかを要約してください。 Ahmad Osman: それは 2 つの部分からなるワークショップで、スペースの限界を超えた需要がありました。残念ながら、一部の人々は断らざるを得ませんでした。 私はローカル AI をデモンストレーションするために準備したウェブサイトを持って来ました。これは本質的に、DGX Spark や AMD Strix Halo マシン、その他のデバイスなど、システムを比較できるハードウェアのアリーナでした。これらのシステム同士で競わせたり、フロンティアのクラウドモデルと比較したりして、パフォーマンス、出力品質、速度、レイテンシを実際に確認することができました。 主な目的は、ローカル AI を現実的なものとして感じさせることでした。まだ 2022 年当時の認識が残っており、当時はモデルの能力が非常に低かったのです。しかし、それ以来、すべてが大幅に改善されました。 依然として最先端モデルには数ヶ月から八ヶ月程度の遅れがありますが、ローカルおよびオープンソースのモデルは追いつきつつあります。私たちは人々がこれらのシステムについて理論的な議論を聞くだけでなく、実際に相互作用してほしいと考えていました。 デモの背後にあるソフトウェアはオープンソースであり、GitHub で利用可能です。2 回目のワークショップでは、セットアップ方法の詳細と、完全なシステムの動作を実演しました。 モデルはシステムの一部に過ぎない Latent Space: ローカル AI を単に自分のマシンでモデルを実行することだと考える際に、何が欠けているのでしょうか？ Osman: ChatGPT や Claude Code といった製品については大きな誤解があります。これらはモデル自体だけでなく、その周囲に完全なインフラストラクチャとエージェントを備えています。それは単一の要素ではありません。 私の友人は Qwen 3.5 をローカルで実行するために RTX 5090 を購入しました。彼は Claude Code をこのモデルに接続し、GPU の RGB ライトを変更するよう指示しましたが失敗しました。その後、ホストされた Claude Code サービスを使用すると正常に動作しました。 私は彼がローカルモデルに対してインターネット検索へのアクセス権を与えたかどうか尋ねました。彼は与えていませんでした。モデルのトレーニングデータにはカットオフ日があり、彼が必要とするソフトウェアやドキュメントはそれ以降に変更されていたのです。 ローカルシステムに検索エンドポイントへのアクセス権を与えるだけで、タスクを完了できるようになりました。 これが要点です：ホストされたエージェントを使用する場合、あなたは単にモデルを使っているのではなく、その周囲にある検索機能、ツール、インフラストラクチャ、その他のサービスも同時に利用しているのです。 オープンソースのデプロイメントシステムを通じて、チャットインターフェースやドキュメント取り込みから、エージェント、ハーンセス、検索ツールに至るまで、完全な体験を提供しようとしています。このエンドツーエンドのレイヤーは、ローカル AI エコシステムにおいて欠けていました。 学生の関心から愛好家、企業まで幅広く広がっています Latent Space: ワークショップにはどのような方が参加されましたか？主にハードウェア愛好家でしたか、それともプライバシーを重視したアプリケーションを構築しようとする方々でしたか？ Osman: 非常に幅広い聴衆が集まりました。 2 つ目のワークショップの終了時、ある学生が大学に進学する前にどのハードウェアを購入すべきかと私に尋ねました。インテルのエグゼクティブは、特定のユーザーエクスペリエンスを向上させるために、どのようにソフトウェアを Windows で実行できるかについて質問しました。 一部の人々は愛好家でしたが、他の人々は非常に企業指向の質問をしていました。共通していたのは、自分がコントロールできるものを動かしたいという関心でした。それは MacBook 上のモデルでも、自宅にある GPU でも、あるいは高機能なエンタープライズハードウェアの専用クラスターであっても構いません。 企業向けモデルルーティング、データ収集、トレース、エージェントのサンドボックス化、レイテンシについて質問する人もいました。また、自宅で何枚の GPU を持っているかと尋ねる人もいました。答えは 22 枚の RTX 3090 です。 関心の広さに驚きました。これは私が初めて開催した AI ワークショップであり、幸運にも 2 つを連続して行うことができました。 GPU の購入が必ずしも必要ではないかもしれません Latent Space: ローカル AI を実験するために、開発者は自ら GPU を購入する必要がありますか？ Osman: それは使用したいモデルのサイズによります。 MacBook で 4 ビット量子化された Qwen モデルを実行することは可能です。その反対の極端なケースでは、非常に大規模なフロンティアクラスのオープンモデルには、複数の RTX Pro 6000 GPU が必要になるかもしれません。 しかし、より広範なトレンドとして、モデルははるかに効率的になっています。現代のスマートフォンでは、デバイスのメモリをすべて使用することなく、数年前にクラウドシステムで利用されていたものよりも優れた性能を持つモデルを実行できるようになりました。 これは、比較的短い期間でモデル効率性がどれほど進歩したかを示しています。 モデルとハードウェアは共に進化している Latent Space: この進展は主にソフトウェアやモデルの改善によるものですか、それともハードウェアも関係していますか？ Osman: モデルは劇的に改善されました。 アーキテクチャがより効率的になり、多くの小さな改善が積み重なっています。フロンティア研究所が何らかの機能が実現可能であることを示すと、オープンソースエコシステムはその逆から働き、それをより効率的に再現する方法を見つけ出します。 数十億のパラメータを持つモデルでさえ、以前ははるかに大規模なシステムを必要としていた性能を発揮しています。その中には 2020 年に発売された RTX 3090 で実行可能なものもあります。2 年前であれば、そのようなハードウェアでこのレベルの能力を実現することは現実的ではありませんでした。 これはまだ非常に新しい分野であり、最終的な到達点については不明です。しかし、システムは引き続き改善されていくことは確実です。 ハイブリッド AI と主権 AI の台頭 Latent Space: ローカル AI とクラウド AI を組み合わせたアプリケーションが増えるとお考えですか？ オスマン：はい。エッジモデルはより普及していくでしょうし、それは消費者だけの話ではありません。 企業は、依存しているモデルが常に同じ形で利用可能であるとは限らないことに次第に気づき始めています。プロバイダーは品質、価格、アクセス権、あるいはポリシーを変更する可能性があります。 それが専用ハードウェアやセキュアなコンピューティングへの移行を促すインセンティブとなります。必ずしもオンプレミスに置く必要はありません。企業が管理する専用でコロケーションされたハードウェアを利用することも可能です。 その利点は、モデルの品質が予期せず変化しないこと、アクセス権が簡単に剥奪されないこと、そして企業が知的財産、データ、プライバシー、コンプライアンス義務に対するコントロールを維持できることです。 オープンソースモデルもまた、最先端のプロプライエタリシステムとの格差を縮め続けています。Llama、Mistral、Qwen、DeepSeek、GLM、Kimi モデルを通じた急速な進展を目にしてきました。各世代がその格差を狭めています。 専門化されたモデルが真の機会となる可能性 レイトン・スペース：これはビジネスにとってどのような方向性をもたらすとお考えですか？ オスマン：私は長らく、より小さく専門化されたモデルが多くのビジネスユースケースにおける未来であると信じてきました。 企業はまず一般用モデルから始め、従業員がそれを使用する方法からのトレース、メッセージ、フィードバックを収集します。時間の経過とともに、そのデータは企業の特定の業務に調整された、より専門的なモデルを支えるものとなります。 これによりパフォーマンスが向上し、コストが削減され、システムがビジネスにとってより有用なものになります。 また、オープンソースモデル企業は、ファインチューニングや強化学習、あるいは専門的な商用展開のためのライセンスを通じて収益化を図るケースが今後さらに増えると考えられます。 多くの企業がクラウド API への完全依存から脱却し、自社の計算リソースを確保するにつれ、これらのラボは強力なオープンモデルの継続的な公開と、企業が独自用途に適応させた際の価値獲得というインセンティブを持つことになります。 より広範な方向性は、主権の強化へと向かっています：企業や個人が自らのモデル、計算資源、データを制御しつつも、オープンソースエコシステムの急速な進展から恩恵を受けるという形です。

Ahmad Osman が語る、ローカル AI の追い上げの理由

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト