Guide Labs、解釈可能な新種のLLMを発表

深層学習モデルを扱う上での課題は、往々にしてその動作理由を理解することにある。xAIがGrokの奇妙な政治観を微調整するために繰り返し苦闘していること、ChatGPTが追従癖に悩まされていること、あるいはありふれた虚構生成（ハルシネーション）など、何十億ものパラメータを持つニューラルネットワークの内部を探るのは容易ではない。 CEOのジュリアス・アデバヨとチーフ・サイエンス・オフィサーのアヤ・アブデルサラム・イスマイルによって設立されたサンフランシスコのスタートアップ、Guide Labsは本日、その問題に対する一つの答えを提示する。同社は月曜日、その動作が容易に解釈可能となるように設計された新しいアーキテクチャで訓練された80億パラメータのLLM「Steerling-8B」をオープンソース化した。このモデルが生成するすべてのトークンは、LLMの訓練データにおけるその起源まで遡って追跡可能だ。 これは、モデルが引用する事実の参照元を特定するような単純なものから、モデルのユーモアや性別に対する理解を把握するような複雑なものまで幅広い。 「もし性別をエンコードする方法が1兆通りあり、私が持っている1兆の要素のうち10億個でそれをエンコードした場合、エンコードしたその10億個すべてを見つけ出さなければならず、さらにそれを確実にオンにしたりオフにしたりできる必要があります」と、アデバヨはTechCrunchに語った。「現在のモデルでもそれは可能ですが、非常に脆いのです…。それはある種、聖杯を求めるような課題の一つです」 アデバヨはこの研究を、MITで博士号を取得中に開始した。2020年に共著した広く引用された論文では、深層学習モデルを理解する既存の方法は信頼性が低いことが示された。この研究は最終的に、LLMを構築する新しい方法の創出につながった。開発者はモデル内に「コンセプト層」を挿入し、データを追跡可能なカテゴリに分類する。これには初期段階でのデータアノテーション（注釈付け）がより多く必要となるが、他のAIモデルを活用することで、彼らはこれまでで最大の概念実証としてこのモデルの訓練に成功した。 「人々が行っている解釈可能性の研究は…モデルに対する神経科学のようなもので、我々はそれをひっくり返しました」とアデバヨは言う。「我々が実際に行っているのは、神経科学を行う必要がなくなるように、モデルを一から設計することです」 画像クレジット: Guide Labs このアプローチに対する懸念の一つは、LLMを非常に興味深いものにしている創発的行動の一部を排除してしまう可能性があることだ。つまり、訓練されていない事柄について新しい方法で一般化する能力である。アデバヨによれば、これは同社のモデルでも依然として起こっているという。彼のチームは、量子コンピューティングのようにモデルが独自に発見した「発見された概念」を追跡している。 Techcrunchイベント TechCrunch Founder Summit で最大300ドルまたは30%オフ 1,000人以上の創業者と投資家が、成長、実行、実世界でのスケーリングに焦点を当てた丸一日のイベント、TechCrunch Founder Summit 2026に集結します。業界を形作ってきた創業者や投資家から学び、同じ成長段階を進む仲間とつながり、すぐに実践できる戦術を持ち帰れます。オファーは3月13日まで。 TechCrunch Founder Summit で最大300ドルまたは30%オフ 1,000人以上の創業者と投資家が、成長、実行、実世界でのスケーリングに焦点を当てた丸一日のイベント、TechCrunch Founder Summit 2026に集結します。業界を形作ってきた創業者や投資家から学び、同じ成長段階を進む仲間とつながり、すぐに実践できる戦術を持ち帰れます。オファーは3月13日まで。 アデバヨは、この解釈可能なアーキテクチャは誰もが必要とするものになると主張する。消費者向けLLMでは、この技術によりモデルビルダーは、著作権保護素材の使用をブロックしたり、暴力や薬物乱用などの主題に関する出力をより適切に制御したりすることが可能になるはずだ。規制産業では、より制御可能なLLMが求められる。例えば金融では、融資申請者を評価するモデルが財務記録のような要素は考慮するが、人種は考慮しない必要がある。科学的研究においても解釈可能性は必要であり、これはGuide Labsが技術を開発したもう一つの分野だ。タンパク質折りたたみは深層学習モデルの大きな成功例だが、科学者たちは、なぜ自身のソフトウェアが成功する組み合わせを見つけ出せたのかについて、より深い洞察を必要としている。 「このモデルが実証しているのは、解釈可能なモデルの訓練はもはや一種の科学ではなく、エンジニアリングの問題だということです」とアデバヨは言う。「我々はその科学を解明し、それをスケールさせることができます。そして、この種のモデルが、はるかに多くのパラメータを持つ最先端レベルのモデルの性能に追いつかない理由はありません」 Guide Labsによれば、Steerling-8Bはその新しいアーキテクチャのおかげで、既存モデルの能力の90%を達成しつつ、より少ない訓練データで済むという。Y Combinatorから輩出され、2024年11月にInitialized Capitalから900万ドルのシード資金を調達した同社の次のステップは、より大規模なモデルを構築し、ユーザーにAPIおよびエージェント的アクセスを提供し始めることだ。 「現在我々がモデルを訓練している方法は非常に原始的であり、本質的な解釈可能性を民主化することは、人類にとって長期的には実に良いことになるでしょう」とアデバヨはTechCrunchに語った。「超知能となるようなこれらのモデルを追求していく中で、自分にとってある種不可解な存在が、自分に代わって決定を下すようなことは望まないはずです」 ティム・ファーンホルツ ティム・ファーンホルツは、技術、金融、公共政策について執筆するジャーナリストである。民間宇宙産業の台頭を詳細に取材し、『Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race』の著者でもある。以前は、グローバルビジネスニュースサイトQuartzで10年以上シニアレポーターを務め、キャリアはワシントンD.C.での政治記者として始まった。連絡または取材依頼の確認は、tim.fernholz@techcrunch.com へメールするか、Signalでtim_fernholz.21に暗号化メッセージを送信することで可能。バイオを見る 10月13-15日 サンフランシスコ、カリフォルニア州 2月27日までにパスを最大680ドル節約。投資家と出会い、次のポートフォリオ企業を発見しよう。250人以上の技術リーダーからの話を聞き、200以上のセッションに深く入り込み、次なるものを構築する300以上のスタートアップを探索できる。この一度きりの割引をお見逃しなく。 返したくない9,000ポンドの怪物 サム・アルトマンが思い出させたいこと：人間も大量のエネルギーを使っている Google副社長が警告：2種類のAIスタートアップは生き残れないかもしれない xAIにとって朗報：Grokは『Baldur's Gate』に関する質問に今やかなり上手く答えられる ラッセル・ブランダム FBIが警告：ATM「ジャックポッティング」攻撃が増加、ハッカーは数百万ドルの現金を盗む Germと呼ばれるスタートアップが、Blueskyアプリから直接起動する初のプライベートメッセンジャーに Meta自身の研究が発見：親の監督は十代の若者の強迫的なソーシャルメディア使用を抑えるのにあまり役立たない

Guide Labs、解釈可能な新種のLLMを発表

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト