Xaira、創薬向け因果モデル「X-Cell」発表

情報の質に賭ける

パラメータを 15 億個まで増やしてもテスト誤差が横ばいになる一方で、トレーニング誤差は引き続き低下し続ける場合、それはモデルの性能がデータに含まれる情報量の限界によって制約されていることを意味します。

単一の、やや小規模なデータセットでのトレーニングでは情報不足が浮き彫りになりました。31 億パラメータのモデルはスケーリングのトレンドから外れてしまいます。この壁を越えて性能を向上させるには、パラメータ数を増やしたり計算リソースを増強したりするだけでは不十分です。遺伝子発現の変化を予測するためには、より情報密度の高いデータが必要なのです。

これが Chu 氏と Bo 氏のチームが取り組んだことであり、約 30 倍の情報量を得ることで何が可能になるかを示します。

これで、パラメータ数とトレーニング計算リソースを拡大してモデルを成長させることが可能になりました。この取り組みにどれほどの費用がかかったかは不明ですが、データ収集実験やインフラ整備には数千万ドル規模の予算が必要だったと推測されます。一方、計算資源、人員、研究開発には数百万ドル程度で収まったでしょう。この予算配分は、情報豊富な事前学習モデル向けというよりは、強化学習（RL）の展開プロジェクトに近いものです。

この物語の中心人物二人を、私たちは幸運にもポッドキャストにお招きできました。Ci Chu と Bo Wang のリードのもと、Xaira Therapeutics は、情報量の豊富なデータが AI 駆動型創薬の鍵であると確信し、その賭けに出ています。最近、Chu がチーフディスカバリーオフィサーに、Bo がチーフ AI サイエンティストに昇進したことは、Xaira がこの戦略的賭けをいかに重要視しているかを如実に示しています。

ヒト細胞の逆解析

もしヒト細胞がどのように機能するかを理解しようとしたら、どうしますか？まず手始めとして、異なる種類の細胞や状況下で、どの遺伝子が発現しているか（つまり、どのような RNA が浮遊しているか）を記録することから始めるのが良いでしょう。

それが CELLxGENE です。チャン・マーク・ザッカーバーグ研究所が構築したこのデータベースには 1 億 6800 万個の細胞が含まれており、各細胞において 2 万〜3 万個の遺伝子が検出された回数をマッピングしています。さらに、すべての細胞に関する詳細なメタデータも含まれています。これは約 4 兆エントリに及ぶ巨大な行列です。

タンパク質構造データベース（PDB）が構造生物学モデルを解き放ったように [Boltz, BioHub リンク]、CellXGene はバーチャルセルモデルにおいて同様の役割を果たしました。PDB が RNA 発現モデルの群れを生み出したように、CELLxGENE もまた多くの AI モデルにインスピレーションを与えています。そのほどほどの影響力により、「RNA 発現モデル」と「バーチャルセルモデル」はほぼ同義語として扱われるようになりました。Bo Wang は、Xaira の新モデルの出発点となった最も影響力のあるモデルの一つである scGPT を開発しました。

RNA 発現 ≠ バーチャルセル

CELLxGENE で学習されたモデルは、細胞の種類と状態の関係を記述することは得意ですが、RNA 発現に人為的な変化を加えた場合に何が起きるかを予測するのは苦手です。遺伝子発現の変化は高い相関を示すことが多く、ほとんどのケースで「何が原因で何の結果を生んだのか」を特定するのは困難（あるいは不可能）です。

しかし、もし一度に一つの遺伝子の発現量を調整できるような実験が可能であれば、ある特定の遺伝子の上位と下位にある要素を観察できるようになります。例えば、「A が B と C を引き起こすのか」、それとも「B が A を引き起こし、C は別の経路なのか」、あるいは「B → A、C → B → …」といった因果関係の方向性を特定できるかもしれません。すべての遺伝子に対してこの実験を行えれば、ある遺伝子を改変した際（薬剤投与や遺伝子編集など）に細胞がどう反応するかを予測するモデルを構築できる可能性があります。あるいは、特定の遺伝子の発現を変化させるための最も侵襲性の低い方法を見出すこともできるでしょう。

X-Atlas → X-Cell

まさにこれが Chu 氏と Bo 氏のチームが行ったことです。彼らが利用したデータセットは「X-Atlas」、そして構築されたモデルは「X-Cell」と名付けられています。

今回のエピソードでは、以下の点について議論します：

• なぜ自己回帰モデルではなく拡散モデルを採用したのか
• CRISPR を活用して数百万のテストを並列実行し、X-Atlas と X-Cell の生データを生み出す実験手法
• 実際のヒト細胞を用いた研究室の実験への一般化能力
• 先行モデルを上回る性能を示してきた線形ベースラインを打ち破る成果
• 「ありとあらゆる事前知識（Kitchen-sink priors）」を採用する正当性と、それがデータやアーキテクチャと比較してどう評価されるか

ボー氏は、学術界のリーダーと産業界のリーダーとしての自身の強みについて、またそのラボが AI 革新の驚異的なスピードにどう対応しているかについても共有しました。

YouTube やお気に入りのポッドキャストプラットフォームでエピソード全体をご覧ください。

1 この昇進は、私たちがエピソードを録音した後に実現したものです。

2 もちろん、連鎖反応にはサイクルが存在し、二次的・三次次的な効果（複数の遺伝子が同時に変化した場合にのみ生じる現象など）も起こり得ます。しかし、一次効果から始めるのは非常に有効なアプローチであり、私たちが知るべき多くのことを教えてくれる可能性があります。