Xaira、創薬向け因果モデル「X-Cell」発表
Xaira Therapeutics は、既存の観測データに依存する従来の手法の限界を克服し、因果関係が明確な高品質データを収集することで、AI 駆動創薬のパラダイムシフトを実現した。
キーポイント
情報の壁とスケーリングの限界
パラメータ数を 15 億から 31 億に増やしてもテスト損失が横ばいになる現象は、データに含まれる情報量がボトルネックであることを示しており、単なる計算資源の増加では性能向上に限界がある。
因果関係を持つデータの重要性
CELLxGENE のような大規模データベースは細胞の状態を記述するが、遺伝子発現への介入結果（因果）を予測するには不十分であり、Xaira は介入実験を通じて因果関係が明確なデータを構築した。
戦略的転換と投資
Ci Chu 氏と Bo Wang 氏の昇進は、データ収集に数千万ドル規模の予算を投じ、RL（強化学習）のような展開型アプローチを採用し、情報豊富なデータを創薬の中核に据えるという経営判断を示している。
X-Atlas データセットと X-Cell モデルの構築
CRISPR を用いた数百万回の並列実験から得られる生データ「X-Atlas」を基に、遺伝子操作による細胞の変化を予測するモデル「X-Cell」が構築されました。
自己回帰から拡散モデルへの転換
チームは従来の自己回帰アプローチではなく、より効果的な拡散モデル（diffusion）を採用することで、遺伝子ネットワークの因果関係や線形ベースラインを上回る性能を実現しました。
実世界の実験への一般化と前知見の活用
このアプローチは実際のヒト細胞における実験結果にも一般化可能であり、多様な事前知識（priors）を統合することでデータやアーキテクチャ単独よりも優れた予測精度を達成しています。
重要な引用
If test loss flatlines after 1.5B parameters while training loss continues to drop as you scale, that tells you that your model is limited by the amount of information in your data.
Neither parameters nor compute will improve performance past this wall.
RNA expression ≠ Virtual Cell
Changes in gene expression are highly correlated, and its is difficult (impossible) to figure out what causes what in most cases.
If you could "turn the dial down" on one gene at a time, however, then you would be able to observe what is upstream and downstream of a given gene.
The team abandoned autoregression for diffusion.
影響分析・編集コメントを表示
影響分析
この記事は、生成 AI や大規模モデルの発展において「データの質」と「因果関係の明示」が次なる重要な課題であることを浮き彫りにしています。特に創薬分野では、単なる相関関係に基づく予測から、介入結果を正確に予測できる因果モデルへの転換が必要であり、そのためのデータ収集戦略が競争優位性の源泉となることを示唆しています。
編集コメント
創薬分野における AI の活用は、単なるデータ解析から因果推論へと進化しており、そのための「実験によるデータ収集」という古典的かつ高コストなアプローチが再び重要視されています。これは、AI モデルの性能向上において計算資源だけでなく、データの質と構造が極めて重要な要素であることを示す象徴的な事例です。
情報の質に賭ける
パラメータを 15 億個まで増やしてもテスト誤差が横ばいになる一方で、トレーニング誤差は引き続き低下し続ける場合、それはモデルの性能がデータに含まれる情報量の限界によって制約されていることを意味します。
単一の、やや小規模なデータセットでのトレーニングでは情報不足が浮き彫りになりました。31 億パラメータのモデルはスケーリングのトレンドから外れてしまいます。この壁を越えて性能を向上させるには、パラメータ数を増やしたり計算リソースを増強したりするだけでは不十分です。遺伝子発現の変化を予測するためには、より情報密度の高いデータが必要なのです。
これが Chu 氏と Bo 氏のチームが取り組んだことであり、約 30 倍の情報量を得ることで何が可能になるかを示します。
これで、パラメータ数とトレーニング計算リソースを拡大してモデルを成長させることが可能になりました。この取り組みにどれほどの費用がかかったかは不明ですが、データ収集実験やインフラ整備には数千万ドル規模の予算が必要だったと推測されます。一方、計算資源、人員、研究開発には数百万ドル程度で収まったでしょう。この予算配分は、情報豊富な事前学習モデル向けというよりは、強化学習（RL）の展開プロジェクトに近いものです。
この物語の中心人物二人を、私たちは幸運にもポッドキャストにお招きできました。Ci Chu と Bo Wang のリードのもと、Xaira Therapeutics は、情報量の豊富なデータが AI 駆動型創薬の鍵であると確信し、その賭けに出ています。最近、Chu がチーフディスカバリーオフィサーに、Bo がチーフ AI サイエンティストに昇進したことは、Xaira がこの戦略的賭けをいかに重要視しているかを如実に示しています。
ヒト細胞の逆解析
もしヒト細胞がどのように機能するかを理解しようとしたら、どうしますか？まず手始めとして、異なる種類の細胞や状況下で、どの遺伝子が発現しているか（つまり、どのような RNA が浮遊しているか）を記録することから始めるのが良いでしょう。
それが CELLxGENE です。チャン・マーク・ザッカーバーグ研究所が構築したこのデータベースには 1 億 6800 万個の細胞が含まれており、各細胞において 2 万〜3 万個の遺伝子が検出された回数をマッピングしています。さらに、すべての細胞に関する詳細なメタデータも含まれています。これは約 4 兆エントリに及ぶ巨大な行列です。
タンパク質構造データベース（PDB）が構造生物学モデルを解き放ったように [Boltz, BioHub リンク]、CellXGene はバーチャルセルモデルにおいて同様の役割を果たしました。PDB が RNA 発現モデルの群れを生み出したように、CELLxGENE もまた多くの AI モデルにインスピレーションを与えています。そのほどほどの影響力により、「RNA 発現モデル」と「バーチャルセルモデル」はほぼ同義語として扱われるようになりました。Bo Wang は、Xaira の新モデルの出発点となった最も影響力のあるモデルの一つである scGPT を開発しました。
RNA 発現 ≠ バーチャルセル
CELLxGENE で学習されたモデルは、細胞の種類と状態の関係を記述することは得意ですが、RNA 発現に人為的な変化を加えた場合に何が起きるかを予測するのは苦手です。遺伝子発現の変化は高い相関を示すことが多く、ほとんどのケースで「何が原因で何の結果を生んだのか」を特定するのは困難（あるいは不可能）です。
しかし、もし一度に一つの遺伝子の発現量を調整できるような実験が可能であれば、ある特定の遺伝子の上位と下位にある要素を観察できるようになります。例えば、「A が B と C を引き起こすのか」、それとも「B が A を引き起こし、C は別の経路なのか」、あるいは「B → A、C → B → …」といった因果関係の方向性を特定できるかもしれません。すべての遺伝子に対してこの実験を行えれば、ある遺伝子を改変した際（薬剤投与や遺伝子編集など）に細胞がどう反応するかを予測するモデルを構築できる可能性があります。あるいは、特定の遺伝子の発現を変化させるための最も侵襲性の低い方法を見出すこともできるでしょう。
X-Atlas → X-Cell
まさにこれが Chu 氏と Bo 氏のチームが行ったことです。彼らが利用したデータセットは「X-Atlas」、そして構築されたモデルは「X-Cell」と名付けられています。
今回のエピソードでは、以下の点について議論します：
- なぜ自己回帰モデルではなく拡散モデルを採用したのか
- CRISPR を活用して数百万のテストを並列実行し、X-Atlas と X-Cell の生データを生み出す実験手法
- 実際のヒト細胞を用いた研究室の実験への一般化能力
- 先行モデルを上回る性能を示してきた線形ベースラインを打ち破る成果
- 「ありとあらゆる事前知識（Kitchen-sink priors）」を採用する正当性と、それがデータやアーキテクチャと比較してどう評価されるか
ボー氏は、学術界のリーダーと産業界のリーダーとしての自身の強みについて、またそのラボが AI 革新の驚異的なスピードにどう対応しているかについても共有しました。
YouTube やお気に入りのポッドキャストプラットフォームでエピソード全体をご覧ください。
1 この昇進は、私たちがエピソードを録音した後に実現したものです。
2 もちろん、連鎖反応にはサイクルが存在し、二次的・三次次的な効果（複数の遺伝子が同時に変化した場合にのみ生じる現象など）も起こり得ます。しかし、一次効果から始めるのは非常に有効なアプローチであり、私たちが知るべき多くのことを教えてくれる可能性があります。
原文を表示
Bet on information
If test loss flatlines after 1.5B parameters while training loss continues to drop as you scale, that tells you that your model is limited by the amount of information in your data.
Training on a single, smallish data set exposed an information gap: the 3.1B model falls off the scaling trend. Neither parameters nor compute will improve performance past this wall. For predicting changes to gene expression, you need more information rich data.
This is what Chu and Bo’s teams have done, and here is what ~30x the information buys you:
Now we can scale with parameters and training compute! We don’t know how much this effort costed, but we can guess that data collection experiments and infrastructure was a few tens of millions, and compute + headcount + research was a few million. The budget looks like a RL rollout budget, rather than a data rich pre-training one.
We were lucky enough to have the two central figures in this story on our podcast. Taking the lead from Ci Chu and Bo Wang, Xaira Therapeutics is betting that information rich data is the key to AI-driven drug development. Chu was recently promoted to Chief Discovery Officer and Bo to Chief AI Scientist1, underscoring just how strategic Xaira considers this bet.
Reverse engineering the human cell
If you had to figure out how a human cell works, what would you do? A good place to start might be by documenting what genes are expressed (e.g. what RNA is floating around) in different kinds of cells, in different circumstances.
That is CELLxGENE, a database of 168M cells built by Chan Zuckerberg Institute that maps each cell to a count of how many times 20K-30K genes were detected in that cell, plus detailed metadata about every cell. A ~4 trillion-entry matrix.
If the Protein Data Bank (PDB) unlocked structural biology models [link Boltz, BioHub], CellXGene has done the same thing for Virtual Cell models. Like PDB, CELLxGENE has inspired a zoo of AI models of RNA expression; so much so that RNA expression models have become synonymous with Virtual Cell models. Bo Wang built one of the most influential, scGPT, that became the starting point for Xaira’s new model.
RNA expression ≠ Virtual Cell
Models trained on CELLxGENE describe the relationship between cell types and cell states, but they are not good at predicting what will happen if we make changes to RNA expression. Changes in gene expression are highly correlated, and its is difficult (impossible) to figure out what causes what in most cases.
If you could “turn the dial down” on one gene at a time, however, then you would be able to observe what is upstream and downstream of a given gene2. You could tell if A → B & C or B → A & C or B → A, C → B → … If you did this for all of the genes, then maybe you could train a model that could predict what would happen to a cell if you change a gene (e.g. with a drug or a gene edit). Or maybe you could figure out the least invasive way to change a particular gene’s expression.
X-Atlas → X-Cell
This is exactly what Chu and Bo’s teams have done. The data set is called X-Atlas and the model is called X-Cell.
In this episode, we discuss:
Why the team abandoned autoregression for diffusion
The CRISPR-based experiments that run millions of tests in parallel, and generate the raw data for X-Atlas and X-cell
Generalization to real lab experiments in real human cells
Beating the linear baseline that has outperformed previous models
Justifying a kitchen-sink of priors, and how that stacks up vs. data and architecture
Bo also shared with us some of the (major) advantages he has as an academic vs. industry leader, and how his labs keep up with the breakneck pace of AI innovation.
Check out the full episode on YouTube, or your favorite podcasting platform!
1These promotions happened after we recorded the episode
2There can be cycles in the chain reaction, of course, and there can be second, third, etc. order effects (meaning things that only happen when multiple genes change at once), but the first order effects are a great place to start, and might tell us a lot of what we need to know.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み