科学者はAIを神託ではなく道具として使うべきである

AI の過剰な期待を生み出しているのは誰か。『AI スネークオイル』という書籍で議論した通り、それは企業やメディアだけでなく、AI 研究者自身も含まれるのである。例えば、2023 年 12 月に『Nature』誌に掲載された一連の広く報道された論文では、AI を用いて 220 万種以上の新素材を発見し、そのうち 41 種をロボットによって合成したと主張していた。残念ながら、これらの主張はすぐに否定された。「生成された [41] 種の素材のほとんどが誤って同定されており、残りのものもすでに知られていた」というのだ。また、大規模データセットについても、250 種類の化合物をサンプリングして調査した結果、その大部分がゴミであることが判明した。

機械学習（Machine Learning）の中核的な売り文句は「理解なき発見」であり、これが機械学習に基づく科学において誤りが特に頻繁に起こる理由となっている。3 年前、私たちは「リーケージ」と呼ばれる誤り——テスト対策のための教育を機械学習版にしたようなもの——が広範に存在し、17 の分野から数百の論文に影響を与えていることを示す証拠を集めた。それ以来、私たちはこの問題をより深く理解し、解決策を考案しようとしてきた。

本稿はその更新である。要するに、状況は改善される前にさらに悪化するだろうと我々は考えているが、地平線には希望の兆しも見えている。

惨禍は続く

最新の集計において、研究者が公開された研究データに漏洩（リーケージ）を発見した分野の数が 30 に達しました。その大半は医学分野であり、これは医療研究における誤りが特に重大な結果を招く可能性があるため、医学分野ではベストプラクティスの確立や過去の研究成果に対する批判的レビューにより多くの努力が払われているという事実によるものだと強く推測しています。全分野にわたって約 650 の論文が影響を受けており、これは実際には大幅な過小評価である可能性が高いと仮説を立てています。なぜなら、研究者が体系的に漏洩を検索した場合、多くの分野でサンプル調査された研究の大半がこの漏洩という誤りを犯していることが発見されるからです。

リーケージは再現性失敗の原因の一つに過ぎません。機械学習（ML）に基づく科学のあらゆる段階——データ収集から前処理、結果報告に至るまで——には広範な欠陥が存在します。再現不可能性を招く可能性のある問題としては、ベースラインとの不適切な比較、代表性のないサンプル、特定のモデル選択に対して結果が敏感に反応すること、そしてモデルの不確実性の報告不足などが挙げられます。また、研究者がコードやデータを公開しないという基本的な問題も存在し、これが再現性を阻害しています。例えば、Gabelica らは 2019 年 1 月に BioMed Central にインデックスされたオープンアクセスジャーナル 333 を調査しましたが、その結果、データ共有を要請に応じて行うと約束した 1,800 の論文のうち、93% が実際にそれを行っていなかったことが判明しました。

その根源は深い

機械学習以前から、多くの科学分野は再現性と反復可能性の危機に直面していました。その根本原因には、科学界における「出版せねば淘汰される」という文化、陽性の結果を出版する強いバイアス（陰性の結果を出版することはほぼ不可能）、誤った研究を否定するためのインセンティブの欠如、そして粗末な作業を出版しても何の制裁もないという状況が挙げられます。例えば、誤りのある論文はほとんど撤回されません。同業者たちは再現性の失敗に気づいてさえいないようです——ある論文が再現できなくなった後でも、それを引用する記事のうち、その再現試行を言及したのはわずか 3% だけです。1 科学コミュニケーション担当者は「科学は自己修正する」と主張するのが好きですが、私たちの経験では自己修正は実質的に存在しません。

これらの文化的要因は、機械学習に基づく科学においてもすべて存在しています。しかし、機械学習は、出版された結果を懐疑的に見るべき追加的な理由をいくつももたらします。性能評価は notoriously 厄介で（非常に難しい）、その多くの側面、例えば不確実性の定量化などは未解決の研究領域です。また、機械学習のコードは従来の統計モデリングに比べてはるかに複雑で標準化されていません。コードレビューが査読者の職務ではないため、コーディングエラーはほとんど発見されません。

しかし、研究の質が低い最大の理由は、研究者の間で疑いの心という科学的好ましい実践の根幹をなすものが欠如していることにつながる、広範な過剰な期待（ハイプ）にあると考えています。私たちは、研究者が過度に楽観的な期待を抱き、機械学習モデルのパフォーマンスが悪い場合に、自分が何か間違えたと思い込んでモデルを調整する一方で、実際には予測可能性に対する本質的な限界に直面した可能性を強く考慮すべきだと観察しました。逆に、モデルのパフォーマンスが良い場合には、彼らは容易に信じ込みがちですが、実際にはデータリークやその他の欠陥に対して警戒を怠るべきではありません。そして、モデルが予想以上に優れたパフォーマンスを示した場合、人間が考えもしなかったパターンをデータが発見したと仮定し、AI を異星の知性とする神話がその説明をすぐに妥当なものに見せるのです。

これはフィードバックループです。過度な楽観主義が欠陥のある研究を助長し、その分野の他の研究者に対して AI が何を成し得るべきで何を成し得ないべきかについてさらに誤解を与えます。実際、私たちが frustrated な研究者との非公式なやり取りで遭遇した極端な事例では、欠陥のある研究が修正されないため、「最先端」を上回るモデルにならない限り良い研究を出版することが文字通り不可能になっています。

ツールがより強力になり、ブラックボックス化するほど、エラーや過信の潜在的可能性は高まります。心理学や医学などにおける再現性の危機は、単純な統計手法の誤用による結果でした。機械学習（ML）が比較的新しい分野であることを考慮すると、我々の推測では、機械学習に基づく科学における再現性の危機は、改善が始まるまでしばらくの間さらに悪化するでしょう。そして今、科学者たちは大規模言語モデルや生成 AI を受け入れており、これらは理解の錯覚のような多くの新たな落とし穴を開いています。

あなたは「AI スネークオイル」というブログを読んでいます。これは我々の書籍に関するブログです。新しい投稿を受け取るには購読してください。

希望の兆し

機械学習ベースの科学の良い点の一つは、通常、人々に対する実験ではなくデータ分析のみを伴うことです。したがって、他の研究者は原則として、論文のコードとデータをダウンロードして、報告された結果を再現できるかどうかを確認できます。また、コード内のエラーや問題のある選択についてもレビューできます。これは時間がかかりますが、心理学や医学における研究の複製に比べればはるかに少ない負担です。後者の場合、通常は元の研究とほぼ同等のコストがかかるからです。

もう一つの良い点は、研究者が何を注意すべきかを知っていれば、誤りのほとんどを回避できることです。これに対し、統計科学における再現性危機への対策（事前登録など）は、効果に関する記録がばらつきが大きく、必ずしも成功しているわけではありません。

したがって、私たちはこの問題は、研究者が体系的により慎重に作業を行う文化への変化と、再現性研究に対するインセンティブの創出によって大幅に緩和できると考えています。機械学習手法コミュニティはすでに、共通タスク法（数十年の歴史を持つ）や再現性チャレンジ（より近年のもの）を通じてこの方向へと進んでいますが、機械学習ベースの科学、つまり機械学習モデルを用いて各自の分野での知識を進展させる医学や心理学などの分野では、まだそのような変化は起きていません。

私たちはこれを改善するためのいくつかの取り組みを主導してきました。まず、漏洩に関する論文は一定の影響を与えています。この論文は、研究者がモデルをどのように構築しているかを明確にし、漏洩がないことを文書化・実証するために使用されています。また、公開された研究における漏洩を検出しようとする研究者によっても利用されており、漏洩の研究の重要性を強調し、分野固有のガイドラインを作成する手段としても活用されています。

漏洩以外にも、私たちはコンピュータサイエンス、データサイエンス、社会科学、数学、生物医学研究にわたる19名の研究者グループを率いて、機械学習（ML）に基づく科学のための「REFORMS チェックリスト」を開発しました。これは32項目からなるチェックリストで、機械学習に基づく科学における8種類の一般的な落とし穴を検出するのに役立ちます。そのうち漏洩は1つに過ぎません。このチェックリストは最近『Science Advances』誌に掲載されました。もちろん、文化の変革が伴わなければチェックリストだけでは効果はありませんが、これまでの反響を踏まえると、私たちは慎重に楽観視しています。

結びの言葉

私たちの主張は、AI が科学者にとって無意味だということではありません。私たち自身も、AI に関する研究以外でも頻繁に AI をツールとして使用しています。キーワードは「ツール」です。AI は革命ではありません。また、人間の理解を代替するものでもありません。そう考えることは、科学の本質を見失うことになります。AI が研究に内在する困難な作業や挫折への近道を提供するわけではありません。AI は予言者ではなく、未来を見ることもできません。

残念ながら、科学のほとんどの分野は AI の過剰な期待に屈し、常識の停止を招いています。例えば、政治学のある研究ラインでは、内戦の発生を 90% を大きく上回る精度で予測できると主張しましたが、これは一見して不可能な数字です。（実際にはデータリークが原因であり、それがこの研究ライン全体に関心を持つきっかけとなりました。）

私たちは科学史において興味深い瞬間にいます。さまざまな分野における AI の採用状況を示すこれらのグラフをご覧ください：3

分野別 AI 関連論文の割合、1985–2023 年。（出典：Duede et al. 2024）

これらのホッケースティックグラフは好ましいニュースではありません。むしろ恐ろしいべきものです。AI の導入には科学の認識論における変化が必要です。4 どの科学分野も、数年という時間スケールでこれを実現する能力を持っていません。これはツールや手法が有機的に採用された際に起こる現象ではありません。これは科学者たちが資金獲得のために流行に飛びつくときに起こることです。現在の過剰な期待レベルを考えると、科学者が AI を導入するために追加のインセンティブは必要ありません。つまり、AI による科学研究への資金プログラムは状況を悪化させている可能性があります。欠陥のある研究が雪崩のように押し寄せるのを完全に止めることはできないかもしれませんが、少なくとも AI による科学研究への資金の一部を、より良いトレーニング、批判的探究、メタサイエンス、再現性、およびその他の品質管理活動に振り向けることで、混乱を最小限に抑えることができるでしょう。

私たちの著書『AI Snake Oil』は現在予約注文が可能です。当ブログをお楽しみいただき、私たちの活動を支援したいとお考えの場合は、Amazon、Bookshop、またはお気に入りの書店を通じて予約注文をお願いいたします。

1 明確にするために、再現性の失敗が必ずしも元の研究に欠陥があることを意味するわけではありません。本稿で懸念しているのは、主にリーケージのような比較的明白なエラーです。

2 ここでいう精度とは、AUC という指標を指します。一方の結果（平和）が他方（戦争）よりもはるかに一般的である場合でも、ベースラインの AUC は 50% です。

3 論文は、異なる種類の AI「関与」をひとくくりにしています。この関与には、新たな AI 理論やアプローチ、技術、あるいは応用の開発が含まれる可能性があります（これに限定されません）、ドメイン固有のタスクに対する AI モデルの一般的な利用、そして哲学や倫理学などの分野における学術的議論に代表されるような、AI への批判的な関与などが挙げられます。これは私たちの目的にとっては不幸なことです。なぜなら、私たちが懸念しているのは、第二のカテゴリー、つまりドメイン固有のタスクに対する AI の利用のみだからです。コンピュータサイエンスや哲学のような一部の分野を除けば、ほとんどの AI への関与はこのカテゴリーに分類されると私たちは考えています。

4 特に、「すべてのモデルは誤りであるが、有用なモデルもある」という言葉があるように、モデルに基づいて世界について結論を導き出せるかという問いに対する明確な答えはありません。したがって、妥当性は各分野および各タイプのモデルにおいて再検討されなければなりません。