AIは科学を遅らせるのか？

AI の指導者たちは、これが劇的な科学の進歩を可能にすると予測しています：がんの根治、人間の寿命の倍増、宇宙への植民地化、そして次の 10 年間で 1 世紀分の進捗達成です。米国の科学に対する連邦予算の削減を考えると、このタイミングは完璧に見えます。AI が大規模な科学労働力の必要性を代替できるからです。 少なくとも技術者たちの間では、AI が科学のあらゆる段階に採用されることで科学を大幅に加速させるという常識的な見方が一般的です。既存文献の要約、新たなアイデアの生成、それらを検証するためのデータ分析や実験の実行、発見の報告、そして「ピア」レビューの実施などです。 しかし、新しい技術が既存の制度に与える影響に関する多くの初期の常識的な予測は、大きく外れました。カトリック教会は聖書を印刷することで権威を強化する手段として活版印刷を歓迎しました。ソーシャルメディアの初期には、アラブの春以降に世界中で民主主義が広がることに対して、無邪気な楽観論が広がりました。 同様に、科学に対する AI の影響は直感に反するものになる可能性があります。個々の科学者が AI を採用することで利益を得たとしても、それが科学全体にとって利益になるとは限りません。マクロな影響を考える際、私たちは創発的性質を持つ複雑系を扱っていることになります。このシステムは市場ではないため、驚くべき振る舞いを示します。真実への報酬を与える点などでは市場よりも優れていますが、技術的なショックに対する反応などの点では劣っています。これまでのところ、総合的に見れば、AI は科学にとって不健全なショックであり、多くのプロセスを限界まで押しやってきました。 科学に対する AI の影響を真剣に予測しようとする試みは、必ず「生産と進歩のパラドックス」に対峙しなければなりません。科学論文の出版速度は指数関数的に増加しており、1900 年から 2015 年の間に 500 倍になりました。しかし、利用可能なあらゆる指標による実際の進歩は、一定のままか、むしろ鈍化しています。したがって、AI がこの乖離をもたらした要因にどのように影響し、今後どのような影響を与えるのかを問わなければなりません。 本論文における分析は、AI が格差を悪化させる可能性が高いことを示唆しています。これはすべての科学分野に当てはまるわけではなく、また確定的な結論でもありません。以下で提案するような行動を慎重かつ緊急に講じることで、事態の転換を図ることも可能かもしれません。残念ながら、AI 企業、科学研究資金提供者、政策決定者たちはすべて、科学進歩における実際のボトルネックが何であるかに無頓着なようです。彼らは単に生産性を加速させようとしていますが、これは渋滞の原因が料金所にあるにもかかわらず、高速道路の車線を追加するようなものです。確実に事態を悪化させることになります。 目次 1. 科学は鈍化している — 生産と進歩のパラドックス 2. なぜ進歩が遅れているのか？AI は助けになるか？ 3. 科学はまだソフトウェア、ましてや AI には対応できていない 4. AI は欠陥のある理論への依存を長引させる可能性がある 5. 人間の理解は依然として不可欠である 6. 科学の未来への示唆 7. 結びの言葉 「AI を通常の技術として捉える」という枠組みに基づく分析と解説 科学は鈍化している — 生産と進歩のパラドックス 発表された論文の総数は指数関数的に増加しており、12 年ごとに倍増しています。研究論文を執筆した研究者の総数も、さらに急速に増加しています。そして 2000 年から 2021 年の間に、主要な 7 つの資金提供者（米国、中国、日本、ドイツ、韓国、英国、フランス）における研究開発への投資は 4 倍に増大しました。 しかし、これがより速い進歩を意味するのでしょうか。必ずしもそうとは限りません。ある論文は科学の軌道を変える根本的なブレークスルーにつながりますが、他の論文は既知の結果に対する些細な改善に過ぎないこともあります。 真の進歩は、私たちの理解におけるブレークスルーから生じます。例えば、昨世紀半ばには大陸移動説、つまり大陸が動くという考え方が理解されました。それ以前は、地質学者たちは適切な問いさえ立てることができませんでした。彼らは地球の冷却の影響を解明しようと試みていましたが、それが山脈などの地質学的特徴をもたらしたのだと信じていました。古い地質学のパラダイムにおけるどのような発見や論文も、プレートテクトニクスがもたらしたような進歩にはつながりませんでした。 したがって、論文の数が指数関数的に増加している一方で、進歩は同じ速度で増加していないか、むしろ鈍化している可能性もあります。これが事実かどうかをどうやって判断できるのでしょうか？ この問いに答える上での課題の一つは、研究の生産とは異なり、進歩には明確で客観的な指標がないことです。幸いなことに、「科学の科学」またはメタサイエンスと呼ばれる一つの研究分野が、この問いに答えようとしています。メタサイエンスは科学的な手法を用いて科学研究そのものを研究します。具体的には、どの程度の頻度で研究を再現できるか？研究者の仕事の質に影響を与える要因は何か？学術界のインセンティブは科学成果にどう影響するか？科学に対する異なる資金調達モデルが進歩にどう影響するか？そして、実際に進歩はどれほどの速度で起こっているのか？といった問いに取り組んでいます。 ![image](https://substackcdn.com/image/fetch/$s_!WNiP!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4517c5ce-54a5-4d83-a04a-4ace96f4c1d4_1548x586.jpeg) 左：論文数および研究者数は指数関数的に増加している（Dong 他による、ウェブプロットディジタイザーを用いて線形スケールに再描画）。右：論文の破壊的インパクトは時間とともに低下している（Park 他による）。 驚くべきことに、メタサイエンスからの多くの知見は、資金、出版された論文数、および科学論文の著者数の劇的な増加にもかかわらず、進歩が鈍化していることを示唆しています。以下のいくつかのエビデンスを収集しました；マット・クラシー（Matt Clancy）はこれらの知見をより深くレビューしています。 1) Park 他は、「破壊的」な科学研究が科学全体の成果に占める割合が次第に小さくなっていることを発見しました。出版された論文や特許の数が指数関数的に増加する一方で、画期的なブレークスルーの数はほぼ一定です。 2) 新しいアイデアを導入する研究では、新しい用語を創出する可能性が高くなります。ミロジェヴィッチ（Milojevic）は、科学論文のタイトルで使用される一意のフレーズの数を時間経過とともに収集し、これを科学の「認知的範囲」の尺度として用いましたが、この指標が 2000 年代初頭まで増加していた一方で、その後は停滞期に入り、研究論文のタイトルで使われる一意のフレーズ数が減少していることが分かりました。 3) パトリック・コリソンとマイケル・ニールセンは、各分野の研究者に対し、その分野における最も重要なブレークスルー（ノーベル賞を受賞した研究など）が時間とともにどのように認識されているかを調査しました。彼らは科学者たちに、1910 年代から 1980 年代にかけてのノーベル賞受賞研究を比較するよう求めました。 その結果、医学、物理学、化学のすべての分野において、科学者たちは過去の数十年間の進歩が、より最近の数十年間の進歩とほぼ同等に重要であると評価していることがわかりました。資金調達、発表論文数、著者数の大幅な増加にもかかわらず、現在の最も重要なブレークスルーは、過去数十年のものと同程度に印象深いものです。 4) マット・クラニーはこの知見を補完する分析を行いました。それは、ある年にノーベル賞を受賞した発見のうち、直前の 20 年間に発表されたものの割合です。彼は、この数値が 1970 年の 90% から 2015 年には 50% に低下したことを発見しました。これは、変革的な発見のペースが遅くなっているか、あるいは発見が変革的であると認識されるまでに時間がかかるようになったことを示唆しています。 ![image](https://substackcdn.com/image/fetch/$s_!I7YF!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F9bb6f425-3afd-4fa8-9605-6134e149c295_1300x856.jpeg) 各年のノーベル賞受賞研究を記述する論文のうち、直前の 20 年間に発表されたものの割合。10 年移動平均。出典：クラニー（Li らのデータに基づく） 5) ブルームら（Bloom et al.）は、経済の視点から研究出力を分析している。経済成長が最終的には新しいアイデアに由来するという前提に立てば、成長率が一定または低下していることは、研究者数の指数関数的増加が、一人あたりの研究成果の対応する減少によって相殺されていることを意味する。彼らは、半導体（ムーアの法則）、農業（作物収量の成長）、医療（平均寿命）という特定の分野を掘り下げて分析しても、このパターンが成り立つことを発見している。 ![image](https://substackcdn.com/image/fetch/$s_!xxnu!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F8bdc9eee-1277-48a2-b104-20898c2f7293_1268x702.png) 研究生産性の低下。なお、経済学者は「生産（production）」を包括的な用語として用い、論文数や特許数、成長率など他の指標もその測定方法の一つとみなしている。しかし我々は、「生産」と「進展」を根本的に異なる概念と捉えているため、「生産」という言葉をより狭義の文脈で使用していることに留意されたい。図中の「生産性（productivity）」は論文生産に基づくものではなく、むしろ進展を測る指標に基づいている点に注意が必要である。出典：ブルームら（Bloom et al.）。 もちろん、上記の各指標には欠陥が存在する。これは当然のことだ。進展には客観的な測定基準が存在しないため、それを測定するには代理指標（プロキシ）に頼る必要があり、これらの代理指標には避けられない欠陥が生じるものである。 例えば、Park らは引用パターンを用いて論文を「破壊的」としてフラグ付けしました。ある論文への後続の引用が、その論文自体が引用した研究も同時に引用しない場合、その論文はより破壊的であるとみなされる可能性が高くなります。この論文に対する批判の一つとして、これは単に引用慣行が時間とともにどのように進化してきたかという結果に過ぎず、論文が本当に破壊的かどうかの結果ではないとするものがあります。また、この指標ではいくつかの画期的な成果を非破壊的としてフラグ付けしてしまいます。例えば、AlphaFold はこの指標によれば破壊的な論文とはみなされません。 しかし、これらの知見を総合すると、少なくとも論文数、研究者数、およびリソースの量と比較した場合、科学の進歩が鈍化していることを示唆しています。それでもなお、これはさらなる研究が実りある成果をもたらす分野です。入力に対する進歩ペースの低下という傾向は非常に明確である一方で、集計レベルで何が起きているのかは必ずしも明らかではありません。さらに、科学の目標や進歩の意味そのものに関する概念は多岐にわたり、利用可能な進捗測定指標をこれらの高次な定義とどのように結びつけるべきかについては不明確です。 ![image](https://substackcdn.com/image/fetch/$s_!g3PC!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F162f2914-73f9-450d-9aec-4abdcb3b7fe7_1420x718.jpeg) 科学の進歩鈍化に関するいくつかの主要な証拠ラインの要約 なぜ進歩は鈍化しているのか？AI は助けになるか？ 進歩が遅くなっている理由には多くの仮説があります。その一つに、遅延は科学の進歩における本質的な特徴であり、私たちが予想すべきものであるという仮説があります。例えば、「低くぶら下がった果実」仮説があり、これは簡単な科学的な問いはすでに答えが出ているため、残されている発見がより困難になっているというものです。 これは直感的に魅力的な考え方です。しかし、私たちはこれを納得できるものとは考えていません。アダム・マストロニアニ（Adam Mastroianni）氏は、多くの説得力のある反論を提示しています。彼は、科学分野が飽和状態に達したと誤って評価し、その直後に革命が起こった例を数多く挙げています。例えば 1890 年代の物理学などが、コミカルなタイミングで誤った予測の例として挙げられます。 確かに、低い位置にある果実は最初に摘まれますが、それに対抗する要因も存在します。時間とともに科学ツールは改善され、過去の知識という塔の上に立つことで、より高い場所への到達が容易になります。しばしば、ツールの向上や理解の深化による恩恵はあまりにも変革的であり、全く新しい分野やサブフィールドが生まれるほどです。過去 50〜100 年間に生まれた新分野には、コンピュータサイエンス（computer science）、気候科学（climate science）、認知神経科学（cognitive neuroscience）、ネットワーク科学（network science）、遺伝学（genetics）、分子生物学（molecular biology）などがあります。実質的に、私たちは新しい木から果実を摘んでいるようなものであり、常に低くぶら下がった果実は存在し続けます。 私たちの見解では、「低くぶらさがった果実」仮説は、分野内での遅延を部分的に説明するに過ぎません。したがって、他の考え方も検討する価値があります。 2 つ目の仮説群は、より悲観的ではありません。彼らは、科学の実践を構成する方法に何らかの非最適性があり、科学的投入物を進展に変換する効率が低下していると言います。特に、一連の仮説のうちの一部は、生産率自体の上昇が因果関係の犯人であると指摘しています — 科学が遅くなっているのは、あまりにも速く進もうとしているからです。 これがどうして起こり得るのでしょうか？鍵となるのは、一人の科学者の注意力には限界があるため、毎年注目できる論文の数に限界があるという点です。したがって、著者たちが正統な規範から逸脱することはリスクが高すぎます。そのような潜在的な画期的論文はノイズに埋もれてしまい、学術界の重要な規模の学者たちの注目を集めることができません。生産率が高くなるほどノイズが増大し、真に革新的な論文が得られる注目度は低下するため、正統な規範へと取り込まれる可能性も低くなります。 Chu と Evans は次のように説明しています。 毎年発表される論文の数が非常に大きくなると、新しい論文の急速な流れにより、学術的な注目がすでに多く引用されている論文に集中し、未確立の論文への注目が制限されます。これには、新しくて有用で、潜在的に変革をもたらすアイデアを持つ論文さえも含まれます。分野のパラダイムのより速い交代を引き起こすのではなく、新たな出版物の洪水は、トップ引用論文を固定化させ、新しい研究がその分野で最も多く引用され、一般的に知られる正統な規範へと昇格するのを妨げます。 これらの議論は、私たちの実証分析によって裏付けられており、科学界における数量への焦点が根本的な進歩を妨げる可能性があることを示唆しています。この有害な影響は、各分野での年間出版物の総量が継続して増加するにつれて、さらに激しくなるでしょう。 もう一つの因果関係は、研究者たちの「出版せざるを得ない」というインセンティブに関係しています。生産量は測定しやすい一方で、進歩は測定が困難です。そのため、大学やその他の科学機関は、発表された論文の数や獲得した助成金の額など、測定可能な基準に基づいて研究者を評価します。採用されるためや終身雇用（テニュア）を得るために、一定数の査読付き論文を発表しなければならないという状況は、暗黙の規範か明示的な要件のいずれによるものでも、決して珍しいことではありません。 生産性指標への強調は、時間とともに悪化しているように見えます。物理学ノーベル賞受賞者であるピーター・ヒッグスは、現代の学術界では自分が十分な生産性を認められず、職に就くことさえできなかったと有名な発言を残しています。 したがって、個々の研究者のキャリアにとってはリスク回避的な姿勢の方が有利かもしれないが、それは集団としての進歩速度を低下させる可能性がある。Rzhetsky らの研究は、生体医学においてこの現象の証拠を見出している。同分野では実験が、論文発表につながりやすいと考えられている既知で重要な分子を対象とした実験に偏りがちであり、真のブレークスルーをもたらす可能性のあるよりリスクの高い実験がおろそかにされている傾向がある。懸念すべきは、この現象が時間とともに悪化しているという点だ。 これがフィードバックループを完成させる：キャリア上のインセンティブは研究者により多くの論文発表を促し、真のブレークスルーをもたらす新規研究（しかし数年間の作業を経て単一の論文しか生まない可能性もある）への動機を削ぐ。 進歩が遅れている原因が生産性の向上にあるとすれば、AI はこれにどう影響するだろうか。最も明白な点は、科学プロセスの一部を自動化することで、科学者が無意味な生産性指標を追うことがさらに容易になることだ。AI は個々の研究者の創造性を高める可能性はあるが、均質化効果によって集団全体の創造性を低下させるかもしれない。また、注目の不平等さを悪化させ、新しいアイデアが突破口を開くことをより困難にする可能性もある。既存の検索技術（Google Scholar など）はまさにこの効果をすでに示している。 要約すると、これまでの議論では、科学の停滞が過剰生産によって引き起こされている場合、AI はそれを悪化させる可能性があると主張してきました。次のいくつかのセクションでは、その原因が何であれ、AI がなぜ停滞を悪化させる可能性があるのかについて議論します。 科学はソフトウェア、ましてや AI にはまだ準備できていません 研究者たちはどのように AI を活用しているのでしょうか？多様な方法があります：高度なパターンマッチングアルゴリズムを用いてデータ内の傾向を発見するための AI ベースのモデリング；専門家の知識に基づいて指定された手書きの機械学習モデル；あるいは、研究者が以前作成していたコードを生成するジェネレーティブ AI などです。文献レビューに AI を活用するなど、コード記述を伴わない応用例も一部存在しますが、科学分野における AI の応用の多くは、本質的にはソフトウェア開発です。 残念ながら、科学者たちはソフトウェアエンジニアとして notoriously 不向きであることで知られています。業界では標準的な慣行である自動テスト（automated testing）、バージョン管理（version control）、プログラミング設計ガイドラインの遵守などは、研究コミュニティではほとんど存在しないか、あるいは場当たり的に導入されているに過ぎません。これらは過去 60 年間にわたるソフトウェアエンジニアリングを通じてバグを防止し、ソフトウェアが期待通りに動作することを保証するために開発・標準化された慣行です。 さらに悪いことに、科学的研究で使用されるソフトウェアに対する検証はほとんど行われていません。査読は科学論文を出版する際の長く困難なステップですが、論文に付随するコードのレビューは含まれておらず、計算科学研究における「科学」の大部分が論文自体には要約されているだけで、実際には論文に付随するコードとデータによって実行されているにもかかわらずです。 実際、多くの論文では結果を生成するために使用されたコードやデータを共有することさえ失敗しており、他の研究者がコードを検証しようとしても、それを行う手段がないという状況があります。Gabelica 氏らの研究では、データとコードの共有を約束した 1,800 件の生物医学論文のうち、93% がこれらの成果物を最終的に共有しなかったことが明らかになりました。これは最も権威ある科学誌における結果にも影響を及ぼしています：Stodden 氏らは、トップクラスの科学誌の一つである『Science』に発表された 204 件の論文の著者に連絡を取り、研究のためのコードとデータの提供を求めましたが、応答したのはわずか 44% でした。 研究者が実際に使用したコードやデータを共有する場合でも、それはしばしば致命的な誤りを含んでいます。Excel のような単純なツールでさえ、様々な分野で広範なエラーを引き起こすことで悪名高いです。例えば、2016 年の研究では、遺伝子（例：Septin 2 など）の名前が自動的に日付（9 月 2 日など）に変換されたため、遺伝学論文の 5 件に 1 件が Excel に起因するエラーに苦しんでいることが示されました。同様に、科学コミュニティの多くが統計を責任を持って使用するようになったのは数十年もかかったことです。 AI は全く新しいワームの缶を開けてしまう。AI コミュニティは、微妙なエラーを検出することがいかに困難であるかを認識せずに、AI を万能薬のように宣伝することが多い。残念ながら、AI ツールを使用するには深い理解やエラーを特定する能力よりもはるかに低い能力で十分であり、それらを深く理解してエラーを識別できるようになるには多くの熟練が必要となる。他のソフトウェアベースの研究と同様に、AI ベースの科学におけるエラーを発見するには長い時間がかかることがある。AI の広範な採用が、研究者に誤った研究に基づいて時間を費やしたり構築したりするよう促し、その結果、研究者の時間と努力が無駄な研究方向に浪費されるなら、それは進歩を遅らせる可能性がある。 残念ながら、私たちはすでに AI が広範なエラーを引き起こしていることを発見した。生成AIが登場する以前から、従来の機械学習は30 の科学分野にわたる 600 件以上の論文でエラーをもたらしていた。多くの場合、影響を受けた論文が調査対象の論文の過半数を占めており、多くの分野では AI を活用した研究の過半数が欠陥を抱えている可能性さえ示唆されている。他の研究者たちは、AI ツールが不適切なベースライン比較で使用されることが多く、それによって古くからの手法よりも優れているように誤って見せられていることを発見している。これらのエラーは単なる理論上の問題ではなく、AI の実際の現場での展開にも影響を及ぼす。例えば、Roberts 氏らの研究では、COVID-19 診断に AI を使用した 400 件以上の論文のうち、方法論的な欠陥のために臨床的に有用なツールを生み出したものは一つもなかったことが示されている。 生成AI の応用は新たな種類のエラーをもたらす可能性がある。例えば、AI はプログラム支援において...

AIは科学を遅らせるのか？

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト