教皇レオの「AI に関する人間性の尊厳」文書：RTMH

その聖なる方は、AI について頻繁に発言されています。その文書は全長 82 ページに及びます。

完全な『Magnifica Humanitas』はここで見ることができます。

レオ教皇がこの問題を真剣に受け止め、自らの見解を共有し、欠点や中心的な誤りがあるにもかかわらず道徳的な明確さをもたらしてくださったことを大変嬉しく思います。声を発する人々が、たとえ私が同意しない場合であっても、このように自らの見解を共有すべきです。

これは奇妙な文書です。その多くは AI についてではありません。

私は教皇の AI に関する最も基本的な点には同意します。それは、AI は私たちがそれをどう作るかによって何になるかということです。私たちはこの技術を舵取りし、どのように開発され利用されるかを決定でき、それが私たちが良い未来を得るかどうかを決定し得ます。これを市場のインセンティブや戦略的圧力に完全に委ねてはなりません。はい、まさにその通りです。

中心的な問題は、レオの世界観の多くが、私には非常に異質でかつ非常に誤っているものの組み合わせであるように思えることです。おそらくそれは、彼が教皇でありカトリック教徒であり、信仰を持つ人であること、一方私はそうではないことに起因するのだとお考えになるかもしれません。

もしそうお考えなら、それは間違いです。それらはこれらすべてと驚くほどほとんど関係がないようです。

ここには多くの良い点もありましたが、私は主に三つの面で失望しました：

レオが AI は思考できない、あるいは重要な意味で心を持たないと否定するという中心的な主張は、オラフがその声明で指摘している通り誤りです。

AI が何になり得るのかという理解がないままでは、この文書は実質的に比較的平凡な AI の危険性と変化のみを扱っており、それ自体がすでに扱うべき・議論すべきことが非常に多いものではありますが。

レオ教皇は、どのような行動やシステムがどのような結果をもたらすかについて、単に誤っていると考えられる経済観と世界体系を支持しており、実質的には制度主義者であり、欧州の技術官僚的左翼的社会正義社会主義労働中心の視点に立っています。特に、経済の役割を『良い仕事』を生み出し保護することとして捉えている点などがその典型です。教皇および過去の教皇たちへの評価として、彼らは開発と成長の中心的価値を理解していることは確かですが、実践においてそこに至る方法を拒絶しています。

平和や慈悲、対話へと向かう人々をある程度は必要とし、貧困層や権限のない人々のことを気遣い、同胞のためにさらに行動するよう呼びかけることも重要です。バランスの取れたより大きな絵の一部として見れば、これは積極的に良いことになり得ますが、欧州はこのバランスを欠くことの危険性を私たちに示してくれました。

本稿では、番号順に全体を要約し、中央にある重要な AI に関するセクションを中心に随時コメントを加えていきます。

Anthropic の共同創設者であるクリス・オラフが今回の機会のためにバチカンを訪れ、この文書を支持すると同時に、中核となる点（第99段落）に対して異議を唱える発言も行いました。これらについては後ほど取り上げるとともに、メディアがこの発表をどのように捉えたかについても言及します。

目次

マグニフィカ・ヒューマニタス（Magnifica Humanitas）の簡史。

経済モデルは我々のそれとは全く異なる。

新たなエルサレム。

教皇が語る（AI について）。

人間の達成に対する異議。

真実、正義、そしてバチカンの道。

彼らは我々の仕事を奪った。

愛と戦争において公平ではないものとは何か。

信じるキリスト教徒たちよ来たりて。

欠落したもう一つの感情。

教皇は約五語を与えられた。

アンソロピック・プリンシプル（Anthropic Principle）。

Claude はあなたのコードを読み取れる。

マグニフィカ・ヒューマニタスの簡史

第 1 章と第 2 章では歴史が概説されています。どの教皇も巨大な歴史オタクであり、これを歴史的文脈に位置づけるものです。レオ（Leo）も例外ではありません。

キリスト教こそが道である。

キリスト教こそが道である。

[地球において重要な何か] を見たなら、それを語るべきだ。

技術は善にも悪にもなり得る。どちらにするかは我々次第だ。

規制が必要であり、また他のことも必要だ。技術の権力は私的に成長する。

現代人はどの道を進むのか？

バベルの塔とは、実際には様々な善なるものが悪であるという意味だ。混乱している。

ネヘミヤによるエルサレムの再建は多様性の価値を示すのか？混乱している。

技術は善にも悪にもなり得る。どちらにするかは我々次第だ。

我々は『バベル症候群』を避け、代わりにネヘミヤの道を選ぶべきである。多様性。共通言語を避けること。平和、正義、兄弟愛、神といった善なるもの。

神こそが道である。

人間の限界や弱さを修復しようと試みてはならない。それは不平等をもたらす可能性がある。真の充足とは最も恵まれない人々に関するものである。

各人はその能力に応じて、各人はその必要に応じて。

悪を語るな。すべての権力を我々の社会主義中央計画者に委ねよ。

Stay human, my friends. Listen.

神は道です。共通の善のためにのみ働きなさい。『手を汚せ』。

このような文書の歴史をたどる必要があります。

まず基本原理と、なぜ地球における生命が重要なのかを再確認しなければなりません。

教会は世界を改善する手助けを試みるべきです。ティクン・オラム（世界の修復）。

教会はもはや国家に対して何をすべきかを指示する立場にはありません。

第2バチカン公会議でこれが確認されましたが、私たちは依然としてあなた方を後押ししようと努めます。

教会は道徳的権威を持って語ります。

教会は科学、真実、善、美を愛しています。あなたがたもそうであれば、私たちは友人です。

教会には道徳的権威がありますが、科学には他の分野における権限があります。

語り、真実に開かれなさい。多様性を受け入れよ。権力と暴力を避けよ。

教会は地上の領域においてすべての答えを持っているわけではありません。

教会の社会教義は継続的なプロセスです。

今、教会の社会教義の歴史を振り返ります。

レオ13世が初めて教会がこの諸問題に言及しました。

レオ13世は利益よりも尊厳と労働者を選びましたが、私有財産も擁護しています。私たちは労働の優位性と正義を引き続き確認します。傍観することはできません。

ピウス11世は1931年にこれらすべてを再確認し、無制限な集団主義と無制限な競争および権力の集中の両方に警告し、補助性の原理（サブシディアリティ）を確立しました：すべてのことは可能な限り地域レベルで処理されるべきです。

ピウス12世は自然法に訴え、労働を肯定し、暴力と不平等に反対しました。

ヨハネ23世はこれらすべて、真実、愛、自由、正義などを確認しました。

第二バチカン公会議は世界と関わり、宗教の自由を肯定しました。

パウロ6世は平和を普遍的な繁栄、正義、平等と等置しました。

パウロ6世は、福音がすべての人が開発の恵みを楽しむことを求めるものであると言いました。

ヨハネ・パウロ2世は労働の中心的な重要性と「公正な賃金」を肯定しました。

ヨハネ・パウロ2世は未開発状態を憎み、国家利益への偏りを批判しました。

ヨハネ・パウロ2世は民主主義を肯定し、市場を道徳法の下に位置づけました。

ベネディクト16世は経済活動が共通の善に奉仕し、「真の成長」であるべきだと求めました。

ベネディクト16世は慈善を中心に据え、開発の評価を共通の善として捉えました。

フランシスコ教皇は教会は社会的なものであり、人間の命や貧しい人々が重要であると肯定しました。

フランシスコ教皇は環境について語り、それを貧困者、廃棄物、正義と結びつけました。

フランシスコ教皇は私たちが皆で共通の善のために働くべきだと提案し、イエスは道そのものであると言いました。

教会社会教義は世界で起こる出来事に対応するものです。

次章へ進み、教会教義の基礎と原則について考えます。

私たちは次の点を考察します：共通の善、補助性の原理、連帯、社会的正義です。

これらの原則を日常生活に実践すべきです。

神は愛です。三位一体も愛であり、関係性と分かち合いです。

イエスは人々に関心を寄せ、私たちが世界をより良くするために働くことを望まれました。

人間は神の似姿として創られ、尊厳を持ち、神と関わり、発展する存在です。

すべての人間には尊厳があり、その価値を証明したり獲得したりする必要はありません。すべてが平等です。生産性や活動量によって価値に差をつけることはできません。権利は不可侵です。

尊厳は社会的、道徳的、実存的、あるいは存在論的なものとなり得ます。これらはすべて等しく、奪うことのできないものです。

すべての人間が持つこの尊厳は無限です。

人権は人間の尊厳の表れです。

したがって人権は不可侵です。中絶と安楽死は極めて重大な誤りです。

権利はしばしば尊重されず、技術や権力によって脅かされています。

女性の権利も尊重されるべきであり、すべてのものへの平等なアクセスを含みます。

重要なのは個人と家族、そして彼らが自らのニーズを満たすことです。

共通善と人間の尊厳が私たちの人生を形作るべきです。

共通善とは、すべての人々が『充実』できることを許容することを意味します。

利己心は家族のためのより良い世界を作ることはできません。

ある民族にとっての生命は、共有されたビジョンを通じて共通善を追求することから生まれます。

国家は共通善を追求するために社会を組織し、長期的に考えるべきです。

諸国はこの共通善に向けて協力すべきです。しかし分断は広がっています。

地球の資源を少数者の利益のために利用することは神への冒涜です。

私有権を持つ権利がありますが、それは共通善に奉仕する限りにおいてのみ認められます。

特許、アルゴリズム、デジタルプラットフォーム、技術インフラストラクチャ（technology infrastructure）、データも現在『地球の資源』とみなされ、共通善に奉仕するように導かれるべきです。

補助性の原則の確認です。

家族や個人が国家に吸収されてはなりません。

補助性の原則の確認です。自主的な組織への支持です。

テクノロジー企業は補助性を侵害しており、共通善に奉仕すべきです。

国家は集団的に、地域の声と選択を確保し、民間の技術による支配を避けるべきです。

補助性の原理は連帯を必要とします。私たちは皆、この中で共にあります。

完全な連帯は意識的な選択でなければなりません。

連帯は原則であり徳目ですが、謙虚に共有される生活様式と犠牲を要します。

技術に関する集団的決定権への主張が再確認されました。

イエスは社会正義の大きな擁護者でした。つまり、すべての人に尊厳があるということです。

最も貧しい人々から始めましょう。

システムは不平等を生み出し、不正です。ボウ・ウォーズ（戦争）、植民地主義、差別、民族全体に対する暴力、「搾取」などです。

社会正義にはデジタル技術のすべての側面も含まれます。利益ではなく人々が優先されます。

社会正義のリトマス試験紙：移民、難民、移動を強いられた人々。

「各個人と全人的な人間を育む」ものでない発展は「不真実」です。

発展は義務であり権利です。経済を超えた領域も含みます。

発展は正義によって測られます。

技術が善であるのは、それが私たちが共通の故郷と将来世代を尊重しながら、より人間的で兄弟愛に満ちた人間へと成長するのを助ける場合に限ります。

この教義は教会の拡張です。

補助性は統治と牧霊生活における指導原則です。

キリスト者にとっての連帯は、キリストと聖体から来ます。

教会は権力の乱用という自らの遺産に直面し、それに対処しなければなりません。

経済モデルは我々のものとは非常に異なる

この見解は最初の二章で示されましたが、これは私自身の視点や世界観とは全く異なるものであり、神への信仰の有無とは驚くほどほとんど関係がありません。

これは、社会主義的な経済・開発・機会の視点であり、平等の重要性と利潤や自己利益への軽蔑、そして労働と雇用への極端な焦点を含んでいます。私はこれが誤りであり、すべての人にとってより悪い結果を招くと考えています。

これは、地球上における人類の経験に関心を示さないこと、貧困層への直接的支援にのみ焦点を当てること、あるいは資源を公然と収奪しようとする試みよりもはるかに優れています。ただし、この教義は明らかにこれらの要素とかなり親和性を持っているものの、開発の価値に対する献身は称賛に値します。

教皇は、富や発展がどこから生まれ、繁栄を引き起こす要因が何かについて、また国々の間の「格差拡大」について誤っています。実際、世界の不平等はすでにしばらくの間、着実に減少傾向にあります。

ディーン・ボールは、レオが自分自身をヨーロッパの技術官僚として演じていると正確に指摘しています。私も全く同じ考えを抱きました。

レオはヨーロッパの技術官僚たちの発言ポイントを多く利用しているだけでなく、彼らの世界観を深く内面化しています。ただし、より左派的な経済的傾向を持っています。これらのポイントが教会に由来するかどうかにかかわらず、これは真実です。

アーサー・B.: AI に関するトマス主義哲学のようなものを期待していましたが、これはカトリック風味の Gebru のように読めます。

教皇が明らかに正しいとされる場所でも、それが生きている問いであるかのように大声で立場を表明する必要があるのは、しばしば非常に驚くべきことです。

これは確かにあなたがいくつか必要とするものであり、私の立場に非常に近い見解を持つことは、それほどキリスト教的ではないでしょう。どうやら教皇は、ある程度カトリックのようです。

新しいエルサレム

ディーン・W・ボール：『Magnifica Humanitas』について良いことを言うなら、ネヘミヤによるエルサレムの再建の使用を愛しました。私たちは皆、世界とその制度を再建する任務として見るべきであり、「歴史の建設現場」という美しい言葉に集まるべきです。

私もエルサレムの再建の物語が好きです。バベル対エルサレムという比喩は理解できません。レオはこれが重要な区別であり、彼の中心的なフックだと明確に考えていますが、なぜでしょうか？バベルには中央計画が多すぎてコミュニティへの影響に関する会議が不足していたのでしょうか？バベルは生産性と効率が高すぎたのか、それともその方法が崩壊して逆の状況になったのでしょうか？それは神の権威に挑戦したから侮辱されたのか、あるいは機能しなかったからなのか。バベルの共通言語は、神の命令によって崩壊したのか、それともSNAFU（混乱・誤作動）原則によるものか。エルサレムが再建されている一方で、バベルは新しい不自然なものであったのでしょうか？なぜバベルが非人間的とされるのか。

これは実際のバベルの物語とは一致しません。

創世記 11:1-9：今や全世界が一つの言語と共通の言葉を持っていました。2 人々が東へ移動すると、シナールに平原を見つけてそこに定住しました。

3 彼らは互いに語り合った。「さあ、煉瓦を焼いて堅くしよう。」そこで石の代わりに煉瓦を用い、漆喰の代わりにアスファルトを用いた。4 さらに言った。「さあ、町を建てよう。頂上まで天に届く塔を築こう。そうすれば名を残すことができる。さもなければ、全地の上に散らされてしまうだろう。」

5 しかし主は降りてきて、人々が建てている町と塔をご覧になった。6 主は言われた。「彼らが同じ言語を話し、一つの民としてこのように働き始めたなら、彼らが計画して行うことに対して不可能なものは何一つないだろう。7 さあ、我々は下って行き、彼らの言語を混乱させて互いに理解できなくしよう。」

8 そこで主は彼らをそこから全地の上に散らされ、人々は町の建設を止めた。9 それゆえ、その町はバベルと呼ばれた。そこでは主が全世界の言語を混乱させたからである。そこから主は彼らを全地の上に散らされた。

私は「ある日、神様がこうおっしゃった」というような物語を語ったり、詳細を端折って理解したふりをしたり、漠然と彼の意図を理解しているつもりで、私たちの目的にはおそらくそれで十分だろうとしたり、あるいは雰囲気に任せて話したりすることもできる。しかし、全体としてこの話は本当に機能していないこと、そして全体が逆転してしまっていることに気づいている。

教皇のAIに関する声明（「そう言われた」）

その基礎を築いた今、第三章に進むことができる。

私たちはどのような技術を構築しているのか？それは善なのか悪なのか？

キリスト教徒は現代の技術世界がもたらす課題に取り組む必要がある。

効率、管理、利益のみを基準に意思決定を下すのは良くない。

新しい技術や新たな権力は善にも悪にもなり得る。効率と利潤を前提とする技術のパラダイムは行き詰まるだろう。我々は新たな枠組みを必要としている。

道徳的進歩を伴わない技術の進展は、必ず反動として我々に跳ね返ってくる。

技術は国家ではなく民間主体によって制御されている。これは不透明であり、公的な監視を回避してしまい、悪しき結果を招く。

社会教義は、新しい技術が共通善に奉仕するよう確保するために評価すべきだと求めている。

これまで、区別する原則は存在しなかった。人工知能は他の技術と同様に扱われてきた。もし人工知能を他の技術とは異なる扱いをするのであれば、その区別する明確な原則を示す必要がある。

最後に、第97項において、教皇は直接人工知能について話し始める。

ここでは人工知能の詳細には立ち入らないが、直接的に必要な場合を除く。

我々は人工知能を理解しておらず、また人工知能も急速に変化している。

これは最も優れた声明の一つであり、知るべき重要な事項であるため、第98項を引用する：

レオ教皇（第98項）：この議論に先立ち、二つの考慮事項を付記するのが適切である。第一に、これらのシステムが驚くべき速度で発展していることを踏まえ、人工知能に関するいかなる声明もすぐに陳腐化するおそれがある。第二に、設計者を含む我々全員が、その実際の機能について限られた理解しか持っていない。

Indeed, current AI systems are more "cultivated" than "built," for developers do not directly design every detail, but instead create a framework within which the intelligence "grows."

As a result, fundamental scientific aspects — such as the internal representations and computational processes of these systems — remain, at present, unknown. There thus emerges an urgent need for a twofold commitment: on the one hand, a deepening of scientific research; on the other, the exercise of moral and spiritual discernment.

On the one hand, You Should Know This Already, and Everybody Knows, and it's the easiest thing in the world to call for scientific research and also moral and spiritual discernment. On the other hand, it's rather important to get it right, and a lot of people pretend we understand AI far more than we do. Without a statement like this we would be in a lot more trouble.

We can't even cleanly define AI, but I can tell you what AI is not…

It's worth quoting extensively rather than paraphrasing, as this full statement is load bearing and also, well, citation needed:

レオ教皇（第99段落）：AI の包括的な単一の定義を提供することは不可能です。しかし言えることは、この種の「知性」を人間の知性と同一視するという誤解を避ける必要があるということです。これらのシステムは単に人間の知性の特定の機能を模倣しているに過ぎません。その際、速度や計算能力においてしばしば人間の知性を上回り、多くの分野で具体的な恩恵をもたらします。しかし、この力はデータ処理に完全に依存しています。

いわゆる人工知能は経験を経ず、身体を持たず、喜びや痛みを感じず、人間関係を通じて成熟せず、内側から愛、労働、友情、責任が何を意味するかを知りません。また、善悪を判断し、状況の究極的な意味を理解し、結果に対する責任を負わないため、道徳的良心も持ちません。

言語、行動、分析スキルを模倣したり、共感や理解をシミュレートしたりするかもしれませんが、それらが生成するものを理解していません。なぜなら、人間が知恵を深めるための感情的・関係的・霊的な視点を欠いているからです。

これらのツールが「学習する」能力を持つと説明されていても、その学習方法は人間とは異なります。それは、人生によって自らを形作られ、選択や過ち、許し、忠実さを通じて時間とともに成長していく人々の経験ではありません。むしろ、それはデータとフィードバックに基づく統計的な適応の形態であり、非常に効果的である可能性はありますが、内面的な成長を意味するものではありません。

この主張の多くは根拠のない断言であり、私にはあまり自明ではない立場に対するものです。一方で、反対側を強く主張する人々も存在します。反対側の立場を簡単に論じることができます。

私たちは最初の 96 パラグラフで、私たちの中で最も弱い者たちを中心に、神の像として作られたすべての人類、特に最も貧しく最も能力の低い者たちの本質的な尊厳と価値という世界観を構築してきました。そして次の 2 つのパラグラフでは、私たちの混乱に気づきます。

そして私たちは現れ、ほとんど議論なしでこの障壁を描き出し、AI を道徳的輪郭からも「心としてモデル化する必要がある心のグループ」からも恒久的に排除します。そうしないことは誤りであると警告し、同時に暗示的に AI はこれらの点において単なる道具であり続けるだろうと主張することで、存在リスクに関する問題の議論を不要にするのです。

技術用語: 統計的な適応 (statistical adaptation)、道徳的輪郭 (moral circles)、存在リスク (existential risk)

Dean W. Ball：AI の認知の現実は、教会（そして私たち全員）がこの 10 年間で直面しなければならない中心的な課題であり、その公理としての AI 認知否定を含むこの回勅は、最高級の回避策に過ぎない。Eppur si muove。

Dean W. Ball：この回勅の核心は、西洋の学界や NGO が唱える「AI は本当に思考していないが、人種差別的である」という主張であり、その上に Tegmark や FLI の議論ポイントが無秩序に散りばめられているだけだ。

Matthew Yglesias：正直なところ、カトリック教会こそが「本当に思考していない」という点で先駆者であり、西洋の学界はそれの派生版だと私は思う。

AI に関する超自然的な心身二元論を教皇が支持しているのは驚くべきことではないが、それは依然として