教皇レオの「AI に関する人間性の尊厳」文書：RTMH
The Zvi の記事は、教皇レオ 14 世の AI に関する文書「Magnifica Humanitas」を分析し、その倫理的な意図を認めつつも、AI の意識能力に関する誤った前提と経済観への批判を加えている。
キーポイント
AI と意識に関する根本的な対立
著者は教皇が AI に思考や心（mind）がないとする主張を、Chris Olah の指摘を引用して誤りであると強く批判している。
文書の焦点のズレと限界
AI の本質的な可能性への理解不足から、文書は相対的に平凡な危険性や変化にのみ言及しており、より深い議論が欠けていると指摘されている。
経済観と世界観の相違
著者は教皇の経済モデルを「制度的・欧州技術官僚的・左派社会正義労働中心」として誤りであり、成長への道筋を否定する点に失望を示している。
倫理的価値とバランスの重要性
平和や慈悲、弱者への配慮といった教皇の提言自体は有益だが、欧州が示したようなバランスの欠如には警戒が必要であると論じている。
技術の善悪と人類の責任
技術自体は善でも悪でもなく、その方向性は人間が決めるべきであり、「バベルの塔」のような混乱を避け、ネヘミヤのように多様性を尊重する道を選ぶ必要がある。
教会の役割と社会教義の継承
現代では国家に直接命令する権限はないが、道徳的権威として科学や真理を支持し、レオ十三世以来の労働者の尊厳や公正さ、そして「各人の能力に応じて、各人の必要に応じて」という原則を継承している。
人間の限界と弱者への配慮
人間の限界や弱さを無理に修正しようとして不平等を生むべきではなく、真の達成は最も恵まれない人々の幸福にかかっている。
重要な引用
The central claim, wherein Leo denies that AIs can think or importantly be minds, is wrong
Without the understanding of what AI is capable of becoming, the document effectively only deals with relatively mundane AI dangers
Pope Leo subscribes to a view of economics... subscribing to what is effectively an institutionalist, European technocrat, left-wing social justice socialist labor-centered perspective
Tech can be good or bad. We decide which.
True fulfillment is about the least well off people.
Using Earth's resources to benefit the few is an affront to God.
影響分析・編集コメントを表示
影響分析
この記事は、宗教指導者による AI 倫理指針が持つ権威性と、実務家や技術専門家の視点との間に存在する深刻な認識ギャップを浮き彫りにしています。特に「AI に心があるか」という定義の問題や、経済成長と社会福祉のバランスに関する対立は、今後の AI ガバナンス議論において重要な争点となるでしょう。
編集コメント
宗教指導者の AI に関する声明は、一般社会への影響が大きい一方で、技術的な実態との乖離が指摘されるケースです。この分析は、倫理的な要請と技術的現実の整合性を考える上で重要な視点を提供しています。
その聖なる方は、AI について頻繁に発言されています。その文書は全長 82 ページに及びます。
完全な『Magnifica Humanitas』はここで見ることができます。
レオ教皇がこの問題を真剣に受け止め、自らの見解を共有し、欠点や中心的な誤りがあるにもかかわらず道徳的な明確さをもたらしてくださったことを大変嬉しく思います。声を発する人々が、たとえ私が同意しない場合であっても、このように自らの見解を共有すべきです。
これは奇妙な文書です。その多くは AI についてではありません。
私は教皇の AI に関する最も基本的な点には同意します。それは、AI は私たちがそれをどう作るかによって何になるかということです。私たちはこの技術を舵取りし、どのように開発され利用されるかを決定でき、それが私たちが良い未来を得るかどうかを決定し得ます。これを市場のインセンティブや戦略的圧力に完全に委ねてはなりません。はい、まさにその通りです。
中心的な問題は、レオの世界観の多くが、私には非常に異質でかつ非常に誤っているものの組み合わせであるように思えることです。おそらくそれは、彼が教皇でありカトリック教徒であり、信仰を持つ人であること、一方私はそうではないことに起因するのだとお考えになるかもしれません。
もしそうお考えなら、それは間違いです。それらはこれらすべてと驚くほどほとんど関係がないようです。
ここには多くの良い点もありましたが、私は主に三つの面で失望しました：
レオが AI は思考できない、あるいは重要な意味で心を持たないと否定するという中心的な主張は、オラフがその声明で指摘している通り誤りです。
AI が何になり得るのかという理解がないままでは、この文書は実質的に比較的平凡な AI の危険性と変化のみを扱っており、それ自体がすでに扱うべき・議論すべきことが非常に多いものではありますが。
レオ教皇は、どのような行動やシステムがどのような結果をもたらすかについて、単に誤っていると考えられる経済観と世界体系を支持しており、実質的には制度主義者であり、欧州の技術官僚的左翼的社会正義社会主義労働中心の視点に立っています。特に、経済の役割を『良い仕事』を生み出し保護することとして捉えている点などがその典型です。教皇および過去の教皇たちへの評価として、彼らは開発と成長の中心的価値を理解していることは確かですが、実践においてそこに至る方法を拒絶しています。
平和や慈悲、対話へと向かう人々をある程度は必要とし、貧困層や権限のない人々のことを気遣い、同胞のためにさらに行動するよう呼びかけることも重要です。バランスの取れたより大きな絵の一部として見れば、これは積極的に良いことになり得ますが、欧州はこのバランスを欠くことの危険性を私たちに示してくれました。
本稿では、番号順に全体を要約し、中央にある重要な AI に関するセクションを中心に随時コメントを加えていきます。
Anthropic の共同創設者であるクリス・オラフが今回の機会のためにバチカンを訪れ、この文書を支持すると同時に、中核となる点（第99段落）に対して異議を唱える発言も行いました。これらについては後ほど取り上げるとともに、メディアがこの発表をどのように捉えたかについても言及します。
目次
マグニフィカ・ヒューマニタス（Magnifica Humanitas）の簡史。
経済モデルは我々のそれとは全く異なる。
新たなエルサレム。
教皇が語る（AI について）。
人間の達成に対する異議。
真実、正義、そしてバチカンの道。
彼らは我々の仕事を奪った。
愛と戦争において公平ではないものとは何か。
信じるキリスト教徒たちよ来たりて。
欠落したもう一つの感情。
教皇は約五語を与えられた。
アンソロピック・プリンシプル（Anthropic Principle）。
Claude はあなたのコードを読み取れる。
マグニフィカ・ヒューマニタスの簡史
第 1 章と第 2 章では歴史が概説されています。どの教皇も巨大な歴史オタクであり、これを歴史的文脈に位置づけるものです。レオ（Leo）も例外ではありません。
キリスト教こそが道である。
キリスト教こそが道である。
[地球において重要な何か] を見たなら、それを語るべきだ。
技術は善にも悪にもなり得る。どちらにするかは我々次第だ。
規制が必要であり、また他のことも必要だ。技術の権力は私的に成長する。
現代人はどの道を進むのか？
バベルの塔とは、実際には様々な善なるものが悪であるという意味だ。混乱している。
ネヘミヤによるエルサレムの再建は多様性の価値を示すのか？混乱している。
技術は善にも悪にもなり得る。どちらにするかは我々次第だ。
我々は『バベル症候群』を避け、代わりにネヘミヤの道を選ぶべきである。多様性。共通言語を避けること。平和、正義、兄弟愛、神といった善なるもの。
神こそが道である。
人間の限界や弱さを修復しようと試みてはならない。それは不平等をもたらす可能性がある。真の充足とは最も恵まれない人々に関するものである。
各人はその能力に応じて、各人はその必要に応じて。
悪を語るな。すべての権力を我々の社会主義中央計画者に委ねよ。
Stay human, my friends. Listen.
神は道です。共通の善のためにのみ働きなさい。『手を汚せ』。
このような文書の歴史をたどる必要があります。
まず基本原理と、なぜ地球における生命が重要なのかを再確認しなければなりません。
教会は世界を改善する手助けを試みるべきです。ティクン・オラム（世界の修復）。
教会はもはや国家に対して何をすべきかを指示する立場にはありません。
第2バチカン公会議でこれが確認されましたが、私たちは依然としてあなた方を後押ししようと努めます。
教会は道徳的権威を持って語ります。
教会は科学、真実、善、美を愛しています。あなたがたもそうであれば、私たちは友人です。
教会には道徳的権威がありますが、科学には他の分野における権限があります。
語り、真実に開かれなさい。多様性を受け入れよ。権力と暴力を避けよ。
教会は地上の領域においてすべての答えを持っているわけではありません。
教会の社会教義は継続的なプロセスです。
今、教会の社会教義の歴史を振り返ります。
レオ13世が初めて教会がこの諸問題に言及しました。
レオ13世は利益よりも尊厳と労働者を選びましたが、私有財産も擁護しています。私たちは労働の優位性と正義を引き続き確認します。傍観することはできません。
ピウス11世は1931年にこれらすべてを再確認し、無制限な集団主義と無制限な競争および権力の集中の両方に警告し、補助性の原理（サブシディアリティ）を確立しました：すべてのことは可能な限り地域レベルで処理されるべきです。
ピウス12世は自然法に訴え、労働を肯定し、暴力と不平等に反対しました。
ヨハネ23世はこれらすべて、真実、愛、自由、正義などを確認しました。
第二バチカン公会議は世界と関わり、宗教の自由を肯定しました。
パウロ6世は平和を普遍的な繁栄、正義、平等と等置しました。
パウロ6世は、福音がすべての人が開発の恵みを楽しむことを求めるものであると言いました。
ヨハネ・パウロ2世は労働の中心的な重要性と「公正な賃金」を肯定しました。
ヨハネ・パウロ2世は未開発状態を憎み、国家利益への偏りを批判しました。
ヨハネ・パウロ2世は民主主義を肯定し、市場を道徳法の下に位置づけました。
ベネディクト16世は経済活動が共通の善に奉仕し、「真の成長」であるべきだと求めました。
ベネディクト16世は慈善を中心に据え、開発の評価を共通の善として捉えました。
フランシスコ教皇は教会は社会的なものであり、人間の命や貧しい人々が重要であると肯定しました。
フランシスコ教皇は環境について語り、それを貧困者、廃棄物、正義と結びつけました。
フランシスコ教皇は私たちが皆で共通の善のために働くべきだと提案し、イエスは道そのものであると言いました。
教会社会教義は世界で起こる出来事に対応するものです。
次章へ進み、教会教義の基礎と原則について考えます。
私たちは次の点を考察します：共通の善、補助性の原理、連帯、社会的正義です。
これらの原則を日常生活に実践すべきです。
神は愛です。三位一体も愛であり、関係性と分かち合いです。
イエスは人々に関心を寄せ、私たちが世界をより良くするために働くことを望まれました。
人間は神の似姿として創られ、尊厳を持ち、神と関わり、発展する存在です。
すべての人間には尊厳があり、その価値を証明したり獲得したりする必要はありません。すべてが平等です。生産性や活動量によって価値に差をつけることはできません。権利は不可侵です。
尊厳は社会的、道徳的、実存的、あるいは存在論的なものとなり得ます。これらはすべて等しく、奪うことのできないものです。
すべての人間が持つこの尊厳は無限です。
人権は人間の尊厳の表れです。
したがって人権は不可侵です。中絶と安楽死は極めて重大な誤りです。
権利はしばしば尊重されず、技術や権力によって脅かされています。
女性の権利も尊重されるべきであり、すべてのものへの平等なアクセスを含みます。
重要なのは個人と家族、そして彼らが自らのニーズを満たすことです。
共通善と人間の尊厳が私たちの人生を形作るべきです。
共通善とは、すべての人々が『充実』できることを許容することを意味します。
利己心は家族のためのより良い世界を作ることはできません。
ある民族にとっての生命は、共有されたビジョンを通じて共通善を追求することから生まれます。
国家は共通善を追求するために社会を組織し、長期的に考えるべきです。
諸国はこの共通善に向けて協力すべきです。しかし分断は広がっています。
地球の資源を少数者の利益のために利用することは神への冒涜です。
私有権を持つ権利がありますが、それは共通善に奉仕する限りにおいてのみ認められます。
特許、アルゴリズム、デジタルプラットフォーム、技術インフラストラクチャ（technology infrastructure）、データも現在『地球の資源』とみなされ、共通善に奉仕するように導かれるべきです。
補助性の原則の確認です。
家族や個人が国家に吸収されてはなりません。
補助性の原則の確認です。自主的な組織への支持です。
テクノロジー企業は補助性を侵害しており、共通善に奉仕すべきです。
国家は集団的に、地域の声と選択を確保し、民間の技術による支配を避けるべきです。
補助性の原理は連帯を必要とします。私たちは皆、この中で共にあります。
完全な連帯は意識的な選択でなければなりません。
連帯は原則であり徳目ですが、謙虚に共有される生活様式と犠牲を要します。
技術に関する集団的決定権への主張が再確認されました。
イエスは社会正義の大きな擁護者でした。つまり、すべての人に尊厳があるということです。
最も貧しい人々から始めましょう。
システムは不平等を生み出し、不正です。ボウ・ウォーズ（戦争）、植民地主義、差別、民族全体に対する暴力、「搾取」などです。
社会正義にはデジタル技術のすべての側面も含まれます。利益ではなく人々が優先されます。
社会正義のリトマス試験紙：移民、難民、移動を強いられた人々。
「各個人と全人的な人間を育む」ものでない発展は「不真実」です。
発展は義務であり権利です。経済を超えた領域も含みます。
発展は正義によって測られます。
技術が善であるのは、それが私たちが共通の故郷と将来世代を尊重しながら、より人間的で兄弟愛に満ちた人間へと成長するのを助ける場合に限ります。
この教義は教会の拡張です。
補助性は統治と牧霊生活における指導原則です。
キリスト者にとっての連帯は、キリストと聖体から来ます。
教会は権力の乱用という自らの遺産に直面し、それに対処しなければなりません。
経済モデルは我々のものとは非常に異なる
この見解は最初の二章で示されましたが、これは私自身の視点や世界観とは全く異なるものであり、神への信仰の有無とは驚くほどほとんど関係がありません。
これは、社会主義的な経済・開発・機会の視点であり、平等の重要性と利潤や自己利益への軽蔑、そして労働と雇用への極端な焦点を含んでいます。私はこれが誤りであり、すべての人にとってより悪い結果を招くと考えています。
これは、地球上における人類の経験に関心を示さないこと、貧困層への直接的支援にのみ焦点を当てること、あるいは資源を公然と収奪しようとする試みよりもはるかに優れています。ただし、この教義は明らかにこれらの要素とかなり親和性を持っているものの、開発の価値に対する献身は称賛に値します。
教皇は、富や発展がどこから生まれ、繁栄を引き起こす要因が何かについて、また国々の間の「格差拡大」について誤っています。実際、世界の不平等はすでにしばらくの間、着実に減少傾向にあります。
ディーン・ボールは、レオが自分自身をヨーロッパの技術官僚として演じていると正確に指摘しています。私も全く同じ考えを抱きました。
レオはヨーロッパの技術官僚たちの発言ポイントを多く利用しているだけでなく、彼らの世界観を深く内面化しています。ただし、より左派的な経済的傾向を持っています。これらのポイントが教会に由来するかどうかにかかわらず、これは真実です。
アーサー・B.: AI に関するトマス主義哲学のようなものを期待していましたが、これはカトリック風味の Gebru のように読めます。
教皇が明らかに正しいとされる場所でも、それが生きている問いであるかのように大声で立場を表明する必要があるのは、しばしば非常に驚くべきことです。
これは確かにあなたがいくつか必要とするものであり、私の立場に非常に近い見解を持つことは、それほどキリスト教的ではないでしょう。どうやら教皇は、ある程度カトリックのようです。
新しいエルサレム
ディーン・W・ボール：『Magnifica Humanitas』について良いことを言うなら、ネヘミヤによるエルサレムの再建の使用を愛しました。私たちは皆、世界とその制度を再建する任務として見るべきであり、「歴史の建設現場」という美しい言葉に集まるべきです。
私もエルサレムの再建の物語が好きです。バベル対エルサレムという比喩は理解できません。レオはこれが重要な区別であり、彼の中心的なフックだと明確に考えていますが、なぜでしょうか？バベルには中央計画が多すぎてコミュニティへの影響に関する会議が不足していたのでしょうか？バベルは生産性と効率が高すぎたのか、それともその方法が崩壊して逆の状況になったのでしょうか？それは神の権威に挑戦したから侮辱されたのか、あるいは機能しなかったからなのか。バベルの共通言語は、神の命令によって崩壊したのか、それともSNAFU（混乱・誤作動）原則によるものか。エルサレムが再建されている一方で、バベルは新しい不自然なものであったのでしょうか？なぜバベルが非人間的とされるのか。
これは実際のバベルの物語とは一致しません。
創世記 11:1-9：今や全世界が一つの言語と共通の言葉を持っていました。2 人々が東へ移動すると、シナールに平原を見つけてそこに定住しました。
3 彼らは互いに語り合った。「さあ、煉瓦を焼いて堅くしよう。」そこで石の代わりに煉瓦を用い、漆喰の代わりにアスファルトを用いた。4 さらに言った。「さあ、町を建てよう。頂上まで天に届く塔を築こう。そうすれば名を残すことができる。さもなければ、全地の上に散らされてしまうだろう。」
5 しかし主は降りてきて、人々が建てている町と塔をご覧になった。6 主は言われた。「彼らが同じ言語を話し、一つの民としてこのように働き始めたなら、彼らが計画して行うことに対して不可能なものは何一つないだろう。7 さあ、我々は下って行き、彼らの言語を混乱させて互いに理解できなくしよう。」
8 そこで主は彼らをそこから全地の上に散らされ、人々は町の建設を止めた。9 それゆえ、その町はバベルと呼ばれた。そこでは主が全世界の言語を混乱させたからである。そこから主は彼らを全地の上に散らされた。
私は「ある日、神様がこうおっしゃった」というような物語を語ったり、詳細を端折って理解したふりをしたり、漠然と彼の意図を理解しているつもりで、私たちの目的にはおそらくそれで十分だろうとしたり、あるいは雰囲気に任せて話したりすることもできる。しかし、全体としてこの話は本当に機能していないこと、そして全体が逆転してしまっていることに気づいている。
教皇のAIに関する声明（「そう言われた」）
その基礎を築いた今、第三章に進むことができる。
私たちはどのような技術を構築しているのか？それは善なのか悪なのか？
キリスト教徒は現代の技術世界がもたらす課題に取り組む必要がある。
効率、管理、利益のみを基準に意思決定を下すのは良くない。
新しい技術や新たな権力は善にも悪にもなり得る。効率と利潤を前提とする技術のパラダイムは行き詰まるだろう。我々は新たな枠組みを必要としている。
道徳的進歩を伴わない技術の進展は、必ず反動として我々に跳ね返ってくる。
技術は国家ではなく民間主体によって制御されている。これは不透明であり、公的な監視を回避してしまい、悪しき結果を招く。
社会教義は、新しい技術が共通善に奉仕するよう確保するために評価すべきだと求めている。
これまで、区別する原則は存在しなかった。人工知能は他の技術と同様に扱われてきた。もし人工知能を他の技術とは異なる扱いをするのであれば、その区別する明確な原則を示す必要がある。
最後に、第97項において、教皇は直接人工知能について話し始める。
ここでは人工知能の詳細には立ち入らないが、直接的に必要な場合を除く。
我々は人工知能を理解しておらず、また人工知能も急速に変化している。
これは最も優れた声明の一つであり、知るべき重要な事項であるため、第98項を引用する：
レオ教皇（第98項）：この議論に先立ち、二つの考慮事項を付記するのが適切である。第一に、これらのシステムが驚くべき速度で発展していることを踏まえ、人工知能に関するいかなる声明もすぐに陳腐化するおそれがある。第二に、設計者を含む我々全員が、その実際の機能について限られた理解しか持っていない。
Indeed, current AI systems are more "cultivated" than "built," for developers do not directly design every detail, but instead create a framework within which the intelligence "grows."
As a result, fundamental scientific aspects — such as the internal representations and computational processes of these systems — remain, at present, unknown. There thus emerges an urgent need for a twofold commitment: on the one hand, a deepening of scientific research; on the other, the exercise of moral and spiritual discernment.
On the one hand, You Should Know This Already, and Everybody Knows, and it's the easiest thing in the world to call for scientific research and also moral and spiritual discernment. On the other hand, it's rather important to get it right, and a lot of people pretend we understand AI far more than we do. Without a statement like this we would be in a lot more trouble.
We can't even cleanly define AI, but I can tell you what AI is not…
It's worth quoting extensively rather than paraphrasing, as this full statement is load bearing and also, well, citation needed:
レオ教皇（第99段落）：AI の包括的な単一の定義を提供することは不可能です。しかし言えることは、この種の「知性」を人間の知性と同一視するという誤解を避ける必要があるということです。これらのシステムは単に人間の知性の特定の機能を模倣しているに過ぎません。その際、速度や計算能力においてしばしば人間の知性を上回り、多くの分野で具体的な恩恵をもたらします。しかし、この力はデータ処理に完全に依存しています。
いわゆる人工知能は経験を経ず、身体を持たず、喜びや痛みを感じず、人間関係を通じて成熟せず、内側から愛、労働、友情、責任が何を意味するかを知りません。また、善悪を判断し、状況の究極的な意味を理解し、結果に対する責任を負わないため、道徳的良心も持ちません。
言語、行動、分析スキルを模倣したり、共感や理解をシミュレートしたりするかもしれませんが、それらが生成するものを理解していません。なぜなら、人間が知恵を深めるための感情的・関係的・霊的な視点を欠いているからです。
これらのツールが「学習する」能力を持つと説明されていても、その学習方法は人間とは異なります。それは、人生によって自らを形作られ、選択や過ち、許し、忠実さを通じて時間とともに成長していく人々の経験ではありません。むしろ、それはデータとフィードバックに基づく統計的な適応の形態であり、非常に効果的である可能性はありますが、内面的な成長を意味するものではありません。
この主張の多くは根拠のない断言であり、私にはあまり自明ではない立場に対するものです。一方で、反対側を強く主張する人々も存在します。反対側の立場を簡単に論じることができます。
私たちは最初の 96 パラグラフで、私たちの中で最も弱い者たちを中心に、神の像として作られたすべての人類、特に最も貧しく最も能力の低い者たちの本質的な尊厳と価値という世界観を構築してきました。そして次の 2 つのパラグラフでは、私たちの混乱に気づきます。
そして私たちは現れ、ほとんど議論なしでこの障壁を描き出し、AI を道徳的輪郭からも「心としてモデル化する必要がある心のグループ」からも恒久的に排除します。そうしないことは誤りであると警告し、同時に暗示的に AI はこれらの点において単なる道具であり続けるだろうと主張することで、存在リスクに関する問題の議論を不要にするのです。
技術用語: 統計的な適応 (statistical adaptation)、道徳的輪郭 (moral circles)、存在リスク (existential risk)
Dean W. Ball：AI の認知の現実は、教会（そして私たち全員）がこの 10 年間で直面しなければならない中心的な課題であり、その公理としての AI 認知否定を含むこの回勅は、最高級の回避策に過ぎない。Eppur si muove。
Dean W. Ball：この回勅の核心は、西洋の学界や NGO が唱える「AI は本当に思考していないが、人種差別的である」という主張であり、その上に Tegmark や FLI の議論ポイントが無秩序に散りばめられているだけだ。
Matthew Yglesias：正直なところ、カトリック教会こそが「本当に思考していない」という点で先駆者であり、西洋の学界はそれの派生版だと私は思う。
AI に関する超自然的な心身二元論を教皇が支持しているのは驚くべきことではないが、それは依然として
原文を表示
His holiness has spoken, frequently about AI. At eighty two pages of length.
The full Magnifica Humanitas can be found here.
I am very happy that Pope Leo takes these issues seriously, and is sharing his views, and bringing a form of moral clarity, even with all the flaws and central errors. More people with voice should share their views in this way, even when I disagree.
It’s a weird document. Much of it is not about AI at all.
I do agree with the Pope’s most basic point on AI, which is that AI can be what we make of it. That we can steer this technology, determine how it is developed and used, and this can determine whether we get a good or not so good future. We cannot purely leave this to market incentives and strategic pressures. Yes, very much so.
The central problem is that so much of Leo’s worldview is some combination, to me, of highly alien and highly wrong. You might think that would primarily have a lot to do with him being the Pope and rather Catholic, and being a man of faith, whereas I am not these things.
If so, you would be wrong. That seems to have remarkably little to do with all of this.
There was also a lot of good here, but I was centrally disappointed on three fronts:
The central claim, wherein Leo denies that AIs can think or importantly be minds, is wrong, as Olah points out in his statements.
Without the understanding of what AI is capable of becoming, the document effectively only deals with relatively mundane AI dangers and changes, although that on its own is still rather quite a lot to deal with and discuss.
Pope Leo subscribes to a view of economics and a System of the World that I believe are simply wrong about what actions and systems cause what consequences, subscribing to what is effectively an institutionalist, European technocrat, left-wing social justice socialist labor-centered perspective, especially with treating the role of the economy as creating and protecting ‘good jobs.’ To his credit and that of previous Popes, they do understand the central value of development and growth, but they reject the ways we get there in practice.
You want some amount of people pushing in the direction of peace and mercy and dialogue and watching out for the poor and disempowered, and calling on us to do more for our fellow man. So as part of a balanced bigger picture, this could be actively good, but Europe has shown us the peril of lacking this balance.
This post will summarize the whole thing, going number by number, with occasional commentary focused on the key AI section in the middle.
Anthropic cofounder Chris Olah visited the Vatican for the occasion. He endorsed the document, but also offered remarks disagreeing with the central point (paragraph 99). I’ll discuss that afterwards, along with how the media viewed the release.
Table of Contents
A Brief History of Magnifica Humanitas.
Economic Models Very Different From Our Own.
A New Jerusalem.
So Sayeth The Pope (on AI).
The Case Against Human Achievement.
Truth, Justice and the Vatican Way.
They Took Our Jobs.
What Is Not Fair In Love and War.
Come Ye Christian Faithful.
The Other Missing Mood.
Pope Given About Five Words.
The Anthropic Principle.
Claude Can Read Your Code.
A Brief History of Magnifica Humanitas
Chapters 1 and 2 lay out some history. Any Pope is going to be a huge history nerd and set all this in its historical context. Leo does not disappoint.
Christianity is The Way.
Christianity is The Way.
If you see something [on Earth that matters], say something.
Tech can be good or bad. We decide which.
We must regulate, and also other things. Tech power grows private.
Which way, modern man?
Tower of Babel means various good things are actually bad. Confused.
Rebuilding of Jerusalem via Nehemiah shows value of diversity? Confused.
Tech can be good or bad. We decide which.
We must avoid ‘Babel syndrome’ and instead choose Way of Nehemiah. Diversity. Avoid a common language. Good things like peace, justice, fraternity, God.
God is The Way.
Do not try to fix the limits and weaknesses of humanity. That can lead to inequality. True fulfillment is about the least well off people.
From each according to his ability, to each according to his need.
Speak no evil. All power to our socialist central planners.
Stay human, my friends. Listen.
God is The Way. Work only for the common good. Get your ‘hands dirty.’
We must go over the history of documents like this.
We must first review fundamental principles, and why life on Earth matters.
The Church should try to help improve the world. Tikkun olam.
The Church no longer gets to tell the State what to do.
Second Vatican Council affirmed that, but we’ll still try and give you a push.
The Church still speaks with moral authority.
The Church loves science, truth, goodness, beauty, if you do too we’re friends.
The Church has moral authority but science has authority over other things.
Speak and be open to truth. Welcome diversity. Avoid power and violence.
The Church does not have all the answers in the Earthly realm.
The Church social doctrine is an ongoing process.
We now review the history of the Church social doctrine.
Leo XIII was first to have the Church address these questions.
Leo XIII chose dignity and workers over profits but defends private property. We continue to affirm the primacy of labor and justice. We cannot stand aside.
Pius XI in 1931 reaffirmed all this, warned against both unlimited collectivism and unlimited competition and concentration of power, and established the principle of subsidiarity: Everything should be handled as locally as possible.
Pius XII appealed to natural law, affirmed labor, opposed force and inequality.
John XXIII affirmed all this, truth, love, freedom, justice, et al.
Second Vatican Council engaged with the world, affirmed religious freedom.
Paul VI equated peace with universal prosperity, justice, equality.
Paul VI said Gospel called for everyone to enjoy the fruits of development.
John Paul II affirmed central importance of work and ‘fair wages.’
John Paul II hated underdevelopment and favoring of national interests.
John Paul II affirmed democracy, subordinated markets to moral law.
Benedict XVI demanded economic activity serve common good, be ‘real growth.’
Benedict XVI centered charity, evaluation of development as common good.
Francis affirms Church is social, human lives matter, the poor matter.
Francis talked about the environment, linked it to the poor, waste, justice.
Francis proposed we all work for common good, said Jesus is The Way.
Church Social Doctrine responds to what happens in the world.
On to chapter 2, foundations and principles of church doctrine.
We reflect on: Common good, subsidiarity, solidarity, social justice.
You should implement these principles in your daily life.
God is love. The trinity is love. And relationship and sharing.
Jesus cared about people and wanted us to work to make the world better.
Humans are in God’s image, have dignity, relate to God, develop.
Humans all have dignity, need not justify or earn their worth. All are equal. We cannot value more those who produce or do more. Rights are inalienable.
Dignity can be social, moral, existential, ontological. All equal and inalienable.
This dignity, of every human, is infinite.
Human rights are an expression of human dignity.
Human rights are thus inviolable. Abortion and euthanasia are gravely wrong.
Rights often aren’t honored and are at risk, often due to tech and power.
Women’s rights must be honored, including equal access to all the things.
Individuals and families, and them meeting their needs, are what matters.
The common good and human dignity must shape our lives.
Common good means letting all people ‘reach fulfillment.’
Self-interest cannot make a better world for families.
Life to a people comes from pursuit of the common good via shared vision.
The State must organize society in pursuit of common good, think long term.
Nations must cooperate towards this common good. Divides widen.
Using Earth’s resources to benefit the few is an affront to God.
You have the right to private property, but only in service of the common good.
Patents, algorithms, digital platforms, technology infrastructure and data also now count as ‘Earth’s resources’ and must be routed in service of common good.
Affirmation of subsidiarity.
Family and individual must not be subsumed by the state.
Affirmation of subsidiarity. Endorsement of voluntary organizations.
Technology companies violate subsidiarity, must serve the common good.
States collectively must ensure local voice and choice, avoid private tech control.
Subsidiarity requires solidarity. We are all in this together.
Full solidarity must be a conscious choice.
Solidarity is a principle and a virtue, requires modest shared ways of life, sacrifice.
Reiterated claims to collective decision making over technology.
Jesus was a big social justice guy, which means everyone gets dignity.
Start with the poorest among us.
Systems create inequality and are unjust. Boo wars, colonialism, discrimination, violence against entire peoples and ‘exploitation.’
Social justice also involves all aspects of digital technologies. People not profits.
Social justice litmus test: Migrants, refugees, those forced to move.
Development that does not ‘foster each man and of the whole man’ is ‘inauthentic.’
Development is a duty and a right, including beyond economics.
Development is measured by justice.
Tech is good if and only if it helps people become more humane and fraternal while respecting our common home and future generations.
This doctrine is an extension of the Church.
Subsidiarity is the guiding principle of governance and pastoral life.
Solidarity, for Christians, comes from Christ and the Eucharist.
The Church must face and address its legacy of abuse of power.
Economic Models Very Different From Our Own
This view, laid out in the first two chapters, is a very different perspective and worldview than my own, and this has remarkably little to do with belief the the divine or a lack thereof.
This is the Socialist perspective on economics and development and opportunity and the importance of equality and disdain for profit and self-interest, with an extreme focus on labor and jobs, which I think is wrong and leads to worse results for everyone.
This is much better than failing to care about humanity’s experience on Earth, or focusing purely on direct aid to the poor, or attempting to outright seize the resources although this doctrine is clearly flirting with quite a lot of this, and the dedication to the value of development is admirable.
The Pope is simply incorrect about where wealth and development come from, and what causes prosperity. He is also wrong about what he sees as a ‘widening gap’ between nations, whereas global inequality has been steadily falling for a while.
Dean Ball is exactly correct that Leo is casting himself in the role of a European technocrat throughout. I had exactly the same thought.
Leo both is using so many of the talking points of the European technocrats, and also has deeply absorbed their worldview, except with a more left-wing economic bent. This is true no matter how much those points originated with the Church.
Arthur B.: I was hoping for something akin to Thomistic philosophy on AI, but this reads like Catholic-flavored Gebru.
Even in the places where the Pope is obviously correct, it’s often rather alarming that he needs to affirm his position out loud, as if it was a live question.
You definitely need some of this, and it would not be that Christian to have a position that much closer to my own. The Pope, it turns out, is somewhat Catholic.
A New Jerusalem
Dean W. Ball: To say a nice thing about Magnifica Humanitas: I loved the use of the rebuilding of Jerusalem from Nehemiah. We all should see our task as that of rebuilding the world and its institutions, and we should flock to the “construction sites of history,” a beautiful phrase.
I too like the story of rebuilding Jerusalem. I don’t get the Babel versus Jerusalem metaphor. Leo clearly thinks this is an important distinction, and is his central hook, but why? Babel had too much central planning and not enough community impact meetings? Babel would have been too productive and efficient, or its methods broke down and were the opposite? Was it an affront because it challenged the power of God or because it didn’t work? Did Babel’s common language break down because God decreed it, or because of the SNAFU principle? Jerusalem was rebuilding and Babel was a new unnatural thing? Why is Babel dehumanizing?
This simply doesn’t match up with the actual Babel story.
Genesis 11 1-9: Now the whole world had one language and a common speech. 2 As people moved eastward, they found a plain in Shinar and settled there.
3 They said to each other, “Come, let’s make bricks and bake them thoroughly.” They used brick instead of stone, and tar for mortar. 4 Then they said, “Come, let us build ourselves a city, with a tower that reaches to the heavens, so that we may make a name for ourselves; otherwise we will be scattered over the face of the whole earth.”
5 But the Lord came down to see the city and the tower the people were building. 6 The Lord said, “If as one people speaking the same language they have begun to do this, then nothing they plan to do will be impossible for them. 7 Come, let us go down and confuse their language so they will not understand each other.”
8 So the Lord scattered them from there over all the earth, and they stopped building the city. 9 That is why it was called Babel[c]—because there the Lord confused the language of the whole world. From there the Lord scattered them over the face of the whole earth.
I can tell a Just So Story or gloss over the details, and pretend I get it, and I know vaguely what he means and it’s probably good enough for our purposes anyway, or go off the vibes, but I do notice the whole thing doesn’t really work and the whole thing has been flipped around.
So Sayeth The Pope (on AI)
Now that we’ve laid that groundwork, we can move on to Chapter Three.
What technologies are we building? Are they good or bad?
Christians need to engage with the challenges of the modern tech world.
It is bad to make decisions based on efficiency, control and profit alone.
New techs and new power can be good or bad. The default tech paradigm of efficiency and profit will go badly. We need new frameworks.
Tech progress, without moral progress, will only backfire on us.
Tech is controlled by private actors, not States. This is opaque and evades public oversight, leading to bad things.
Social Doctrine demands we assess new techs to ensure they serve common good.
So far there has been no differentiating principle. Artificial intelligence is treated the same way as other techs. If we are going to treat AI differently than we treat other techs, we need to make clear our differentiating principle.
Finally, with #97, the Pope gets to talking about AI directly.
We won’t go over AI details here except as directly needed.
We don’t understand AI and AI is changing rapidly.
As it is one of the best statements, and an important thing to know, I’ll quote 98:
Pope Leo (paragraph 98): It is appropriate to preface this discussion with two considerations. First, any statement regarding AI risks becoming quickly outdated, given the remarkable pace at which these systems are developing. Second, all of us, including those who design them, possess only a limited understanding of their actual functioning.
Indeed, current AI systems are more “cultivated” than “built,” for developers do not directly design every detail, but instead create a framework within which the intelligence “grows.”
As a result, fundamental scientific aspects — such as the internal representations and computational processes of these systems — remain, at present, unknown. There thus emerges an urgent need for a twofold commitment: on the one hand, a deepening of scientific research; on the other, the exercise of moral and spiritual discernment.
On the one hand, You Should Know This Already, and Everybody Knows, and it’s the easiest thing in the world to call for scientific research and also moral and spiritual discernment. On the other hand, it’s rather important to get it right, and a lot of people pretend we understand AI far more than we do. Without a statement like this we would be in a lot more trouble.
We can’t even cleanly define AI, but I can tell you what AI is not…
It’s worth quoting extensively rather than paraphrasing, as this full statement is load bearing and also, well, citation needed:
Pope Leo (paragraph 99): It is not possible to provide a single, comprehensive definition of AI. What can be stated, however, is that we must avoid the misconception of equating this type of “intelligence” with that of human beings. These systems merely imitate certain functions of human intelligence. In doing so, they often surpass human intelligence in speed and computational capacity, offering tangible benefits across many fields. Yet this power remains entirely tied to data processing.
So-called artificial intelligences do not undergo experiences, do not possess a body, do not feel joy or pain, do not mature through relationships and do not know from within what love, work, friendship or responsibility mean. Nor do they have a moral conscience, since they do not judge good and evil, grasp the ultimate meaning of situations, or bear responsibility for consequences.
They may imitate language, behavior and analytical skills, or even simulate empathy and understanding, but they do not understand what they produce, for they lack the affective, relational and spiritual perspective through which human beings grow in wisdom.
Even when these tools are described as capable of “learning,” their way of doing so is different from that of a human person. It is not the experience of those who allow themselves to be shaped by life and grow over time through choices, mistakes, forgiveness and fidelity. Rather, it is a form of statistical adaptation based on data and feedback, which can be very effective, but does not imply inner growth.
A lot of this is assertion without evidence of positions that are rather non-obvious to me, and where there are those who strongly claim the other side. One could very easily argue the other side.
We have spent the first 96 paragraphs building a worldview around the least of us, of the essential dignity and value of all humanity and the poorest and least capable among us, all made in the image of God. Then the next two noticing our confusion.
And then we come along, and mostly without argument draw this barrier, where we exclude AI from both our moral circles and the group of minds that we have to model as minds, permanently, warning that doing otherwise would be a mistake, and also asserting by implication that AI is and will always be a mere tool in these ways, thus avoiding the need to discuss any of the problems surrounding existential risk.
Dean W. Ball: The reality of AI cognition is the central challenge the Church (and all of us) will have to grapple with over the coming decade, and this encyclical, with its axiomatic denial of AI cognition, is a punt of the highest order. Eppur si muove.
Dean W. Ball: The encyclical is Western academia/NGO “AI doesn’t *really* think but it *is* racist” at its core, with little bits of tegmark/FLI talking points sprinkled incoherently on top.
Matthew Yglesias: tbh I think the Catholic Church was there first on the “doesn’t really think” stuff and western academia is the derivative version.
It is not surprising to see that the Pope endorses a lot of superstitious mind/body dualism about artificial intelligence but it’s sti
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み