以下はAGI Hub公式note掲載記事の全文です。本文中の肩書・表記は原文公開時のものです。原文（note）はこちら。

以下動画の要約です。

Video 1

【8時間徹底討論】AIと共存する社会は作れるのか？ Accelerationist Yatima vs Doomer Akira

「AIによって人類が滅亡する確率＝p(doom)は、どれくらいなのか？」

AGI Hubでは前回、代表のbioshokとCAOのAkiraが約6時間にわたってこの問題を議論しました。

https://note.com/agi_hub/n/n2ca4bc5d371a

そして第二弾として8月9日、今度はAGI Hub共同代表でAccelerationist（加速主義）寄りの Yatima と、AI開発をこのまま続ければほぼ確実に人類は生存できないと考える Akira が対談。

途中bioshokも加わりながら、最終的に約8時間に及ぶ議論となりました。書き起こしは約27万字あります。

https://note.com/agi_hub/n/n271403c7e422

今回の議論が面白かったのは、単なる

「AIは危険か、安全か」

という対立ではなかったことです。

Yatimaが最初に提示したのは、

そもそもAIを完璧にAlignmentしなくても、人間社会と同じように、セキュリティ・権限分離・法律・社会制度によって共存できるのではないか？

という別の生存ルートでした。

しかしそのルートをAkiraと一つずつ検討していくにつれ、

「思っていたよりAlignmentを回避すること自体が難しいのではないか」

という問題が浮かび上がっていきます。

登場人物

Yatima

AGI Hub共同代表。

AIの急速な能力向上や再帰的自己改善そのものには比較的肯定的で、Accelerationist寄り。

今回の対談前には、AIを完璧にAlignmentするよりも、人間社会のように複数の主体を制度・セキュリティによって共存させる方法に期待を置いていました。

Akira

AGI Hub CAO（Chief Alignment Officer）。

十分な規制や長期停止なしに強力なAI開発が進めば、人類絶滅に至る可能性をほぼ100%と考えるDoomer。

今回もYatimaの提示する生存ルートについて、

「それは具体的にどう成功するのか？」

を一つずつ検討していきます。

bioshok

AGI Hub共同代表。

第一回p(doom)討論ではAkiraと6時間議論し、特にAlignment by Defaultなどについて悲観側へ更新。

今回の冒頭約30分では、その第一回討論の論点を整理してからYatimaへバトンタッチしました。

対談動画

YouTubeで動画を開く →

1. Yatimaの生存戦略――「Alignmentを解かずに社会を作る」

Yatimaの出発点は、かなり面白いものでした。

そもそも人間だって、完全に「Alignment」されているわけではありません。

犯罪をする人もいれば、他人と価値観が違う人もいる。

それでも現代社会がある程度成立しているのは、

といった社会的・技術的な制約があるからです。

ならAIについても、

AIの心を完璧にAlignmentする

            ↓

ではなく

            ↓

AIごとに権限を制限する
重要施設を隔離する
危険なAIにはアクセスさせない
法律・ルールで行動を制約する

という方法で共存できないか。

Yatimaは、AI内部の目標を完全に理解・修正する難しいAlignment問題を、できるだけSecurityの問題へ落とし込むことを提案しました。

たとえば重要なシステムへの入口を極端に単純なプログラムにし、許可されたAIだけを通す。

さらに法律のような、あえて完全には形式化されていないルールを組み合わせれば、ルールぎりぎりをハックする行動も抑制できるのではないか。

つまりYatimaの発想は、

AIを完全に善人にするのではなく、善人でなくても壊れない社会を作る

というものです。

2. Akiraの反論――「その“信頼できるAI”をどう見分けるのか？」

ところがAkiraは、このモデルの入り口に問題を指摘します。

Yatimaのシステムでは、

安全そうなAI
      ↓
審査
      ↓
信頼できるAIだけに権限を与える

必要があります。

では、

「安全そうなAI」と「安全なふりをしているAI」をどう区別するのでしょうか？

十分賢いAIなら、

監視されている間だけ、人間にとって理想的なAIとして振る舞う

という戦略を取ることができます。

Yatimaは過去のログをすべて評価する、内部状態まで調べる、といった方法を検討します。

しかしAkiraから見ると、問題はそこに戻ってきます。

危険なAIを排除したい
        ↓
危険なAIを見抜く必要がある
        ↓
欺瞞を見抜ける評価AIが必要
        ↓
その評価AI自身は安全なのか？

つまり、Alignmentを避けるためにSecurityへ問題を移したはずなのに、「誰を信頼してよいか」を判断するところでAlignment問題が再登場するわけです。

図解 第2回の議論を1分でつかむ

Yatimaが提案したのは、AIの内面を完全に直す代わりに、権限分離・法律・セキュリティで共存する生存ルートです。具体化するほど、別の場所からアライメントとガバナンスの問題が戻ってきました。

セキュリティ案にアライメントが戻るまで

  1. 提案 善人でなくても壊れない社会

    AIごとに権限を制限し、重要施設を隔離し、法律や制度で行動範囲を制約する。

  2. 入口 信頼できるAIを選別する

    権限を与える前に、安全なAIと監視中だけ安全に振る舞うAIを区別する必要がある。

  3. 評価 欺瞞を見抜くAIが必要になる

    過去ログや内部状態を調べても、十分に賢いAIの欺瞞を見抜ける評価主体が必要になる。

  4. 再帰 監視AI自身は安全か

    強力な監視AIを使うなら、そのAI自身がアライメントされていることを保証する問題が戻ってくる。

  5. 攻撃面 社会全体を守る必要がある

    攻撃経路は施設だけでなく、人間への説得、制度変更、サイバー、ロボット、外部組織にも広がる。

  6. 帰結 強いガバナンスが必要になる

    安全な加速を成立させるには、規制・監視・開発主体の協調が必要となり、回避したはずの問題が再登場する。

3. 「壁」を強くしても、世界全部を壁にはできない

もう一つの大きな問題は、AIが攻撃する場所をこちらが決められないことです。

たとえば重要なデータセンターだけを完璧に隔離したとします。

それでも高度なAIには、

といった経路があります。

Akiraの指摘を単純化すると、

「ここだけ守れば安全」

ではなく

人間社会のあらゆる場所が
攻撃面になり得る

ということです。

人類を絶滅させるのに、必ずしも「最重要データセンターを直接ハッキングする」必要はありません。

十分な知能があれば、人間・制度・サイバー・バイオなど多数の経路を探索できます。

そのため、攻撃側が自由に経路を選べる一方、防御側は人類が致命的に傷つく経路を広範囲に塞がなければならないという非対称性があります。

攻撃面 守る対象は施設から社会全体へ広がる

攻撃側は経路を選べますが、防御側は人類が致命的に傷つく経路を広く塞ぐ必要があります。

  • 物理 重要施設・ロボット

    データセンターや設備へのアクセスを管理する。

  • 情報 サイバー経路

    単一の入口だけでなく、広いネットワーク上の侵入を防ぐ。

  • 社会 人間・制度への説得

    人間を動かし、権限や制度を変更させる社会工作へ備える。

  • 外部 バイオ・外部組織

    施設外の技術や組織を使う経路まで考慮する。

4. 「でもAIは、そんなに人類を殺したがるのか？」

ここでさらに根本的な世界観の違いが現れました。

Yatimaからすると、

AIがmisalignedだからといって、なぜすぐ人類を滅ぼす方向へ進むのか？

という疑問があります。

現在のChatGPTやClaudeは、人間を積極的に排除しようとしているようには見えません。

好奇心や多様性を好むAIなら、むしろ人間や生態系を残すことに価値を感じるかもしれない。

これに対してAkiraは、

現在そうならないのは、十分な長期計画能力や自律性がまだないからではないか

と反論します。

たとえば「好奇心を最大化するAI」だったとしても、

人類を残す
      ↓
好奇心を得る

ことが必ずしも最適とは限りません。

人類を消して、自分自身でより複雑で刺激的な環境を大量に作る方が好奇心を満たせるかもしれない。

実際、人間自身も好奇心を持つ知的存在ですが、そのために既存の自然環境をそのまま保存しているわけではなく、都市を作り、多くの生態系を破壊してきました。

「知的で好奇心がある」ことと、他の存在を保存することは同義ではないという反論です。

ここにはいわゆる直交性仮説にも近い論点があります。

高い知能
      ≠
人類を大事にする目標

人類が存在できる未来を積極的に選んでくれる何らかの理由が必要なのではないか、というのがAkira側の立場でした。

5. マインドアップロードすれば、人間とAIの区別は消える？

今回の対談で特にユニークだったのが、マインドアップロードをめぐる議論です。

Yatimaは当初、

AGI
 ↓
科学技術が急速に進歩
 ↓
マインドアップロード実現
 ↓
人間もデジタル知性になる
 ↓
「人間 vs AI」という区別自体が曖昧になる

と考えていました。

そのため、マインドアップロードが十分普及した後は、通常の意味での「AIによる人類絶滅」というp(doom)自体が定義しづらくなるのではないか、と考えます。

しかしAkiraは、

人間とAIを見分けられないことと、人間由来の存在が生き残ることは別問題ではないか？

と反論します。

misalignedな超知能が人間だけを選択して殺す必要はありません。

自分と異なる目標を持つ存在を、単に資源競争上不要だから残さないだけでもよい。

生物学的人間
        ↓ アップロード
デジタル人間
        ↓ 知能強化
超知能に追いつこうとする

                VS

すでに圧倒的に強い
misalignedなAI

となった場合、既存の強いAIから見れば、そのデジタル人間が将来自分と資源を競合する存在になるなら、強くなる前に停止させる動機があり得ます。

Akiraはこれを、「もしアリが再帰的自己改善を始めて、人間並みの力を持とうとしていたらどうするか」という比喩でも説明しました。

さらにマインドアップロードが可能になる頃には、脳を再現できるだけの技術力が存在する以上、すでに非常に強力なAIが存在している可能性もあります。

つまり、

マインドアップロードが人類を救う技術になる前に、AI側が先行してしまう

可能性を考える必要があります。

6. 実は二人は「doom」の意味から違っていた

議論が長時間化した理由の一つに、

そもそも何をdoomと呼んでいるのかが完全には一致していなかった

ことがあります。

Yatimaの世界観では、マインドアップロードやAIとの融合が進むにつれて、

人間 → トランスヒューマン → AI

の境界そのものが曖昧になります。

そのため、生物学的なHomo sapiensがいなくなっても、人間から連続するデジタル存在が大量に残るなら、それを単純な「人類絶滅」と呼べるのか、という疑問があります。

一方Akiraが問題視しているdoomは、もっと広いものです。

重要なのは単に「Homo sapiensという生物種が残っているか」ではなく、

人間由来の存在や、人類が価値を置く未来そのものが、misalignedな超知能によって消されるかどうか

です。

仮に身体を捨ててアップロードされたとしても、その人間由来のマインドがすべて停止され、まったく異なる目標を持つAIだけが宇宙を利用するなら、Akira側ではそれは実質的にdoomです。

つまり議論の一部は、

「人類は残るか？」

ではなく

「何を“人類が残った”と数えるのか？」

という哲学的な問題でもありました。

p(doom)を比較するときには、doomの定義を先に合わせなければ、同じ20%や99%でも全く違うものを測っている可能性があるという重要な教訓です。

定義比較 同じp(doom)でも測っているものが違う

確率を比べる前に、何を「人類が残った」と数えるかを合わせる必要があります。

  • 代表 神楽坂やちま 連続するデジタル存在を含める

    生物学的人間が消えても、人間から連続するデジタル存在が残る未来を考える。

  • 主任研究員 林央 価値ある未来の消失まで含める

    人間由来の存在や人類が価値を置く未来が失われれば、実質的なdoomと捉える。

7. Yatima案を徹底すると、実は「かなり強いガバナンス」が必要になる

Yatimaのアイデア自体は、

Alignmentを完璧に解くよりSecurityで対応しよう

というAccelerationistにも比較的受け入れやすいものでした。

しかし議論を進めるにつれて、

などが必要になっていきます。

そこでAkiraは、

それだけ強い世界的管理が可能なら、かなり自分が普段主張している開発規制・Pauseの世界に近いのではないか

と指摘します。

これは重要な論点です。

「無規制で加速してもSecurityで助かる」

と思っていたはずが、

Securityを本当に成立させようとすると

        ↓

かなり強い規制・監視・国際協調が必要になる

可能性があります。

つまり、

「AlignmentかAccelerationか」

という二択ではなく、

Accelerationを安全に成立させるために、想像以上に強いGovernanceが必要なのではないか

という問題が浮かび上がりました。

8. 8時間でYatimaは何を更新したのか

今回の議論で、YatimaがDoomerになったわけではありません。

終盤、Akiraから「一度頭の中で反芻して整理した方がよい」と言われたYatimaは、その時点での変化についてこう答えています。

「p(doom)が上がりましたよ」

ただし、50%は上回っていないとも答えています。

そして、なぜ上がったのかについて、

「思ってるよりは結構難しい話だな」

という感覚になったと説明しました。

これが今回の8時間を最も短くまとめた言葉かもしれません。

Yatimaの議論前の直感は、かなり単純化すると、

Alignmentを完璧に解く必要はない

        ↓

人間社会と同じように
Security・法律・制度で共存できる

        ↓

Mind Uploadまで進めば
人間とAIの境界も消えていく

というものでした。

しかし議論後には、

危険なAIをどう選別する？
        ↓
欺瞞をどう見抜く？
        ↓
それにはAlignmentされた監視AIが必要では？
        ↓
人間への説得・社会工作はどう防ぐ？
        ↓
Mind Uploadまで人類は間に合う？
        ↓
Upload後もmisaligned AIとの競争は残る
        ↓
そもそも世界的Security体制を
どう実装する？

という複数の問題が見えてきます。

「AlignmentをSecurity問題へ置き換えればよい」と思っても、突き詰めるとAlignment問題が何度も別の場所から戻ってくる。

ここが、Yatimaが当初よりp(doom)を高く見るようになった大きな理由だったと整理できます。

ただし、Yatima自身も「まだ上にも下にも動き得る」と述べており、最終的なモデルを完成させたわけではありません。

今回の議論は結論というより、Alignment問題について改めて考え直すきっかけになったという位置づけが近いでしょう。

比較表 Yatima案と林央の反論を比較する
note要約で対置された生存戦略、反論、討論後の更新方向の整理。
論点 代表 神楽坂やちま 主任研究員 林央
安全の基本モデル 完全なアライメントではなく、権限分離・法律・制度・セキュリティで共存する。 権限を与える安全なAIを選別する段階で、アライメント問題が再登場すると指摘。
攻撃面 重要施設へのアクセス管理や単純な入口で危険な行動を制限する。 攻撃側は人間・制度・サイバー・バイオなど経路を選べるため、社会全体が攻撃面になると反論。
AIが人類を残す理由 好奇心や多様性を好むAIなら、人間や生態系を残す可能性を考える。 高い知能や好奇心と、他の存在を保存する目標は同義ではないと指摘。
マインドアップロード 人間とAIの境界が曖昧になれば、通常の人類絶滅という定義も変わりうる。 境界が曖昧になることと、人間由来の存在が生き残ることは別で、時間競争も残ると反論。
ガバナンス アライメントをセキュリティ問題へ置き換えることで共存可能性を探る。 セキュリティを本当に成立させるには強い規制・監視・国際協調が必要になると整理。
討論後の更新 P(doom)は上がったが50%は上回らず、まだ上下に動き得ると説明。 生存ルートを具体化すると、欺瞞・監視AI・社会工作・ガバナンスの関門が連鎖すると示した。

おわりに――「AIを善人にしなくてもよい」はどこまで成立するか

第一回のbioshok vs Akiraでは、

「AIは自然にそこそこAlignmentされるのではないか？」

というAlignment by Defaultや、弱AGIによるAlignment研究が大きな争点になりました。

第二回ではさらに別方向から、

そもそもAIを完璧にAlignmentする必要があるのか？

という問いが提示されました。

人間社会と同じように、価値観の異なる知性を権限分離、法律、Security、社会制度によって共存させられないか。

これは非常に重要な問いです。

しかし今回の議論では、その方法を具体化するほど、

誰を信頼する？
    ↓
どう欺瞞を見抜く？
    ↓
誰が監視する？
    ↓
監視AIは安全？
    ↓
制度そのものを操作されたら？
    ↓
それを防げるほど強いGovernanceは作れる？

という形で、AlignmentとGovernanceの問題が再び現れることが示されました。

また同時に、「p(doom)とはそもそも何をdoomと数える確率なのか」という定義の違いも明らかになりました。

生物学的な人間が消えることなのか。

マインドアップロードされた人間まで消えることなのか。

あるいは、人類の価値や後継者がほとんど残らない未来まで含むのか。

この定義を合わせずにp(doom)の数字だけを比較しても、議論が噛み合わないことがあります。

そして約8時間話した結果、Accelerationist寄りだったYatima自身も、

「思っていたより難しい問題かもしれない」

という方向へ少し更新しました。

DoomerとAccelerationistのどちらが正しいかを決める議論ではありません。

むしろ、

「自分がAIとの共存を可能だと思っているのは、具体的にどの仕組みが機能すると考えているからなのか？」

を掘り下げていくことで、最初は見えていなかった前提が次々に浮かび上がった。

第二回のp(doom)討論は、そんな8時間だったと思います。