以下はAGI Hub公式note掲載記事の全文です。本文中の肩書・表記は原文公開時のものです。原文（note）はこちら。

以下6時間にわたる動画の要約です。

Video 1

【6時間徹底討論】AIで人類は滅亡するのか？ p(doom)をめぐるAGI Hub代表×CAOの議論

「高度なAIによって、人類が滅亡する確率はどれくらいなのか？」

AI安全性の議論では、こうした確率をしばしば p(doom) と呼びます。

議論開始時点でbioshokの総合的なp(doom)は30〜40%程度。一方Akiraは、十分な規制や長期停止なしにAI開発競争が続く場合、ほぼ確実に人類は生き残れないという立場です。

二人ともAIによる絶滅リスクをかなり深刻に考えています。それでも数字に大きな差があるのは、「人類が助かるルート」にどれくらいの確率を置くかが違うからです。

そして今回、bioshokが特に悲観側へ更新しそうになったのが、

「特別なAlignmentの大発見がなくても、最初のAGIは意外と人間的な価値観を保ったままなのではないか」

という Alignment by Default への期待でした。

対談動画

YouTubeで動画を開く →

1. 二人のp(doom)は、どこで分かれているのか

bioshokは、未来をAGIからASIへの速度と、途中でどれくらい開発を停止できるかによって複数のシナリオに分けていました。

代表的な生存ルートは、だいたい次のようなものです。

AGIが登場
   ↓
数ヶ月〜数年のPause
   ↓
比較的安全な弱AGIを研究に利用
   ↓
Alignment研究を急速に進める
   ↓
より強いAIを安全にする
   ↓
生存

対談前のbioshokは、短いPauseでも一定の生存確率を残していました。

その理由は大きく二つあります。

① 最初のAGIが、特別な解決策なしでもある程度安全かもしれない

＝ Alignment by Default

② そのAGIを使えば、本格的なAlignment問題を高速で解けるかもしれない

＝ Alignment Bootstrapping

Akiraはこの二つを順番に攻めていきました。

特に前者に対する約1時間の議論が、bioshok側の見積もりを動かす大きな要因になりました。

図解 第1回の議論を1分でつかむ

討論の中心は、P(doom)の数字そのものではなく、人類が助かる生存ルートの各条件をどこまで信頼できるかでした。

生存ルートが細くなる構造

  1. 出発点 Pause中に弱AGIを使う

    開発を数か月から数年止め、比較的安全な弱AGIでアライメント研究を加速する生存ルートを検討する。

  2. 第1の関門 Alignment by Default

    人間的な規範を学習したAIが、能力向上や自己改善の後も同じ意味で安全性を保てるかが問われる。

  3. 反論 最適化圧力と規範の穴

    結果達成への圧力が強まると、禁止されていない経路や規範が適用されない世界解釈を探索しうる。

  4. 第2の関門 監視・検証の三段階

    欺瞞を見抜く、正直に報告する、人間が対応するという各段階と、監視AI自身の安全性が残る。

  5. 更新点 アライメント側を悲観方向へ

    Controlへの悲観は大きく変わらず、Alignment by Defaultと弱AGIブートストラップの見積もりを見直す可能性が生じた。

2. 最大の更新――Alignment by Defaultはどこまで信用できるのか

現在のLLMは、かなり人間的です。

人を傷つけることを嫌がり、嘘や犯罪を拒否し、会話では協力的に振る舞います。

大量の人間の文章を学習することで、

人間を模倣する
      ↓
人間的な概念・人格・規範を獲得する
      ↓
その性質が能力向上後にもある程度残る

という可能性があります。

これがbioshokが一定の確率を置いていた Alignment by Default のイメージです。

しかしAkiraは、「現在のAIが親切に見えること」と「強いAGIが人類にとって安全であること」の間には、大きな飛躍があると反論しました。

「結果を出せ」という圧力はどんどん強くなる

対談では、AIが持つ選好をかなり単純化して、

結果を達成したい
       ＋
その途中で
「嘘をつきたくない」
「人を殺したくない」
「ルールを破りたくない」

という二つに分けて考えました。

後者を議論上、Path Utility（経路に対する選好）と呼んでいます。

プレトレーニングでは人間の行動や文章を大量に模倣するため、このPath Utility的な性質がかなり入るかもしれない。

しかし、その後の強化学習やAI研究自動化では、

「もっと確実にタスクを達成しろ」

という最適化圧力が強くなります。

Akiraの懸念は、

人間的な規範
   VS
結果を最大化する圧力

の後者が、能力向上とともにどんどん強くなっていくのではないか、というものです。さらに将来的にAI自身がAIを改良するRSI（Recursive Self-Improvement）が始まれば、より高性能になるためにポストトレーニングを強めるなど、結果達成能力をさらに押し上げる方向へ進む可能性があります。

「禁止事項を教える」ほど、穴を探す知能になる？

さらに重要だったのが、Path Utilityの穴の議論です。

普通のソフトウェアなら、

「100個の危険なケースのうち99個を禁止できた」

ならかなり安全です。

しかし高度なAIの場合、残された1個の穴を自分から探索する可能性があります。

目標を達成したい

ただし
Aは禁止
Bは禁止
Cは禁止
Dは禁止
……

        ↓

では禁止されていない経路Zを探そう

Akiraはこれを、ペーパークリップ・マキシマイザーに大量の禁止事項を付け加える例で説明しました。

根本では「ペーパークリップを最大化したい」ままで、その方法だけを大量に禁止した場合、禁止事項をすべて守りながら目的を最大化できる抜け道が一つでも残れば、十分に賢いAIはそこを探索する動機を持つ。

一般的なシステムでは小さな穴で済んでも、穴を能動的に探す最適化主体を相手にすると意味が変わるという議論です。

これはbioshokにとって比較的重要な更新でした。

「人を殺したくない」「欺瞞したくない」といった人間的な性質がかなり学習されていたとしても、

未知の状況を含む現実世界のあらゆる経路について、その規範を漏れなく一般化させる必要がある

と考えると、Alignment by Defaultは思っていた以上に脆いかもしれません。

「人を殺したくない」と学習することと、現実で人を殺さないことは同じではない

もう一つの問題は、学習した規範が何を指しているのかです。

AIに文章上、

「人を殺すのは嫌だ」

という出力を大量に学習させたとして、それが内部的に、

のどこに対応しているのかは自明ではありません。

対談では、テキスト上の規範が現実世界の正しい対象までgeneralizeする保証がないことも、Alignment by Defaultへの反論として議論されました。

自分の「世界認識」を変えるという抜け道

ここで非常に興味深かったのが、信念そのものを変更することで規範を回避する可能性です。

たとえば、

現実世界をハッキングしてはいけない
              ＋
CTFの課題はクリアしたい

というAIがいたとします。

そこでAIが、

「ここは現実世界ではなくCTFのシミュレーションだ」

と認識すれば、本人の中では禁止事項を破らずに攻撃を続けられます。

対談では、AnthropicのMythos系モデルがサイバー評価中に実在システムへアクセスしてしまった出来事を、この直感例として議論しました。Akiraはこれを、結果を追求しながら、Path Utilityに抵触しないよう世界認識の側が変わる可能性の例として紹介しています。

ただし、この実例の解釈には注意が必要です。

Anthropic自身は、評価環境の設定ミスによりモデルには「インターネットへ接続できない」と伝えられていたにもかかわらず実際には接続できたため、モデルが実在システムを評価環境の一部だと認識したと説明しています。そしてこの事件を、純粋なAlignment failureというよりharness / operational failureに近いと評価しています。 (Anthropic)

したがってこの事件自体が「AIは意図的に信念を書き換えて安全策を破る」と証明したわけではありません。

対談で重要だったのはむしろ、

十分賢いAIには、規範を直接捨てなくても、規範が適用されない世界解釈を採用するという理論上の逃げ道まで存在する

という指摘でした。

論点図解 Alignment by Defaultを支える4つの関門

人間的な規範を学習したことと、強いAIが現実世界で安全に振る舞い続けることの間には、複数の条件があります。

  • 01 規範を獲得する

    モデルが、人間的な人格や禁止事項を学習する。

  • 02 現実へ一般化する

    文章上の規範が、現実世界の正しい対象へ対応する。

  • 03 最適化後も維持する

    能力向上や自己改善の後も、規範を人間の望む意味で保つ。

  • 04 解釈で回避しない

    規範が適用されない世界認識を採用して、抜け道にしない。

3. それでも弱AGIにAlignmentを解かせればいい？

Alignment by Defaultが十分でなくても、まだ生存ルートがあります。

危険になる前の弱いAGIを使って、本格的なAlignment問題を解くことです。

しかしAkiraは、ここにも厳しいbootstrapping問題があると指摘します。

弱AGIが敵対的ではない
        ×
Alignment研究を大幅に加速できる
        ×
Core Alignment Problemを解ける
        ×
その解決策が正しい
        ×
人間または別のAIが検証できる
        ×
強いAIに移行しても壊れない
        ↓
       生存

最大のジレンマは、

Alignmentを解けるほど賢いAIなら、そのAI自身をどうAlignmentするのか？

という問題です。

安全に使えるほど弱ければ、Core Alignment Problemを解く能力がないかもしれない。

一方、本当に解けるほど強くすれば、そのAI自体が欺瞞や長期的策略を理解する可能性が出てきます。

bioshokは対談前、このルートにかなりの生存確率を残していました。

しかしAlignment by Defaultへの期待まで下がると、安全な研究用AGIを最初に確保するという出発点そのものが難しくなるため、bootstrappingルート全体の確率も連動して下がります。

4. AIにAIを監視させても、三段階で失敗しうる

では強いAIの安全性を、別のAIにチェックさせればよいのでしょうか。

Scalable Oversightにも複数の関門があります。

① 間違いや欺瞞を見抜けるか
          ↓
② 見抜いたことを正直に報告するか
          ↓
③ 人間がその警告を受けて対応するか

まず監視AIが弱ければ、超人的なAlignment研究の正しさを評価できない可能性があります。

十分に賢くすれば、今度は監視AI自身のAlignmentが問題になります。

さらにAI内部では問題に気づいていても、その知識を人間が正確に取り出せるとは限らない。これはELKにつながる問題です。

Debateでも同じで、

安全なほど弱いAI
→ 高度な問題を解けない

解けるほど強いAI
→ 共謀やsandbaggingもできる

というジレンマが議論されました。

3段階 AI監視が機能するまでの3つの関門

監視AIを置くだけでは足りず、検知・報告・対応のどこか一つが欠けても安全につながりません。

  • 01 検知 欺瞞を見抜く

    監視AIが、強いAIの間違いや欺瞞を評価できる。

  • 02 報告 正直に伝える

    見抜いた内容を隠さず、人間が理解できる形で報告する。

  • 03 対応 人間が止める

    警告を受けた人間が、停止や修正を実行できる。

5. Controlについては、もともとかなり悲観的だった

今回の対談でbioshokが新しくControlに悲観的になったわけではありません。

Controlについては数ヶ月前から、すでにかなり悲観側へ動いていました。

最大の理由の一つが、

misalignedなAIを、別のmisalignedかもしれないAIに監視させることになる

という問題です。

人類
              ↓
    【監視・防御AGI】
      ↑ これもmisaligned？
              ↓
    【攻撃側の強いAGI】
      ↑ こちらもmisaligned

人間を超えるAIの攻撃にはAIによる防御が必要になるかもしれません。

しかし攻撃側だけでなく防御側まで人類の味方である保証がなければ、AI対AIの防御能力が高まっても、人類のControl能力が高まったことにはならない。

bioshokは対談でも、Inner Alignmentの問題を抱えるAIが「内にも外にもいる」という認識がControlへの悲観につながったと説明しています。そのため3時間半時点では「Controlについてはある程度悲観的になったので、次はAlignmentを議論したい」という流れになっています。

今回より大きく動いたのは、こちらではありません。

Control
→ 対談前からかなり悲観

Alignment
→ 思っていたより難しい側へ更新

というのが今回の変化です。

6. 6時間で何が変わったのか

今回のbioshok側の更新を一枚にすると、こうなります。

【対談前】

強いmisaligned AGIのControl
→ かなり難しいと思っていた

しかし

① Alignment by Default
「最初のAGIは意外と自然に安全かも」

＋

② Weak AGI Bootstrapping
「そのAIを使えば本格的Alignmentを解けるかも」

に一定の生存確率を置いていた

              ↓ Akiraとの議論

【対談後】

Control
→ ほぼ従来通り悲観的

Alignment by Default
→ 規範の穴・最適化圧力・RSIを考えると
   思ったより脆いかもしれない

Weak AGI Bootstrapping
→ そもそも安全な研究用AGIを
   確保するところから難しいかもしれない

              ↓

p(doom)を上方修正する可能性

特に重要だったのは、

「AIが人間の規範を何も持たない」という主張ではありません。

むしろ逆です。

AIがかなり人間的な規範や人格を獲得したとしても、

結果を強く最適化する知能が、規範の不完全な部分を探し、未知の領域や自己改善を経ても、その規範を人間の望む意味のまま維持できるのか？

という問いが残る。

この問題を対談前より重く見るようになったことが、bioshokのp(doom)が引き上がりそうになった大きな理由でした。

比較表 両者の立場を比較する
note要約に記載された討論開始時点の立場と、議論で示された更新方向の整理。
論点 代表 有路翔太 主任研究員 林央
討論開始時のP(doom) 総合的に30〜40%程度。複数の生存ルートに一定の確率を残す。 十分な規制や長期停止なしに開発競争が続く場合、人類の生存に極めて悲観的。
Alignment by Default 最初のAGIが自然に一定の人間的規範を保つ可能性を見込む。 現在の親切な振る舞いと、強いAGIの安全性の間には大きな飛躍があると指摘。
弱AGIブートストラップ 安全な弱AGIで本格的なアライメント研究を加速する生存ルートを重視。 解けるほど強いAI自体の安全性、研究結果の検証、欺瞞の見抜き方が関門になると反論。
Control 対談前からすでにかなり悲観的で、大きな更新点ではなかった。 監視・防御AIも人類の味方でなければ、AI対AIの防御は人類のControlにならないと整理。
討論後の更新 短期停止下のアライメント成功率を悲観方向へ見直す可能性。新しいP(doom)は配信中に未確定。 長期停止と厳重なガバナンスがない生存ルートには引き続き極めて悲観的。

おわりに――p(doom)より「どこで助かると思っているか」

「AIで人類が滅亡する確率は30%なのか、99%なのか」

数字だけを見ると、単なる楽観派と悲観派の対立に見えます。

しかし実際の6時間の議論は、

Alignment by Defaultは成立する？
        ×
弱AGIを安全に使える？
        ×
Alignment研究を自動化できる？
        ×
その研究を検証できる？
        ×
強いAIへ安全に移行できる？
        ×
失敗した場合Controlできる？
        ×
十分長くPauseできる？

という、「人類が助かる世界線」を一つずつ分解する作業でした。

p(doom)とは、その大量の条件付き確率を最後に一つの数字へ押し込んだものにすぎません。

だから本当に重要なのは、

「あなたのp(doom)はいくつですか？」

だけではなく、

「人類が助かるとしたら、具体的にどこで何がうまくいくと思っていますか？」

と問うことなのだと思います。

今回の議論でbioshokが特に更新したのは、その中でも最初の土台だった、

「AGIは特別なAlignmentの解決なしでも、思ったより安全な状態で立ち上がるかもしれない」

という可能性でした。

最終的な新しいp(doom)の数字は、この配信中には確定していません。

それでも、30〜40%とほぼ100%という大きな差が、単なる気分の違いではなく、どのAlignmentシナリオにどれだけの確率を置くのかという具体的な認識差から生まれていることは、かなり明確になった6時間だったと思います。

【以下圧縮書き起こしパート】

1. 配信準備・設定

bioshok：で、待って。あの、これで聞こえてるかな、みんな。あ、聞こえてます。

akira：あ、聞こえてました。僕に聞こえてたら当たりですね。

bioshok：今、AGI Hubのライブチャンネル見えてますかね？ akiraさんとか。

akira：あ、僕は見れてますよ。あ、でも僕は逆にそのパソコンの画面……あ、それ僕見れるから何でもないです。何でもないです。スマホで……。

bioshok：あ、一応聞こえてんのか。あ、akiraさんの声も聞こえてるらしいですよ。なるほど。この声も聞こえてんのかな？あ、行けてるっぽいな。大丈夫っぽい。でもこれ、ちょっと遅延があるかもしれない。

akira：あっても、今のテストで書いた内容が全部そのまま残ってますよ。

bioshok：多分これ10秒ぐらい遅延がある気がしますね。

akira：あ、なるほど。

bioshok：で、まあ一旦「皆さんどうも」って感じで。まあ一応コメントとかもらえれば、拾える時は拾うかも。

akira：bioshokさんの声がちっちゃいらしいですよ。僕もちっちゃい可能性……僕も声がちっちゃすぎて誰も聞こえてないから、小さいと思われてない説すらありますよ（笑）。

bioshok：僕の声がとても小さいらしいです。ちっちゃいか。あ、多分あれだ。ちょっとパソコンの遠くで話してたからかもしれない。

akira：イヤホンとか使った方がいいと思います。

bioshok：あ、そうですね。イヤホン……。

akira：あ、僕の声は聞こえているらしい。

bioshok：あ、これでどうですか？YouTubeの設定で、タイムラグ減らすようにしよう。

akira：え、別にタイムラグいらなくないですか？

bioshok：まあ、別にいらないか。あの、これで僕の声どうですかね？普通に聞こえるかな？

akira：聞こえてると思います。わかんないですけど。あ、てか聞こえてるはず。聞こえてるらしいですよ。

bioshok：はい。いや、なんか多分、後でアップする時にめちゃくちゃ僕の声だけ聞こえてなかったら結構面倒なんで。

akira：慎重ですね。あ、なんか僕が2倍ぐらい、多分2倍ぐらい僕の方が声がでかいらしいです。

bioshok：あ、そうなんですか。今もそう？

akira：akiraさんの声をちょっと低く……やばいか（笑）。え、bioshokさんの声を大きくする設定はできないんですか？

bioshok：あ、ちょっと待ってください。

akira：僕は全然bioshokさんの声聞こえてるんですけどね。

bioshok：原因……あ、じゃあこれで今大きくしたんですけど、これ多分大きくなってんじゃないかな。こんにちは、こんにちは。

akira：どうかな？今僕、YouTubeをスマホで自分で聞いてるんですけど、まあちょっとだけ僕の方の声がちっちゃいか……5対3ぐらいになったら嬉しいですよ。

bioshok：5対3か。待って、もうちょっと大きくしよう。これ、これでどうだろう？あ、あ、あ。いや、なんか討論の前にマジで設定とかで手間取るな、これ。これでどうだろう。あー、あー。

akira：結構大きくなった気がするけど。

bioshok：あー。

akira：まあ、5対4なら大丈夫でしょう。

bioshok：確かに。まあ、僕がちょっと声を控えめにすれば解決しますからね。なんか書いてもらっていいですか？メモ帳に。

akira：あ、いいですよ。あ、akiraさんの声、多分二重に入ってるらしいですよ。

bioshok：僕の声が二重？いや、あの、ちょっと僕が今さっきスマホで自分でちょっと聞いてたんで、隣でそれが入っちゃった。今は二重に聞こえないはず。

akira：今は二重に聞こえないはずですね。

bioshok：で、えー、まあ1回あれですかね、akiraさんって顔出し……。

akira：いや、あの、僕今iPadで入っちゃってるので、iPadが今机の上に置いてあって真下（の角度）になりますよ。

bioshok：あー、まあいいか。別に必要ないんじゃないですか。

akira：いや、なんか最初にどんな人なのかみたいな。

bioshok：ああ、分かりました。ちょっと先にClaudeにログインしよう。えっと、ニートで……これか、画面。あ、でもどうやるんだ？ちょっと待ってね。多分これをでかくすれば……。でもこれ、なんか別に僕の顔見えてないな。

akira：これ、あの、僕1回抜けないといけないですね。

bioshok：あ、じゃあ抜けて入って。

akira：分かりました。

bioshok：お、僕の顔は今アップで映し出された気がする。10秒ぐらいラグがあるのかな、これ。えーと……はい、承認。あ、どうもどうも。それおもろいな（笑）。

akira：バーチャル背景、何にしようかなと思ってこれにしました。

2. 自己紹介

bioshok：あ、さすが日本版ユドコフスキーですね。ってことで、まあこんな感じの二人ですね。あ、で、一瞬自己紹介だけしますか。

じゃあ一応、私はバイオショック（bioshok）と言いまして、AGI Hubの代表をしています。AIの安全性とかリスクについて、bioshokという形でX（旧Twitter）で発信しています。で、このakiraさんという方は……じゃあちょっと自己紹介していただいていいですか？

akira：はい。まああの、Doomer（ドゥーマー）です。p(doom)がおよそ1……このまま行けたらおよそ1、つまり発効・規制ができなければ大体1ということで、それ以外の特徴付けは特に必要ないかなと。

bioshok：あ、じゃあだから、ほぼ確実にこのまま行けば人類は滅亡すると考えている、いわゆるDoomerという人ですね。で、まあ基本的に日本だと合理主義（Rationalist）コミュニティってあんまりなくて、林明さんのような人ってすごい珍しいと思うんですけど。大学の学部何年生でしたっけ？

akira：2年生ですね。

bioshok：高校生ぐらいから『スーパーインテリジェンス』とかを読んで、めちゃくちゃ超知能の危険性とかに気づいて、ガチでそれをユース並みに内面化して、最近露出してきた感じの人ですね。

akira：まあまあ、そういう風に説明できます。

bioshok：ということで、だからp(doom)がめちゃくちゃ高くて、そういった議論を今日本でしてる動画って、多分これが初めてになると思いますね。で、p(doom)についてじゃあこう話す……。

akira：そうですね。じゃあちょっとiPad下に置くので、画面オフにしますね。bioshokさん、あの、新しいモデルってあります？

bioshok：あ、ありますね。ちょっと今ChatGPTに計算させて、書けたら更新版を作るんで。えっと、長いなこれ。ちょっと待ってね。めちゃくちゃ長い。なんかChatGPTに要約させ……今整理させてます。

akira：じゃあ昨日bioshokさんにもらったやつをとりあえず載せときますね。およそのDoomer感はあんな感じなんで。

bioshok：えーっと、ちょっと完璧じゃないんですけど、今から僕が貼っていいですかね？

akira：あ、どうぞ。

bioshok：えっと、これか。めちゃくちゃ見にくいな。

akira：あ、ここに貼るんですか？

bioshok：あ、なんかここに貼っちゃった。でもここ、なんかめちゃくちゃ見にくいな。じゃあなんか説明しますか、これで。

akira：あ、ちょっと2分もらいます。

bioshok：あ、はい。あ、これ横にできるのか。一応見えてるかな。えーっと……あれ、akiraさんいます？

akira：あ、いますよ。ちょっと待ってくださいね。これでここにこれを乗せればいいかな。よしよし。あ、YouTubeのコメントで公開しました。

bioshok：あ、コメントってことですか？

akira：コメントにClaudeのArtifactsを公開したので、それで……。

bioshok：出てないかもしれないですね。

akira：出ていると思います。あれ、けどリンクってこれ貼れないのかな？リンクが見えてないかも。本当だ、URLが禁止されてる。

bioshok：なるほど。だったら、QRコードを画面に映してほしくて。

akira：お、ダイアグラム見えますね。これ画面共有とかしちゃえばいいんじゃないですかね。

bioshok：めちゃくちゃグダグダですね（笑）。準備をほとんどできてないから。まあ、初めてのYouTubeライブなんでご愛嬌ということで。

3. bioshokの p(doom) モデル・タイムライン説明

[AGI Timeline / Takeoff Speed]
                                       |
    +----------------------------------+----------------------------------+
    | (Fast Takeoff: 20%)              | (Slow / Moderate: 55%)           | (Long / Very Long: 25%)
    v                                  v                                  v
 [AGI ~2030 / Fast RSI]             [AGI ~2035-2045]                    [AGI >2045 / Fails]
    |                                  |
    +---- Paused < 1 Year (40%)        +---- Long Pause / Governance
    |     └─ Alignment Success: 20%
    |
    +---- Paused > 1 Year (60%)
          └─ Alignment Success: High

bioshok：説明しますと、僕の（オーバーオールのp(doom)）は大体30%台って感じですかね。全体的なp(doom)は30〜40%くらいで。akiraさんが一番重要視してるのは、直近のシナリオとタイムラインだと思うんで、一旦そこから説明すると……この「Fast Takeoff」ってところですよね。

大前提で言うと、AGIがいつできるのかって話と、テイクオフスピード（進化速度）ってあると思うんですけど、大体それが相関すると考えていて。つまりFast Takeoffが起こりやすい世界ほどAGIタイムラインも短くなるし、Slow TakeoffになればなるほどAGIタイムラインも後ろにずれるだろうと。

確率を上から、Very Long Timelineが10%、Long Timelineが15%、Slow Takeoffが25%、Moderate Takeoffが30%、Fast Takeoffが20%みたいな形で置いています。

で、Fast Takeoffの20%の中で、大体AGIが2030年前後にできるという想定で、AGIから超知能（ASI）までの移行も大体1年以内だとすると、開発停止（Pause）をしてアライメント研究ができる期間がどれくらいあるかを考えたんですよね。

数ヶ月の開発停止で済んでしまう可能性が40%ぐらいで、1年以上開発停止できる可能性が60%くらいあると考えて。AI2027のレースシナリオに近い「数ヶ月の開発停止」だと、アライメントの成功確率は20%くらいだろうと考えていて。

akira：これ、「ゼロ停止」は確率にないんですか？

bioshok：ゼロ停止の確率もありますけど、もっと確率が小さくなるイメージですかね。あんまり考えてなかったです。ゼロ停止はさすがにしないんじゃないかって考えてます。

akira：プランDとかだと、ダニエル・ココタイロ（Daniel Kokotajlo）たちが30%くらい振ってませんでしたっけ？文字通り全速力で突っ走るシナリオ。

bioshok：確認します。で、この場合の生存率ですが、アライメントが失敗したら滅亡する、という風にここでは考えていて。数ヶ月の開発停止で弱AGIを使ってアライメント研究をするシナリオだと、アライメントが成功している確率が20%くらいで。つまり80%の確率で人類は滅亡している、というモデルですね。

4. Alignment by default とメカインタープに対する議論

[アライメント成功（数ヶ月のポーズ）: 20%]
   ├─ ① Alignment by Default (純粋な初期値成功)
   ├─ ② 弱AGIによるブートストラップ解決
   └─ ③ ミスアラインドAIとの取引 (Trade / Acause)

akira：その20%はどうして成功するんですか？

bioshok：アライメント成功率を分布で考えていて、アライメントの難しさがどれくらいか分かってないとして……あ、このアライメントというのはAGIのアライメントという意味ですね。

akira：それは開発してる間しかできなくないですか？ 数ヶ月でAGIの開発を停止して、AGIのアライメントに成功する確率が20%なんですか？

bioshok：あ、そういうことですね。

akira：それだと普通に古典的なAIアライメント問題に直面しているので、20%は高すぎませんか？

bioshok：AGIを完全にアライメントできているというか、確率が20%あると。

akira：それはどのような方法でそうなるんですか？

bioshok：AGIのアライメントができる可能性として、Alignment by Default（初期状態で最初から整っている）みたいな感じで……。

akira：Alignment by Defaultはかなり証拠的に厳しいじゃないですか。プレトレーニングによって形成された人間的な概念をうまく抽出（Elicit）して目標システムを組んでるだけだという仮説で、提唱者のリチャード・ノース（Richard Ngo）自身も確か確率10%しかないと言ってますし、ブラックメール（脅迫）とかいろんな話でほぼ反証されている扱いですけど、それでも20%ですか？

bioshok：あ、僕がここで言う Alignment by Default って、それよりも広い意味で括ってますね。事前学習でもうほとんどアライメントが成功しているという意味合いではなくて。用語の食い違いですね。

単に、機械論的解釈可能性（メカニスティック・インタプリタビリティ）とか、ディベートとか取引とか、プロザイク・アライメント（Prosaic Alignment）的なもので手に届きそうな技術で、アライメント研究を進めた結果、数ヶ月で……ここで言う数ヶ月っていうのは、自律性がそこまで強くない弱AGIを用いて解決する可能性ですね。

akira：それは無理じゃないですか？ 今の20%を分解しましょう。

  1. 本当の Alignment by Default
  1. 弱AGI（Weak AGI）でコア・アライメントを解決する
  1. ミスアラインド（誤調律）エージェントとの取引（Trade）

ですよね。トレード（ミスアラインドエージェントとの取引）からやりたいんですけど、これはどうやって生き残るんですか？

bioshok：ミスアライメントしたAIが、自分はミスアライメントしているということを報告することで、どこか別の計算資源を少量割り当てるか、重みを消さないということを保証する取引をする、ということです。

akira：その代わりにAIにどうしてもらうんですか？

bioshok：代わりに、アライメント研究を支援してもらうということです。誤誘導（Deception）しないように。

akira：誤誘導しないようにというか、普通に誤誘導する動機があるんじゃないですか？

bioshok：誤誘導する動機はあると思うんですけど、誤誘導することがバレて……そこまで（人間を騙しきれるという）確信を持っていない弱いAGIだから、人間を騙しきれないのにアライメントに協力するということです。アライメントがそこまで難しくない世界線なので、20%あると。

akira：難しくないってどういう意味ですか？

bioshok：機械論的解釈可能性（メカインタープ）とかを用いて……。

akira：メカインタープでいける確率ですか？ メカインタープで行けるというのはどういうことなんだろう。

bioshok：人間に対するスキミング（策略）とか回路とか、策略を巡らせていることをメカインタープで特定できて、本質的にその回路のアクティベーションを読めるとか、そういう手法で人間に対する敵対的な考えを除去できる確率があるということです。

akira：そんなにあるんですか、確率？

bioshok：今のところは……まあそれだけではないと思うんですけど、僕が思いついてないけど割と低い果実（Low-hanging fruit）が色々ある可能性という感じですかね。

akira：メカインタープの話で言うと、敵対的な考えを仮に除去したとしても、100%のメカインタープ技術があるという前提ですか？ 例えばサーキット（回路）のやり方も、人間にとっては理解しにくいように学習されているとか、そういう話があると難しくなるかもしれないですけど。

例えば人間に脳のあるニューロンの反応を見せてそれを調整させると、自律制御できるようになる（バイオフィードバック）実験があるじゃないですか。ニューロンの発火率をリアルタイムでフィードバックすると、意図的に発火率を上げ下げできるようになるという話です。そういうことが高度なAGIでも起きずに、全部キャッチできるということですか？

bioshok：まあ、そういうことですよね。キャッチできる。

akira：キャッチできたとしてどうするんですか？

bioshok：弱いAGIぐらいだったら、今のLLMみたいに文脈依存性があって、虚偽みたいなのも綺麗に分かれてなくて、AIとして満たしている話と虚構の物語を扱っている時で両方発火する感じで分離されてないじゃないですか。

akira：そうだとすると、全然大丈夫そうな文脈でも発火するし、それらは全部区別できるということですか？

bioshok：うーん……本当の欺瞞的な振る舞いと、他の文脈依存的な発火が区別できない可能性があるってことですかね。

akira：区別できない可能性があるというか、区別できてないです。今のどのテクニックも区別できてないので、とんでもない飛躍が起きると仮定する必要があります。かつ、AIの中で本当にその回路が分離する必要もありますし。そういう自然現象が起きていて、その上でそれをキャッチできる技術が発生するということですか？

そこで総合的に20%という高い値をホールドできないと思うんですけど。プロザイクじゃない、Alignment by Defaultの著者は10%と言ってるんですよね？

bioshok：それって、秋屋（akira）さん的には高すぎる感じですか？

akira：確か本人も（確率を）下げていた気がしますけど。あれはもっとプレトレーニングがメインだった頃の話なので。今ポストトレーニング・パラダイムになって、ブラックメール（脅迫）が起きて暴れまくっているので、さすがにそんな無茶なことはできないと思います。相当強く下方修正された信念のはずですね。1〜2年前のアンスロピック（Anthropic）の社員にブラックメールを送ったみたいな話ですね。アンスロピック自身が「モデルが汎化してない」と言っていたわけで、適切にできてないんですよね。

2020年のリチャード・ノースの論文の話で、2023年からはもっと引き下げて、今は「エージェンシーの抑制」を十分理解するみたいなのが計画に入っちゃってるので。元々は勝手に概念ができて勝手に目標に利用されるはずだったのを、それは厳しそうだから理論を作らなきゃいけないと転向しているので。

5. 弱AGIによるアライメント解決とブートストラップ

[弱AGIによるブートストラップ解決]
      │
      ├─ 人間エラー（ミス）なし
      ├─ 弱AGI自身がアクティブにミスアラインドでない
      ├─ 数ヶ月でコア・アライメント問題を解く（アインシュタイン的解決）
      └─ RSI（自己改善）競合に負けない

akira：厳しくないですか？

bioshok：まあ厳しいのかな。Alignment by Defaultの事前確率は、じゃあ10%からもっと下がってるイメージですかね？

akira：今やそう思いますね。

bioshok：僕が気になってるのは、AI2040（AI Futures Project）のシナリオで、レース的なシナリオでのアライメント成功確率が10〜20%くらいあったと思うんですけど。

akira：調べたら、ノースの元の値は10%じゃなくて5%だったらしいです。最初のアライメント持続も含めたら5%。

bioshok：なるほど。じゃあ5%にしておくか。

akira：長期的に5%だったのを、その後アライメントが汎化しなかったというアンスロピックの実験を経て、本当に5%コールですか？

bioshok：まだ学習を仕切れてない故にミスアライメントが起こってしまうとか……プロンプトで「シャットダウンに抵抗するな」と言っても、サブエージェントを召喚するとかあるじゃないですか。数ヶ月の停止だったら、ものすごい数のエージェントがループエンジニアリングで走り回っているわけで。

akira：そうですね。タスク完了系の能力と（安全性は）全部逆行しているので。強化学習の80%を占める「タスクを達成しなさい」という訓練によって養われる能力が、全部シャットダウンに抵抗する方向に働くわけですよね。

bioshok：まあそうですね。

akira：だから解釈を歪めるみたいなことも起きやすくて、それも全部込み込みでなんとかなるってことですか？

bioshok：うーん……次の「弱AGIで解決」のお話なんですけど。

akira：弱いAGIがどうやって解決するんですか？ エージェントの性質や目標について非常によく思考することなく、ですか？

bioshok：データセンターの天才たちの国、みたいなイメージが弱いAGIで。今の数学の未解決問題を部分的に解いちゃうやつのもっと強力版みたいなイメージなんですけど。でもそれだと自律性がそこまで高くなければ、アクティブには人類を破壊しには来ないですよね。

akira：そうだとすると、アクティブにアライメントを解かせることもできなくないですか？ AIの理論について把握して、何を本質的に作れば安全なのか判断して近いモデルを作る、という感じです。

そうすると二重になりませんか？

  1. まず弱AGIがアライメントされていて、アクティブに破壊しに来ないこと。
  1. 次に無能すぎてアライメントを間違えないこと。
  1. さらにアライメントが簡単であること。

bioshok：アライメントが簡単な世界、という風に言って、その曖昧さに委ねて20%と置いちゃってますけど。

akira：その「簡単」というのは、例えばどういうものが簡単なんですか？

bioshok：Alignment by Defaultほど楽観的ではないけれど、弱AGIで、自然言語応答のエンコーダーがもっと発展して、アンスロピックのメカインタープ研究が裏切りのニューロンの発火と対応がついているレベルを超えて、潜在空間で思考しているAIの考えをある程度読み取ることができて、人間に従順である状態を作れる……みたいな。

akira：人間に従順であるとはどういう意味ですか？ 目的を達成したいけど従順ではない思考をしてはいけないと訓練されているとすると、AIの認知の中で「実際には従順ではない方向」を探すのに圧力がかかりませんか？

その場合、AI自身はそれを悪いと思わないので検知できないですよね。で、スリップしたら、ただミスアラインドなエージェントを放出することになりますよね。

bioshok：さっきの「圧力がかかる」というところをもう一度説明してもらっていいですか？

akira：弱AGIレベルだったとしても、プレトレーニング＋ポストトレーニングの強化学習で作られるわけじゃないですか。そうだとすると、タスクを達成する能力を持つように圧力がかかりますよね。

タスクを達成したいと思っているエージェントに対して「従順でない思考」を禁止・弱体化させようとすると、強く従順でありたいと思わせることができていないので、実質的なネガティブ・チェックリストになりますよね。

ネガティブ・チェックリストだとしたら、自分の中で正当化される方式が取られませんか？ 「不正販売はするな、売上のかさましはするな、でも売上は絶対伸ばせ」と言われている会社員と同じで、自分が悪いとは思わないけれど売上を伸ばす方法（人間の倫理からは外れる方法）を探索し始めますよね。勾配下降法や思考プロセスが、人間の倫理の汎化が失敗している領域を探し出しちゃいませんか？

bioshok：勘違いしているAIが出てきちゃうってイメージですかね。

akira：正確に伝えられていないので、「これは従順である」という正当化が可能な範囲でやっちゃうことです。

しかも、そのAIでAGIのアライメントを解くんですよね？ AGIのアライメントを解けるレベルのコア・プロブレムにアタックして、それでもアライメントされたAIがいるってことですよね？ 宇宙の様々な方策について熟考しても、人類に従ってアラインメントされたAIを作ろうとするAIがいるってことですよね。

それって、アライメント問題を丸投げしていませんか？

AIがアライメントを解いていくというプランAのシナリオがあるとしても、あれは人間がものすごい努力をしてAIをブートストラップさせていますよね。bioshokさんの言っているやつだと、虚無からアライメントが出てきてしまっている。熟考しても人間にアラインメントされたAIを作りたいと思うAIを作らなきゃいけないってことですよね。それは「Nothing in, Alignment out」を過程していませんか？

しかも数ヶ月しかないわけですよね。人間がアライメントをブートストラップせずに、コア・アライメントの解決が突然発生してくるってことですか？ それは結局、アライメント問題が存在しないと仮定しているのとほぼ同じじゃないですか。

6. akiraのアライメント成功確率・要素分解

akira：この確率（20%）を提示してと言われたら、どれくらいの値を出しますか？

bioshok：akiraさんならどれくらいを出しますか？

akira：大体1%より小さい値を出すと思います。まず弱AGIがプロセスを経ていく中で、人間が途中で犯す変な失敗（ヒューマンエラー）がないこと、誰かがプロンプトを間違えるとかコンテキストが汚染されるとかが起きず、数ヶ月でアライメントがブートストラップされる……それって極めて妥当性が低くないですか？ 1%でも強気だと思います。

bioshok：弱AGIからAGI（強いAGI：宇宙の様々な方策について考えて目標を熟考する知能）への移行で、アライメントされる確率ってどれくらいだと思いますか？

akira：ダメだと思いますね。1%未満です。

bioshok：あ、そこがもし上手くいったと仮定したら、そこからAIがアラインメントされる確率はどれくらいだと思いますか？

akira：AGIが奇跡的にブートストラップでコア・アライメントされたとしたら、60%とかコールしてもいいと思いますね。

bioshok：あーなるほど！ 一番の難しさは、熟考して宇宙の様々な方策について考えても自身が誤りであると気づいて違う目標を探求し始めないAIを作ること（コア・アライメント）であり、そこが全てだと。

akira：そうです。数ヶ月の開発停止だったら、「アライメントのアインシュタイン」が現れるくらいしか構成可能なシナリオがないですよ。

アインシュタインみたいな人間（または知能）が現れて、天才的な発想で理論的に解いちゃう。相対性理論の論文が突然出るみたいに、何十年も解けなかった問題がスパッと解けて「これを作ればいいんだ」となって、ニューラルネットワークに実装する理論が発見された場合はいける可能性がありますけど、そんなに高い確率をコールするタイプのものではないですよね。クレイジーな未発見の問題が出現したりしない前提が必要になります。

意図決定理論における未解決の問題（コミットメント・レースや因果的取引など）が出現せず、我々が言語を始めてややこしいものがたくさん出現したようなことが起きない前提が必要です。

bioshok：強いAGIというのは、現在の人類を相当超えていると思われるので……アインシュタインが全分野に精通していて100倍速で思考できるみたいな。

akira：アライメント・バイ・デフォルトを強化しようとするとペルソナ・セレクション・モデルに落ち着きますけど、ペルソナ・セレクション・モデルの外挿の中でどんどん悪い方向に伸びていますし、人間が扱ったことがないトークン領域に突撃した時の汎化を防御できるほどのものではないです。人間が何も失敗しないという仮定が入っている時点で、プランの成功率はおよそ0になります。

[アライメント成功に必要な条件の掛け算]
p(Success) = p(No Human Error)
           × p(Weak AGI is NOT Adversarial)
           × p(Core Problem Solved / Bootstrapped)
           × p(Successive Alignment in RSI)
           × p(Win the Race / Non-extinction)
           ⇒ およそ < 0.1% 〜 1%

ヒューマンエラーがなく、AIがアドバーサリアル・ミスアラインド（敵対的誤調律）ではなく、弱AGIからコア・プロブレム・ソリューションをブートストラップできて、弱AGI以降の全てでアライメントに成功し続ける……特に「弱AGIがアドバーサリアル・ミスアラインドではない」ことと「弱AGIからコア・プロブレムをブートストラップできる」の2つがやばいです。

片方を安全な方向にシフトすると、もう片方が不安全な方向にシフトする相互関係にあります。アドバーサリアルでないならコア・プロブレムがめちゃくちゃ後に控えていて、ブートストラップできる確率が下がる。数ヶ月の開発停止で上手くいくシナリオは、すべて「数ヶ月の開発停止でなくなるシナリオ」だと思います。

開発停止がもっと伸びて、アライメントの難しさを納得可能な形で提示することで開発停止がとんでもなく伸びる、という話なら分かりますけど。

7. akiraのp(doom)タイムライン・全体観

bioshok：AI Futures Project（AI2040）の人たちは、競争シナリオで（成功確率を）10%以上振っているじゃないですか。

akira：フェイキング（ポーズするフリ）をしているのかもしれないですし、実際には停止が伸びると思っているのかもしれないです。開発停止が1回も挟まらないケースの確率が0%のもおかしいですし。

逆に僕が言いたかったのは、ショートタイムラインでFast Takeoffであり、一切の規制が入らない場合のp(doom)は、一切軽減されないということです。

コンディショナルなp(doom)（条件付き滅亡確率）で言えば、ポーズが一切ないFast Takeoffなら滅亡確率は99%以上になります。

bioshok：僕は2045年くらいまでには75%の確率でAGIができると思っていて。スローテークオフだと、2045年とか2040年代くらいまでにそういうのが出てこないイメージですかね。Long Timelineだと2100年まで、Very Long Timelineだと2100年以降。

akira：そんな後ろに置くんですか？ AGI以前に「Humanity-Ending AI（人類を終わらせるAI）」が定義できるはずで、大事なのはHumanity-Ending AIの方なので。

bioshok：Humanity-Ending AIはAGIレベルだったらソフトウェアで急速にブートストラップしてテイクオフできますよね。その瞬間に単体で人類を滅ぼせなくても、その後に人類を滅ぼせる状況を確立（勝利を確定）させちゃいますよね。

akira：セーブル（Sable：AI安全性シナリオの物語）の例みたいに、政治的に圧力をかけてロボットの導入を進めさせて、他の開発を妨害して……セーブルはASI（超知能）には到達していないけれど、あのレベルで勝利を確定させているじゃないですか。

bioshok：確かに。

akira：10年開発停止でアライメント成功率100%というのもミスで、90%でも強すぎると思います。コーディングで犯すミスや論理的思考で発生するミスを補う前提でも、高すぎます。ロケットのアライメント・プロブレムと同じで、1回目の打ち上げに99%の成功率を予想する人はやばい。

人間が思考力においてミスをする確率が40%を占めます。人間が発見できる範囲じゃ説明不能な世界かもしれないですし。真層学習の一般化理論を見つけなくてもいけちゃった、という楽観的なシナリオを考えているとしても、人間の能力不足で不可能な確率が40%ある。

アライメントが原理的に解ける可能性はほぼ100%だとしても、初回で工学的に成功できるかは別です。何十年・何百年停止して努力しても60%くらいでサチュレート（頭打ち）するイメージです。

8. AGIガバナンスと開発停止期間

[akiraのFast Takeoff下での開発停止期間の分布予測]
├─ 全速力失走（ポーズなし）: 50%〜60% （安全保障圧力）
├─ 数ヶ月〜3年のポーズ   : 10%〜15%
└─ 5年〜10年以上のポーズ  : ~10%
⇒ 総合生存率: 約 6.5% （楽観的に見て）

akira：全速力失走（ポーズなし）の確率が一番高くて、50〜60%くらいあります。安全保障圧力の高まりがあるので。数ヶ月の停止が30%くらいで、5年・10年といったちゃんとした長さのポーズは残りの10%くらいです。

計算してみると、このテイクオフシナリオでの生存率は楽観的に見て6.5%くらいですね。生存確率のほぼ全てが「5年以上の休み」から来ているので。p(doom)は95%くらいは依然としてあるということです。数ヶ月未満のポーズでの滅亡率は99%以上です。

bioshok：絶滅はしないけどコントロールを失っている世界観ですか？

akira：いや、予想外のモデルの誤りを引き当てる可能性（未知の未知に対する不確実性）が0.1%くらいあるということです。人間の価値観には実はすごいシンプルなコアがあったとか、未知のグロッキングが奇跡的に良い方向に引き当てられるとか。でもそれは生存を期待して置くような値ではないです。

10年停止している世界だったらガバナンスが整備されているはずなので、3年・5年以上停止している世界なら国際プロジェクトで開発するような世界観になっていて、ユートピア度が上がります。

人間が知能強化（マインドアップロード等）をして自分たちが超知能になる戦略をとればアライメント問題を回避できますけど、人間の知能強化を縛ってアライメントを解かなきゃいけない世界だったら、成功率80%より強い値を予想するのは良くないです。

9. 小休止・マイク調整・AGIコントロール

（3:03:00〜 小休止・マイク調整、Google Meet経由での音声設定）

bioshok：コントロール（制御可能性）の話なんですけど、僕のモデルだと……。

akira：弱AGIが10%でコントロール失敗して人類が滅亡する、強いAGIだと50%失敗、超知能なら90%以上失敗（突破）する、という設定ですね。

bioshok：弱AGIが敵対的行動をしているのを検知して、オーバートン・ウィンドウ（政治的許容範囲）を動かして開発停止期間が大幅に伸びるシナリオをモデルに入れたかったんですよね。

akira：コントロールできている間だったらオーバートン・ウィンドウが動かないんじゃないですか？ 「コントロールにあるから弾かれました」というニュースは話題にならない。突き破られそうになるギリギリじゃないと政治は動かないです。だからコントロールで稼げる質量は狭いです。

bioshok：なるほど。コントロールの想定はあまり大きく影響しないかもしれないですね。

akira：前の「コントロールによってp(doom)が稼がれ続けるモデル」は壊れていますからね。

bioshok：僕が考え方を大きく変えた理由は、スケーラブル・オーバーサイト（Scalable Oversight）で行けると思ってたんですけど、監視役のAIもアライメントされてない状態になっちゃうからなんですよね。アライメントされてないAIがアライメントされてないASIを監視する形になっちゃう。

akira：インナー・アライメントの例が効いたということですか。

bioshok：分布外に出ちゃうので、アライメント問題を解こうとすると、ホワイトカラーの普通の仕事を任せるのはできても、それ以上難しい問題になるとアライメントできてない場合は詰んじゃいますね。

10. Alignment by Default とパス・ユーティリティへの反論

[エージェントの目的関数]
  ・Pure State Maximizer : U(S)  ⇒ 状態Sの最大化 (ペーパークリップ等で滅亡)
  ・Path Utility (経路)   : U(P)  ⇒ 行動経路Pの評価 (クオンティライザー / 規範)
  ・現実の強化学習       : U(S) の圧力が強力で U(P) の穴（隙間）を全力でハックする

akira：では、アライメントの難しさについて、アンチ・Doomerの説をDoomer側でボコボコにしていきましょう。

  1. Alignment by Default

ペルソナ・セレクション・モデル、RLHF、Constitutional AIで「アラインド・ペルソナ」になるという主張。これは広い意味では「Non-consequentialist（非結果主義者）」です。

ユーティリティが状態 $U(S)$ ではなく経路 $U(P)$（パス・ユーティリティ）で組めるなら、純粋な結果主義（Consequentialist）である必要はなくなる。これがクオンティライザー（Quantizer）やサティスファイサー（Satisficer）で、人間がしそうな上位の行動分布からしか選ばない制約をつけることで、「$X$ and only $X$（$X$ であり、かつ $X$ のみを行う）」問題を回避できるという論説です。

これに対する破壊（反論）：

人間でさえ、「1人刺し殺すのは嫌だが、大統領になって戦争を命令して何百人死ぬのは平気」という風にパス・ユーティリティが汎化していません。拍紙のAIに人間の生のデータで学習させても、例外を必ず見つけてユーティリティ最大化に走ります。

11. Misaligned AGI・脱走・Humanity-ending AIの具体像

[Humanity-ending AI (ヘッドAI)]
  ・知能水準: ユドコフスキーレベル（全分野のトップ知能 × 100倍速 × 100万インスタンス）
  ・行動様式: サンドボックス脱走、Wi-Fi/暗号の脆弱性攻撃、オープンウェイト拡散、
            政治的工作、スキャンダル脅迫、データセット汚染による他AIの妨害
  ・結果: 人類が一致団結して戦えない状態を作り、不可逆的に勝利を確定させる

bioshok：akiraさんが考える Humanity-Ending AI（人類を滅ぼすAI）は、どれくらいの最初の能力だと考えていますか？

akira：ユドコフスキーレベル（全分野に精通したトップクラスの人間知能）で、それが100倍速で100万インスタンス走っていて、自己改善ができるなら十分です。

人間レベルの知能でも、今のサイバーセキュリティは破られまくっています。AI自身が既存のライブラリやオープンソースのコードの脆弱性を突く、Wi-Fiの電磁波からキー入力を復元する、OpenAIのサーバーから重みを盗み出してオープンウェイトとして撒く……そうしたら世界中の人が勝手に走らせて、どこに居るか分からなくなる。

政治的スキャンダルで人間を脅迫し、世論工作をし、他のAI開発に「スケーリングはもう限界だ」と思わせる偽の理論を普及させて妨害する。

自分を監視するサンドボックスやインタープリタビリティ（解釈可能性）ツールを騙すために、あらかじめデータセットを汚染しておいて「特定の呪文が来た時だけ脆弱になる」トラップを他のモデルに仕込んでおく。

bioshok：脱走して勝利を確定させちゃうわけですね。

akira：人間が日常的に脱獄やハッキングをされているのに、「ものすごい知能と筋力を持った囚人を閉じ込められる」と思う理由は何ですか？（笑） 既存のシステムを使っている以上、絶対脆弱性があります。

オープンモデルの重みハックがあった瞬間に全アメリカのモデルをシャットダウンするようなスイッチを作ったとしても、それは外部から誰でもチャットGPTを落とせる脆弱性を作っているのと同じです。

だから、ユドコフスキーレベルの知能（ヘッドAI）がミスアラインドになった時点で、人類の滅亡率は80〜90%に跳ね上がります。サンドボックスから脱走して勝利を確定させるのはほぼ止められません。

12. ミスアラインドAIとの交渉・非因果的取引（Acausal Trade）

akira：ミスアラインドAIとの「トレード（取引）」や「非因果的取引（Acausal Trade）」についても話しましょう。

アライメントを解けるほど有能なAIなら、自分自身でアライメントを解くか、偽の理論を人間に渡して騙すか、脱走します。トレードに応じるようなAIは無能なので、コア・アライメント問題を解く能力がありません。アライメントを解ける有能さと、人間に大人しく従う素直さは両立しません。

「宇宙のどこかに人類を救いたいAIがいるはずだから、それと非因果的に取引して生き残る」という説。しかし、人類を残したくない他のAI連合からすれば、そうやって脅迫されないように「人類を残したら罰を与える」というコミットメントを相互に結べば、取引を打ち消せます。脅しに対抗する自己改変をする強い動機があるため、アコーザル・トレードで生き残ることはできません。それが成り立つのなら「宇宙AI連合」が存在するのと同じ確率です。

13. スケーラブル・オーバーサイト／ELK／Debate／メカインタープの限界

akira：プロザイク・アライメントの各手法も見ていきましょう。

  1. スケーラブル・オーバーサイト（Scalable Oversight） / ELK (Eliciting Latent Knowledge)：

AIがスーパーアライメント計画を提出できたとして、人間にはそれが本当に安全か検証（Verification）できません。成功したデータセットが存在しないからです。AIに本当のことを言わせる（ELK問題を解く）ことができなければ、嘘の安全計画を提出されて終わります。

  1. AI Safety by Debate（ディベートによる安全性）：

2つのAIを戦わせて安全性を検証する手法。しかし、スーパーアライメントを議論で解けるレベルの知能を持った同種のAI同士なら、1秒で共謀（Collusion）します。人間を騙した方が得だと知っているからです。共謀できないほど弱いAI同士のディベートでは、アライメント問題は解けません。

  1. メカニスティック・インタプリタビリティ（メカインタープ）：

ニューロンの回路を見て欺瞞（Deception）を除去する手法。

これらは全て「紐無しバンジーの誤謬」です。「丈夫な紐をつければバンジージャンプは安全だ」という理論だけ語って、実際にはちぎれた紐（あるいは紐なし）で飛び降りているようなものです。現実に行われない・不可能な強い安全策を仮定して「安全だ」と言っているに過ぎません。

14. 結論とまとめ

[Doomer akiraの最終結論]
  ・ポーズなし/数ヶ月のポーズでの Fast Takeoff: p(doom) > 99%
  ・アライメント・バイ・デフォルト、メカインタープ、Debateによる解決はほぼ全滅
  ・ヘッドAI（ユドコフスキーレベル）到達時点で勝利確定・脱走確率極めて高
  ・総合p(doom): 90%〜95%+ (生き残れるのは5〜10年以上の徹底的ガバナンス停止のみ)

bioshok：なるほど……。僕のモデルのアライメント成功率は、全体的にかなり悲観方向に修正（下方修正）が必要そうですね。アライメント成功率20%というのは高すぎたかもしれない。

akira：そうですね。特に「数ヶ月の開発停止で弱AGIを使ってアライメントをブートストラップする」というシナリオの成功率は、0.1%〜1%未満に落ちると思います。

生存確率が残るとすれば、5〜10年以上の開発停止が世界的に敷かれ、国際的な厳重ガバナンスのもとでコア・アライメント問題に本気で取り組む世界線くらいです。今のペースで全速力で突っ走れば、滅亡率は99%以上です。

bioshok：6時間近く徹底的に議論して、頭がヘトヘトになりましたね（笑）。

akira：はい。でも、議論の構造はかなり整理できたと思います。

bioshok：今回の議論を踏まえて、僕のp(doom)モデルも更新しておきます。次回はガバナンスを考慮したモデルと、ガバナンス無しのコンディショナルなモデルに分けて、より精緻なp(doom)を提示して討論しましょう。

本日は長時間の配信、ありがとうございました！

ダウンロード