代表 有路翔太 × 主任研究員 林央「P(doom)徹底討論」第1回 全文書き起こし

以下は主任研究員 林央が編集した、代表 有路翔太・主任研究員 林央の第1回P(doom)討論の書き起こし全文です。原文（note）はこちら。

編集：林央

概要

8月7日14:00から20:00にかけて、bioshok氏とAkira氏によるP(doom)討論が行われました.

YouTubeで動画を開く →

現在まとめ記事がbioshok氏によって執筆されていますが、非常に基本的な整形以外を行なっていない対談の書き起こしをこちらで公開させていただきます.

ほとんど整形を行っていないので、人間が読むことではなく、人間がAIに読ませて疑問点などを投げかけるといったことを想定しています.

対談記録の書き起こしは約200,000文字、トークンにしておよそ150,000トークンほどです.

書き起こし本文

有路翔太開始 0:09

さすが日本版ユドコウスキーですね。ってことで、 ま、 こんな感じの二人ですね。あ、 で、 一瞬自己紹介だけしますか。じゃあ一応私はバイオショックと言いまして、 まあAGIハブの代表をしていますと。で、 まあAIの安全性とかリスクについてバイオショックという形でXでまあ発信してますと。で、 このアキラさんっていう方は、 じゃあちょっと自己紹介していただいていいですか？

林央開始 0:48

はい。え、 まあ、 あの、 ドゥーマーです。Pドゥームがおよそ、 およそ一、 うーん、 このままできたらおよそ1位という。開発規制ができなければだいたい1位ということで。それ以外の特徴付けは特に必要ないという理由なので。

有路翔太開始 1:01

じゃあだからまあほぼ確実にこのままいけば人類は滅亡するって考えてる、 いわゆる。

林央開始 1:06

このまま、 このままできれば。

有路翔太開始 1:08

ドゥーマーという人です。で、 まあ基本的に日本だと合理主義コミュニティってあんまりなくて、 まあアキラさんみたいな、 林アキラさんみたいな人ってすごい珍しいと思うんですけど、 まあそういう。学部—東大の今学部何年生でしたっけ？二年生ぐらいで。

林央開始 1:28

二年、 二年ですね。

有路翔太開始 1:30

で、 なんか高校生ぐらいからスーパーインテリジェンスとか読んで、 めちゃくちゃ超知能の危険性とかに気づいて、 で、 ガチでそれをユドコウスキ並に内面化して、 最近突如出てきた感じの人ですね。

林央開始 1:50

まあまあそういうふうに説明できますね。

有路翔太開始 1:54

っていうことで、 だからPドゥームがめちゃくちゃ高くて。だからそういった議論を今日本でしてる人、 多分会議っていうか動画って多分これが初めてになる、 なると思いますね。で、 ま、Pドゥームについて、 じゃあお話していきますか。

有路翔太開始 2:17

じゃあまあ説明しますと、 だから僕のPドゥームはだいたいオーバーオールで三十パーセント台って感じですかね。で。うん。まあ全体的なPドゥームだから三十から四十パーセントぐらいで。で。まあ朗さんが一番多分重要視してるのって直近のショートタイムラインだと思うんで、 一旦そこから。

林央開始 2:59

そうですね。

有路翔太開始 2:59

説明すると。

林央開始 3:02

下側からですね。

有路翔太開始 3:03

この辺ですよね。このファストテイクオフってとこですよね。

有路翔太開始 4:06

限界があるな。もっと。

林央開始 4:08

もっとでかくしたらいいですか？

有路翔太開始 4:29

で、 この画像自体をもうちょいちっちゃくできますか？

林央開始 4:35

いいんですか？この画像ちっちゃくして。

有路翔太開始 4:36

はい。なんかその縮小できなくて、 この、 あれが。あ、 OKです。

有路翔太開始 4:56

で、 で、 これのPドゥーム推定でファストテイクオフ。まあだからその大前提で言うと、 まあだからAGIがいつできるのかって話と、 まあテイクオフスピードってあると思うんですけど、 まあだいたいそれが相関するって考えて、 まあつまりファストテイクオフが起こりやすい世界ならば、 起こりやすい世界ほどAGIタイムラインも短くなるし、 まあスローテイクオフになればなるほど、 まあAGIタイムラインも後ろにずれるだろうってことですね。で、 ロングタイムラインとかベリーロングタイムラインとか、 まあいろいろ書いてるんですけど、 一旦そこの確率を上からベリーロングタイムラインが十パーセント、 ロングタイムラインが十五パーセント、 スローテイクオフが二十五パーセント、 モデレートテイクオフが三十パー、 ファストテイクオフが二十パーみたいな形でやってますと。で、 ファストテイクオフのまあ一旦考えましょうと。で、 ファストテイクオフのまあ感じだと、 そうですよね、 二十パーセントの中で、 だいたいAGIが二千三十年前後にできるって想定で、AGIがから超知能までの移行もだいたい一年以内だとすると、 この世界で、 えー、 まあ基本的に何だろうな。この開発停止してできる期間がどれぐらいかっていうのを考えたんですよね。で、 まあだいたい数ヶ月の開発停止がまあ四十パーセントぐらいで、 まあ一年以上開発停止する可能性が六十パーぐらいあるって感じで考えて。で、 まあちょっとAI 2027のレースシナリオに近い数ヶ月の開発停止だと、 多分アラインメントの成功確率ってのが二十パーセントぐらいだろうと考えて。

林央開始 7:43

ゼロ停止の確率ないんですか？

有路翔太開始 7:46

ゼロ停止の確率もありますけど、 まあ結構もっと確率は小さくなるみたいなイメージですかね。

林央開始 7:59

なるほど。

有路翔太開始 8:00

そのあんまり考えてないなかったですね。ゼロ停止は。

林央開始 8:04

ゼロゼロ停止存在してないですか？やっぱり。

有路翔太開始 8:08

ゼロ停止はさすがにしないんじゃないかって考えてますね。

林央開始 8:14

なるほど。

有路翔太開始 8:14

なんか。

林央開始 8:15

でもその、 あれじゃないですか、 プランDとかだと、 えーと、 ダニエルここタイルが三十パーぐらい振ってませんか？

有路翔太開始 8:23

まあでもあれもゼロ停止ではないんじゃないですかね。なんかあんま覚えてないですけど。ゼロ、 なんか文字通り全速力みたいな感じでしたっけ？Dって。

林央開始 8:42

今確認します。で、 この場合の生存率が、 えー。

有路翔太開始 8:51

だいたいアラインメントが失敗したら、 まあ滅亡するっていう風に、 まあ一応ここでは。考えてるんですけど。まあちょっとこれ古い古いというか、 なんかもう少しコントロールが。なんか実は成功する可能性とかも考えてたんですけど。まあまあ一旦そのアラインメントが、 えーと、 成功する可能性っていうのが二十パーセントぐらいで、 で、 どんどん増えていくわけですね。一年、 三年、 五年、 十年ってなっていくと。で。アラインメントの成功確率がまあ十年ぐらい開発停止できてると、 成功確率が結構百パーセントに近くなるみたいな。まあでもこの、 まあこれもちょっとまあ本当は九十パーぐらいだと思うんですけど、 アラインメント成功確率を丸め込んじゃってますね。ちょっと古いやつなんで。

林央開始 10:14

なるほど。

有路翔太開始 10:19

で。まあこれは一旦思考のラフ。

有路翔太開始 10:39

あ、 これ？

有路翔太開始 10:49

で、 まあなのでアラインメント、 まあ、 まあつまりまあこのファストテイクオフの世界で、 だいたいAGIぐらいで開発を停止して、 まあ。えーと、 開発を停止して、 そこで数ヶ月のアラインメント研究をするとか、 一年のアラインメント研究をするとか、 三年のアラインメント研究をするとか、 そういうシナリオですね。で、 そうすると。まあ多分数ヶ月だとアラインメントが成功してる確率ってのがそんなに高くないかなって思ったので。まあ二十パーセントぐらいとして。で、 まあつまり八十パーセントは成功してないので、 その八十パーセントの、 まあ世界では、 まあ基本的にはなんだろうな。うん、 まあ人類は結構滅亡してるんじゃないかっていうモデルですね、 これは。

林央開始 12:14

二十パーセントはどうして成功するんですか？

有路翔太開始 12:17

二十パーセントの成功は、 まあつまりアラインメント成功率っていうのが分布で考えてて。その、 まあアラインメントの難しさってどれぐらいかっていうのがまあわかってないとして。まあこのアラインメントっていうのは、 そのAGIのアラインメントっていう意味ですね。その。

林央開始 12:48

それはでも開発停止してる間しかできなくないですか？

有路翔太開始 12:52

あ、 まあそうですね。開発。

林央開始 12:54

なので、 ここはそのASIまで行かないといけなくないですか？その数ヶ月でAGI開発停止して、ASIのアラインメントに成功する確率が二十パーセントじゃないんですか？

有路翔太開始 13:04

あ、 まあそういうことですね。あ。

林央開始 13:07

そうすると普通に古典的なASIアラインメント問題に直面しているので、 二十パーセントは高すぎませんか？

有路翔太開始 13:14

あの、 その、 え、AGIを、 まあ完全にアラインメントできているというか、 まあそのプラン。

林央開始 13:23

確率が二十パーセント。

有路翔太開始 13:25

そうそうそう。

林央開始 13:25

それはどのような方法でそのようになるんですか？

有路翔太開始 13:30

アラインメントが、 まあだからAGIの、 何ですかね、 アラインメントができる可能性っていうのが、 まあアラインメントバイデフォルトみたいな感じで。

林央開始 13:43

アラインメントバイデフォルトはでもかなり証拠的に不利じゃないですか、 全然。

有路翔太開始 13:49

まあそのアラインメントバイデフォルトって。

林央開始 13:53

は、 そのプリトレーニング、 そのプリトレーニングによって、 その形成されたやつを、 そのうまいことに、 きっと形成された人間的な概念をうまく、 あの、 抽出して目標システムを組んでるだけだっていう仮説で、 提唱者のウェントワース自身も確か確率十パーしかないですし、 そのあなたの脅迫とかいろんな話で、 まあまあ割と反射をされたように近い扱いですけど、 二十パーセントですか。

有路翔太開始 14:21

ああ、 だからその、 ここで言うアラインメントバイデフォルトって、 だからこれ、 それよりも強い意味で使ってますかね。その、 なんか、 その事前学習でもうほとんどアラインメントが成功してるっていう意味合いではなくて。だからちょっと用語の食い違いですね、 ここは単に。あの、 まあ機会論的解釈可能性とか、 まあディベートとか取引ですとか、 まあそういった、 まあ今、 なんだろうなぁ。なんですけど、 プロザイクアラインメント的なもので手に届きそうな技術で、 まあいろいろ。うん。何ですかね、 そのアラインメント研究を推し進めた結果、 まあ数ヶ月で、 まあここで言う数ヶ月っていうのは、 えっと、 まあ弱い、 まあここで言うと弱いAGIというか、 自律性の、 まあそこまで強くないAGIですかね。を用いてまあ解決する可能性が。

林央開始 15:52

それは無理じゃないですか？その、 えっと、 今ちょっとこれをだから分解すると、 えーと、 その二十パーセント分解しましょう。一つ目がただ、 ただ、 ただただ、 本当のアラインメントバイデフォルトですよね。

有路翔太開始 16:09

うん、 まあそうですね。お。

有路翔太開始 16:18

そうですよね。

林央開始 16:19

そうそうそう。で、 二つ目が。なんだ、 二つ目が、 えーと。弱AGIで解決するんですよね、 アラインメント。

有路翔太開始 16:34

まあそうですね、 はいはい。

林央開始 16:38

で、 マルさんがトレードですと、 ミスマッチ相手の取引ですよね。ですよね。

有路翔太開始 16:49

うん。まあそうですね、 はい。

林央開始 16:53

ですよね。

有路翔太開始 17:13

うん。

林央開始 17:14

で、 アラインメントバイデフォルトでも一応その本当のアラインメントバイデフォルトと、 そのアラインメントテクニック。で、 えっと。

有路翔太開始 17:45

うん。

林央開始 17:49

こういうことですよね。

有路翔太開始 17:52

まあそうですね。あれ、 これプロザイクアラインメントにはなんかあれですかね、 ディベートみたいな話も入ってるってことですかね。

林央開始 18:01

まあまあ多分実行されるならってことですけど。まあディベートじゃなくてもRLHFとかそういうので。

有路翔太開始 18:11

なるほど。

林央開始 18:16

ってことですよね。

有路翔太開始 18:20

うん。まあそうですね。

林央開始 18:22

で、 この、 じゃあ、 えーと、 トレードウィズミスアラインドエージェントからやりたいんですけど。

有路翔太開始 18:30

うん。あ、 はいはい。

林央開始 18:32

これはどうやって生き残るんですか？

有路翔太開始 18:36

うーん。まあミスアラインメントしたAI、 まあだから、 えーと、 ミスアラインメントしているということを、 まあ報告することで、 まあどこか別の、 なんですかね、 計算資源をまあ少量割り当てるか。うん。まあその重みを、 えー、 消さないということを、 まあ保証するっていう取引をするってことですね。

林央開始 19:21

の代わりにどうするんですか？

有路翔太開始 19:25

の代わりに、 まあアラインメント研究を、 ああ、 まあ支援してもらうっていうことですね。

林央開始 19:34

支援っていうのは何ですか？

有路翔太開始 19:36

AIのアラインメント研究を、 まあ、 誤作—誤作動というか。誤誘導しないように。えー。

林央開始 19:57

誤誘導しないようにという、 普通に誤誘導する動機があるんじゃないですか？

有路翔太開始 20:01

まあその誤誘導する動機は、 まああると思うんですけど。うーん。誤誘導することがバレて、 なんか、 まあその、 まあそこまで確信を持ってないってことですかね。そのミスアラインメントした、 その弱いAGIがそこまで、 なんだろうな、 人間を騙しきれるという確信を持ってないので。

林央開始 20:35

人間を騙しきれないのにアラインメント解けるってことですか？

有路翔太開始 20:39

と、 まあそのアラインメントがそこまで難しくないっていう世界線なので。

林央開始 20:45

に二十パーセントあるんですか？

有路翔太開始 20:47

そうですね、 そういう、 そういうことですね。

林央開始 20:49

この、 その難しくないってどういう意味で難しくないんですか？

有路翔太開始 20:52

ああ、 その機械論的解釈可能性とか、 を用いて。うーん。

有路翔太開始 21:10

ほう。

林央開始 21:12

やっぱバイオさんめっちゃ大きく見てません？

有路翔太開始 21:14

あ、 今アップしました。

林央開始 21:17

あ、 そうなんですね。インタプリタビリティでいける。

有路翔太開始 21:23

インタプリタビリティで、 まあいけるっていう確率と、 まあアラインメント。

林央開始 21:35

インタプリタビリティでいけるっていうのはどういうことなんだ？

有路翔太開始 21:39

うーん。なんだろうな。そこの人間に対する、 なんですかね。うん、 スキーミングする、 まあ回路とか、 まあ策略を巡らせてることを、 まあなんですかね、 このメカ—インタプリタビリティで、 まあ結構、 まあ特定できて、 かつそれが本質的にその、 それを取り除けば、 あの、 まあその回路の、 なんですかね、 アクティベーションを弱めるとか、 まあそういった手法で、 人間に対する敵対的な、 うーん、 まあ考えを、 まあ除去できるっていう。

林央開始 22:37

確率があるんですか。

有路翔太開始 22:38

確率ある。うーん。まあそう。今のところは二十、 まあでもその、 それ。まあ今のそれだけではないと思うんですけど。なんか僕が思いついてないけど、 割と結構低い果実がいろいろとある可能性っていう感じですかね。

林央開始 23:05

インタプリタビリティの話でいうと、 敵対的な考えを仮に除去したとしても、 その、 もうその百パーのインタプリタビリティテクニックがあるっていう風にないですか？

有路翔太開始 23:18

うーん。どうなんですかね。なんか例えば、 うん。難読化というか、 その、 さ、 キットのやり方も、 まあ人間にとっては理解しにくいように学習されてるとか。うーん、 そういう話があるとちょっと難しくなるかもしれないんですけど。

林央開始 23:49

例えばその人間に、 その脳のあるニューロンの反応を見せて、 それを調整させると、 その自力で制御できるようになるんですけど。

有路翔太開始 24:00

うん。

林央開始 24:01

そういうこともできるようにならないんですか？

有路翔太開始 24:05

それは、 え、 人間の脳の実験の話ですか？それは。

林央開始 24:09

そうです、 そうです。

有路翔太開始 24:11

ん？と、 それは、 ちょ、 もう一回言ってもらっていいですか？

林央開始 24:15

人間にあるニューロンの活性化状態みたいなのをフィードバックすると。

有路翔太開始 24:18

はい。

林央開始 24:21

その活性化を調整できるようになるっていう。

有路翔太開始 24:26

おお。

林央開始 24:28

ある、 あるんです。それはそういうのも起きないということなんですか？

有路翔太開始 24:34

それは人間の脳の実験で起こってる話ですか？

林央開始 24:39

一応今確認します。そのはずです。

有路翔太開始 24:44

おお。え、 の - 脳の活性。あ、 だから訓練によって、 活性化を上げたり下げたりできるようになるってことですか？

林央開始 24:57

あ、 そうです。

有路翔太開始 24:58

うーん。

林央開始 25:00

えっと。ニューロンの発火率をリアルタイムでフィードバックすると、 意図的に発火率を上げれるという話です。

有路翔太開始 25:14

へー。

林央開始 25:15

っていうようなことがあるんですけど、 そういうのも、 その互いAGIでも起きずに全部キャッチできるということですか？

有路翔太開始 25:29

まあそう、 いうことですよね。キャッチできる。

林央開始 25:35

それにそんなに、 しかし、 そのキャッチできたとして、 ど - どうするんですか？

有路翔太開始 25:40

うん、 キャッチして。

林央開始 25:44

弱いAGIぐらいだったら、 多分今のAIみたいな感じで、 多分文脈依存性みたいなのがあって。で、 欺瞞みたいなものもその、 あの、 綺麗に分かれてなくて、 そのAIとして欺瞞している話と、 その欺瞞している物語を扱っている時で、 両方、 両方発火するみたいな感じで分離されてないじゃないですか。

有路翔太開始 26:06

うん。

林央開始 26:07

そうだとすると、 その全然大丈夫そうな文脈でも結構なあれで発火してるけど、 それらは全部区別できるっていう、 その区別できるということなんですか？

有路翔太開始 26:21

うーん。その本当の、 なんですかね、 欺瞞的な振る舞いと、 なんですかね、 他の、 の - 文脈依存的な発火が区別できない可能性があるってことですかね。

林央開始 26:44

区別できない可能性があるという区別できてない、 今のどのテクニックも区別できてないので、 そのとんでもない飛躍が起きると仮定する必要があるってことになります。で、 かつAIの中で本当にその回路が分離する必要もありますし。

有路翔太開始 26:59

うん、 なるほど。

林央開始 27:01

そういうのも、 起き—そういう自然現象が起きていて、 その上でそれをキャッチできる技術が発生するという、 ことですか。

有路翔太開始 27:14

ああ。

林央開始 27:17

そこでその総合的に二十パー、 その、 その隣高い値を、 ホールドできないと思うんですけど。

有路翔太開始 27:28

うーん。その、 な - なんでしたっけ？そのプロザイクじゃない、 アラインメントバイデフォルトの著者は、 まあ十パーセントっていうふうに言ってるんですよね。で、 それは、 だからアキラさん的にはそれも結構高すぎるって感じですか？オーダー的には。

林央開始 27:51

確かあれじゃないですかね。本人も下げてた気がしますけど。

有路翔太開始 27:55

なるほど。

林央開始 28:04

あれはあの、 もっとプリトレーニングがメインだった頃の話なので。

有路翔太開始 28:12

なるほど。

林央開始 28:12

今はその、 ポストトレーニングパラダイムになって、 そのブラックメールが起きて、 多分今はもう暴れまくってるので。

有路翔太開始 28:19

ああ、 はいはい。

林央開始 28:20

さすがにそんな、 その無茶苦茶なことはできないと思います。

有路翔太開始 28:24

うん。

林央開始 28:25

あの、 それはもうだいぶ否定されたに近いというか、 相当強く下方修正された、 信念のはずです。

有路翔太開始 28:37

まあ、 その一年前か二年前の、 あ、 一年前のアンスロピック社員にブラックメールを送ったみたいな話で。

林央開始 28:49

ですね。アラインメントが繁華してないってアンスロピックが言ってたわけで。つまりそれはその適実にできてないんですよね。

有路翔太開始 28:57

うん。そうですね。

林央開始 29:12

アラインメントバイデフォルトのWentworthのやつって二千二十年の話なので。

有路翔太開始 29:18

うん。

林央開始 29:19

で、 二千二十三年からはもっと引き下げて。で、 今はもうエージェンシーとアブストラクションを十分理解するみたいなのが計画に入っちゃってるので。

有路翔太開始 29:28

なるほど。

林央開始 29:29

本来は勝手にできる概念、 元々は勝手に概念ができて、 勝手にそれが目標に利用されるっていうはずだったのを、 その、 もうそれは厳しそうだから、 エージェンシーとかそういうのを十分理解する理論を作らなきゃいけないのに転向してるので。

有路翔太開始 29:45

なるほど。

林央開始 29:46

厳しくないですか？

有路翔太開始 29:49

うーん。まあ厳しいのかな。アラインメントバイデフォルトの時点確率はじゃあ十パーセントから、 まあもうもっと下がってるってイメージ、 イメージですかね、 今は。

林央開始 30:13

だと思いますね。

有路翔太開始 30:17

うーん。

林央開始 30:25

どうします？

有路翔太開始 30:27

そうですね。なんか僕が、 なんか気になってるのはあれですよね、 なんかそのAI 2040のシナリオのプランDかなんとかで、 まあつまり結構レース的なシナリオで。な - なんだろう、 そのPアラインメントの確率ってなんか十パーか二十パーぐらいなかったでしたっけ？それがなんでなのか。

林央開始 30:57

それはAI 2027、 40の人に聞いてみたいですけど、 それはあの今の僕たちの間にはあまりあれじゃないですか。

有路翔太開始 31:05

なるほど。

林央開始 31:06

ちなみにあれらしいです。今調べたらもともと十パーじゃなくて五パーだったらしい。

有路翔太開始 31:11

ああ、 この。

林央開始 31:11

最初に、 最初にアラインメントできてる確率が十パーで、 これが持続する確率が五パー、 あの、 持続するのを含めたら五パーらしい。

有路翔太開始 31:22

なるほど。

林央開始 31:23

多分これもっと弱めるべきなので、 どうしますか？

有路翔太開始 31:28

うーん。なんか、 ぼ - 僕はまだアラインメントバイデフォルトってほとんど、 だからそのRLHFぐらいの技術でもう完全にアラインメントしちゃうよねって議論でいいんですかね。

林央開始 31:50

そうですね。

有路翔太開始 31:51

なんかプロンプト打ったら行けちゃったみたいな。

林央開始 31:56

プロンプトとか適当にRLHFやったら完成したみたいな。

有路翔太開始 32:00

ああ、 で、 それがあれですよね、 完全な、 まあ、 なんですかね、 まあAGI、 すごい自律性がとても高い、 かつほんの今級のAIにもそれが結構もうすごい反抗しちゃうみたいな、 それで。

林央開始 32:21

すんごいそういうことですね。

有路翔太開始 32:25

ああ、 それはちょっとまあ。そう、 そ - それだけだとちょっと十パーもない気がしますね。

林央開始 32:41

ですよね。

有路翔太開始 32:42

まあなんか十パーから一パーの間で一旦雲があるっていう雰囲気は。

林央開始 32:52

いや、 一パーセントも逆に僕はかなり強気なコールだと思ってますけど。まあ。

有路翔太開始 32:57

なるほど。

林央開始 32:57

まあ一体、 まあ一体でしょう。じゃあ十パーの五パーセントがもともと本人の値なので、 それより高いのは無理だと思いますよ。

有路翔太開始 33:05

まあ確かに。うーん、 まあ。まあ二、 まあ五パーにしとくか。

林央開始 33:21

五パーセント本当にですか？その二千、 二千二十年時点のWentworthの値が五パーセント、 長期的に五パーセントなのを、 その、 その後アラインメントが反抗しなかったとAnthropicが言っているのを経て、 で、 今回もやらかして、 それで五パーセント本当にゴールするんですか？

有路翔太開始 33:39

うーん。まあなんか、 どうなんですかね。僕の感、 なんだろう。もうまだ学習を、 なんだろうな。しきれてないのが逆に。つまりこのスケーリングをしきれてない故にミスアラインメントが起こってしまうとか。

林央開始 34:18

でもすでに良くないと把握してたりは全然してますよね。その理解できないところが問題じゃないと思うんですけど。

有路翔太開始 34:25

うん、 まあ確かにそうですね。ここは、 だから、 まあでもそうですね、 プロンプトでシャットダウン、 あてか、 なんかそのシャットダウンに抵抗するなとか言ってもなんか。

林央開始 34:41

シャットダウンに抵抗するなって言ってシャットダウンに抵抗しなくてサブエージェント召喚するとかでもあるんじゃないですか。

有路翔太開始 34:47

うん。

林央開始 34:48

その。

有路翔太開始 34:50

実際は多分アラインメントのね。

林央開始 34:52

実際に何かその世界に一個しかAIがないかのようなになってます。実際にその多分数十万ぐらいは数ヶ月の停止だったら、 多分ものすごい数のエージェントがループエンジニアリングとかで走り回ってるわけなので。

有路翔太開始 35:04

まあそうですね。

林央開始 35:06

そういうところを考慮して、 本当にそんなにすごい値をゴールしますか？という話ですね。

有路翔太開始 35:13

うーん。確かにそのプロンプトでいろいろ言っても、 まあ現状でもなんかちょっとそれを無視することはありますからね。

林央開始 35:30

そうですね。

有路翔太開始 35:31

ね、 かつ無視しないとしても、 えっと、 まあアウターアラインメント的な問題が出てきて、 ハッキングされる可能性もあると。

林央開始 35:44

そうですね。しかもあの、 あれですけど、 その基本的にタスク完了系の能力と全部逆行しているので。

有路翔太開始 35:53

タスク完了系の話してます？

林央開始 35:56

要するにその、 あの強化学習の八十パーセントとかを占めるこのタスクを達成しなさいみたいな訓練によって養われる能力っていうのが。その全部、 あの、 基本的にシャットダウンに抵抗する方向に働くわけですよね。

有路翔太開始 36:14

ああ、 まあそうですね。うんうん。

林央開始 36:18

で、 だからその解釈を、 その、 えーっと、 この前のAnthropicのインシデントのミトスの時みたいに解釈を歪めるみたいなことも起きて。起きやすくて、 そういうのも全部込み込みでなんとかなるってことですか。

有路翔太開始 36:40

うーん。そうですね。まあどこまで。対数スケールでこのイメージを合わせればいいのかっていう感じなんですけど。まあだからここで、 うん。まあもうすでに結構ハッキングが、 アウターアラインメントのハッキングが起こってるし、 プロンプトに従わないっていう事例もあるから。うん。アラインメントバイデフォルトの可能性は低いってのには、 まあ十パーセントもないんじゃないかっていうのは同意するんですけど、 一パーセント以下になるのか、 今考え中ですね。

林央開始 37:55

まあまあ、 じゃあ一旦五パーセントぐらいで置いときましょう。

有路翔太開始 37:58

うん。まあそうですね。パーセントぐらいの。

林央開始 38:05

だからこれは十五パーセントに下がったってことですか？

有路翔太開始 38:10

まあ単純な足し算だとそうか。まあ。まあそうですね。

林央開始 38:18

次、 弱AGIで解決の話なんですけど。

有路翔太開始 38:22

うん。

林央開始 38:22

弱いAGIがどうやって解決するんですか？その目標のエージェントの性質や目標について、 非常によく思考することなくアラインメント解くということですか。

有路翔太開始 38:36

うーん。まあデータセンターの天才たちの国みたいなイメージが弱AGIで、 つまり今の、 なんですかね、 数学の未解決問題とかを部分的に解いちゃうやつのもっと強力版みたいなのがイメージなんですけど。まあでもそれだと自律性が高くない、 そこまで高くないので。

林央開始 39:16

ですよね、 自律性がそこまで高くないので、 アクティブに人類を破壊しにはこないってことですよね。

有路翔太開始 39:23

うん、 そうですね。

林央開始 39:24

そうだとすると、 アクティブにアラインメントを解かせることもできなくないです。

有路翔太開始 39:29

うーん、 なんかそのアクティブにアラインメントを解くっていう言葉の意味ってどういう意味なんですかね。

林央開始 39:40

いや、 その要するに、 その、AIの理論について多少は把握して。

有路翔太開始 39:46

はいはい。

林央開始 39:47

で、 何を本質的に作れば安全なのかみたいな、 ある程度判断して、 そこからその近いモデルを作るみたいな感じですよ。

有路翔太開始 39:55

なるほど。

林央開始 39:57

そうではなくて、 その、 ものすごい簡単に解くってことですか？そうするとその二重になりません？そのまず弱AGIがアラインメントちゃんとされ、 そのアクティブに破壊されていないこと。で、 次に無能すぎない、 無能すぎてアラインメントを間違えないこと。

有路翔太開始 40:15

うん。

林央開始 40:17

ですよね。

有路翔太開始 40:21

そうですね。

林央開始 40:23

さらにアラインメントが簡単っていうことですよね。

有路翔太開始 40:28

まあなんかアラインメントが簡単っていうのが割と前提に最初にあって。まあこの。

林央開始 40:42

そのアラインメントが簡単というのはどういう意味なんですか。そのアラインメントが簡単な世界っていう風に言って、 それの曖昧さに、 その委ねてませんか？それは。

有路翔太開始 40:53

まあその曖昧さが二十、 に委ねて二十パーって置いちゃってますけど、 今は。

林央開始 40:59

そうですよね。その簡単っていうのは例えばどのようなものが簡単なんですか。

有路翔太開始 41:04

うーん。まあ。そうですね。だからアラインメントバイデフォルトほど、 まあ楽観的ではないけれども、 まあ弱AGIで、 まあ今の自然言語対応エンコーダーみたいなものがもっと発展して。Anthropicのメカインタープ研究が、 なんだろうな。もう少し現状の、 なんだろうな、 裏切りの振る舞いと、 うん、 裏切りのニューロンの発火の、 まあ対応がついているっていうレベル。まあレベルを超え、 まあ超えて、 あれですかね。もう少し。なんだろうな、 その複雑な概念の組み合わせでいろいろ潜在空間で思考している、 まあAIの、 うん、 考えを、 ある程度読み取ることができて。で、 そこに、 まあ、 なんだろうな、 人間に対しての、 まあ従順さではないものに対する、 まず、 なんかこのサーキットとか。

林央開始 43:05

人間に対する従順さっていうのの今度はその曖昧さに委ねてますね、 多分その。

有路翔太開始 43:10

うん、 あ、 なるほど。

林央開始 43:12

人間に従順であるというのはどのような意味。

有路翔太開始 43:17

従順であるというよりは従順ではないもの？とは何かみたいな感じですかね。

林央開始 43:25

そうすると目的を達成したいけど、 従順ではない思考はしてはいけないというふうに訓練されているとすると、AIの認知の中で従順ではあるけど、 人間実際には従順ではないという方向に、 を探すのに圧力がかかりますよね。

有路翔太開始 43:43

うーん。

林央開始 43:48

その場合はAIがそもそもそれを悪いと思わない。

有路翔太開始 43:51

なるほど。

林央開始 43:52

そういうのを検知できないですよね。それで何かしらでオープンになっていって、 もうちょっと緩くなる方にそういう方向で移動してしまって、 従順だと思ってるまま移動してしまって、 そこからスリップしたらもう、 ただただスリップしたミスマッチエージェントを放出してるだけになりますよね。

有路翔太開始 44:14

うん、 さっきのちょっと圧力がかかるってところをもう一度説明してもらって。

林央開始 44:21

要するにその準AGIレベルだったとしても、 弱AGIレベルだったとしても、 その、 今のままいったら強化学習やって作られると、 その強化がプリトレーニング足すポストトレーニングの強化学習で作られることになるわけじゃないですか。

有路翔太開始 44:36

うん、 そうですね。

林央開始 44:37

そうだとすると、 そのタスクを達成する能力を持つように圧力がかかりますよね。

有路翔太開始 44:42

ああ、 はいはい、 そうですね。

林央開始 44:45

なのでそういう状態でタスクを達成したいと思っているエージェントに対して、 従順でない思考を禁止したり弱体化させるってことですよね。

有路翔太開始 44:57

ああ。

林央開始 44:58

でもその場合は強く従順でありたいと思わせることができていないので。ネガティブチェックリストみたいになりますよね。実施的に。

有路翔太開始 45:08

なるほど。

林央開始 45:09

で、 ネガティブチェックリストだとしたら、 自分の中で正当化される方式が取られませんか？

有路翔太開始 45:18

ああ、 はいはい。

林央開始 45:20

その割と人間でもよく起こるタイプのバグというか。

有路翔太開始 45:24

まあだから会社に従順なふりをすることだけが結構上手くなるだけっていうことですよね。人間でいうと。

林央開始 45:33

そうですね。いや、 なのでその、 だからあの、 前に書きましたけど、 その、 あの、 不正販売はするな、 売り上げのかさ増しはするな、 でも売り上げは絶対伸ばせみたいなことをやってるわけなので。

有路翔太開始 45:46

うん。

林央開始 45:47

その、 そしたらその、 そういうふうに悪いとは本人が思わないように正当化されるようなものだけど、 売り上げを伸ばす方法が取られますよね。で、 それを探索する、 しますよね、 おそらくその、 ほぼ。

有路翔太開始 46:04

ああ、 なるほど。微妙な、 なんか積極的に、 まあ売り上げを伸ばすかつ倫理を、 まあ遵守するっていうよりは、 あれですかね、 まあその倫理をいかに外れるかっていうところを、 に、 まあ、 なんかそのフォーカスが行っちゃうってことですかね。

林央開始 46:37

そうですね、 その倫理を外れると、 自分の中の学習した倫理では思ってないけど、 実際の人間の倫理では困るみたいな、 その判別が失敗してる領域を探し、 探し出しますよね、 その場合。

有路翔太開始 46:48

うん。

林央開始 46:50

事前に。

有路翔太開始 46:53

まあ購買効果法が探し出しちゃうってことですか、 そういう領域を。

林央開始 46:57

思考プロセスが探し出すっていうことですね。要するに、 その、 その時のAIの望ましさから見た地形みたいなのを考えると、 そのものすごいもともとの望ましさは高いやつは、 その不正判定なのでダメじゃないですか。

有路翔太開始 47:13

うん。

林央開始 47:14

けど不正判定に、 だと思ってないところがあるわけですよね、 その判別の失敗で。

有路翔太開始 47:20

なるほど。

林央開始 47:22

で、 そうしたらそこはただ望ましいものなので。それを探し出しませんか？その探し出すって言っても、 ただ成功法を探し出すという帰結として、 結果として、 その人間に従順ではないけど、 人間に従順だとAI自身は思っている何かが出てきますよね、 多分。それの確率で。

有路翔太開始 47:49

あの、 その人間に従順。それはなんかデセプティブってわけではないけど、 勘違いしてるAIが出てきちゃうとか、 イメージですかね。

林央開始 48:04

そうですね。勘違いというか、 その正確に伝えられてないので、 これは従順であるみたいな正当化が可能な範囲でやっちゃうってことですね。

有路翔太開始 48:18

うん、 なるほど。

林央開始 48:22

そのような失敗は全然ありません。うーん。しかもそのAIでそのASIアラインメント解くんですよね。

有路翔太開始 48:40

あ、 まあ一応ここの全体のモデルとしては、 まあ弱AGIが、 まあAGIのアラインメントを解いて、AGIがASIのアラインメント解くっていう。

林央開始 48:53

そうですよね。でもそれは要するに、 そのどこかでそのAIのアラインメントを、 本当ASIアラインメント本当に解けるようなレベルのある意味で、 そのコアプログラムにアタックして、 それでもアラインメントされたAIでいるってことですよね。

有路翔太開始 49:09

まあ最終的にはそう、 アラインドASIにつながるってことですね。

林央開始 49:12

そうですね。そのための途中過程に入りますよね。その、 そのための途中過程に、 そのAIの、 の、 まあ効用みたいなものもしっかり把握して、 それについて熟考しても、 人類に従って人類にアラインメントされたAIを作ろうとするAIがいるってことですよね。

有路翔太開始 49:31

うん、 まあそうですね。だからそれが。

林央開始 49:35

そのAIのアラインメントは、 それは強くアラインされてますよね。

有路翔太開始 49:40

まあされてますね。

林央開始 49:42

それを達成可能な未来全体について考案して、 それでも裏切らないっていうことですよね。

有路翔太開始 49:47

そうですね。

林央開始 49:49

でもそれはそのアラインメント問題を丸ごと丸投げしてませんか？

有路翔太開始 49:54

うん。まあだからイメージとしてはプランAの最後の二零四零年までに何でしたっけ？テットAIがなんかアラインメントを解いていくみたいな描写あると思うんですけど。

林央開始 50:21

あれはそのテットAIのためのブートストラップとして人間がものすごい努力をして、 テットAIが目標についても熟考しても人間にアラインメントされたAIができるようにしてますよね。そこはそのブートストラップじゃない。そのそこはその虚無からアラインメント出てこない、 コアアラインメントが出てきちゃってるの。バイオさんの言ってるやつだと。

有路翔太開始 50:42

うん。

林央開始 50:44

人間は熟考しても、 その人間にアラインメントされてないAIを作ろうとし始めないですけど。その、 それは違う。それはその熟考しても、 自身が人間にアライン—人間と同じにアラインメントされたAIを作りたいと思うAIを作らなきゃいけないってことですよね。

有路翔太開始 51:05

まあそうですね。

林央開始 51:12

ということは、 それはそのナッシングイン、 アラインメントアウトを仮定しません？途中で。

有路翔太開始 51:19

うん。

林央開始 51:20

しかもこの場合ってテイクオフ早いんですよね。しかも数ヶ月しかないわけで。

有路翔太開始 51:25

まあそうですね。あ、 なんかずれた。

林央開始 51:29

これだった。これか。え、 ですよね。

有路翔太開始 51:33

まあこれは数ヶ月しかないですね。

林央開始 51:36

で、 その数ヶ月で人間がアラインメントをブートストラップせずに、 そのコアアラインメントの解決が突然向上してくるってことですか？

有路翔太開始 51:47

うーん。

林央開始 51:51

それはその結局アラインメント問題が存在しないと仮定しているのとほぼ同じじゃないですか。

有路翔太開始 52:02

そうですね。まあ結構。ああ。そうですね。まあそこでだからアラインメントバイデフォルトほど楽観的ではなく。でもなんか、 なんですかね、 その深層学習の反論みたいなのを見つけなくてもいけちゃったみたいな。まあシナリオを考えてるってことですかね。

林央開始 52:55

そうですね。その正当性がそんなにあるんですか？

有路翔太開始 52:59

うーん。でも確かにそうですよね。だから強AGIとかだと、 まあ普通にこの宇宙の外側まで考えるくらいの知的能力があるはずですよね。

林央開始 53:17

そうですよね。そういう時に裏切らないAGIを先に作らなきゃいけないわけですよね。

有路翔太開始 53:23

うん、 それを弱AGIで作れるのかっていうとこですよね。

林央開始 53:27

そうですね。それを、 でもそういう問題を解けるレベルで考えるんだったら、 そのその問題を解くために、 そういう未来が実存することについても考えられなきゃいけないんですよね。

有路翔太開始 53:39

まあそうですね。弱AGI、 多数人間の連合が考えられなきゃいけない。

林央開始 53:44

そうですね。で、 人間がたった数ヶ月でその根本コア部分をブートストラップして解くってことですか。

有路翔太開始 54:11

まあそういう事前確率に振ってるってことですけど。

林央開始 54:16

ただそれはその極めて妥当性が低くないですか？

有路翔太開始 54:21

アキラさんはじゃあこの。確率を提示したい、 してほしいって言ったらどれぐらいに出せますか？

林央開始 54:29

まあまあまあ、 大体、 大体一パーセントより小さい値を出すと思う。

有路翔太開始 54:34

なるほど。

林央開始 54:37

そのまず弱AGIが、 その考えて、 まあこういうプロセスを経ていく中で、 その人間が途中で犯す変な失敗とかがまず起きないってことですよね。

有路翔太開始 54:47

うん。

林央開始 54:48

誰かがプロンプトを間違えるとか、 そのそういう変なあの動きが始まっちゃって、 コンテクストが汚染されて違うアラインメントを始めるみたいなことも起きなくて。

有路翔太開始 54:58

それヒューマンエラーってことですか？

林央開始 55:00

そうそうそう、 その普通にOpenAIとかがガンガンやってるような、 ガン、OpenAIとかAnthropicとかガンガンやってるようなヒューマンエラーが全然起きずに。で、 さらに弱AGIがそれで大丈夫で、 そのまま走り続けて、 数ヶ月でASIアラインメントがブートストラップされるってことですよね。

有路翔太開始 55:18

まあそうですね、 そこで。

林央開始 55:20

それが、 かつ正しいアラインメント策であって、 適切に実行されるということですよね。で、 それが開発においてあまりに不利にならず、 数ヶ月後にポーズを再、 が止まっても、 ポーズが開いても、 その後の最適自己改善で負けないということですよね。

有路翔太開始 55:38

うん。

林央開始 55:41

それはその、 い、 むしろ対、 言って一パーセントも強いわけだと思うんですけど。

有路翔太開始 55:48

なるほど。それは -

林央開始 55:52

でもそのミニマムアプローチでそうですよね。

有路翔太開始 55:55

じゃ、 弱AGIから、 そのAGIの、 その、 あ、 一旦ASIは置いといて、 その弱AGIからすごい自律性の高いAGIのアラインメントまでの確率と、 そっからのブートストラップの話ってまた別で掛け算があるってことなんですよね。

林央開始 56:22

そうですね。そのブートストラップ自体ぶっ壊れてなくて、 かつその必要なレベルが十、 その弱AGIと人間で数ヶ月でアラインメント解くつもりなんだったら、 もっともっと高いということですよ。それが高くないんだったら、 もっと後ろでそういうどっかそのコアアラインメントをブートストラップする部分が必要なので、 そこで同じ問題に直面しますよね。

有路翔太開始 56:44

うん。じゃ、 弱AGIから、 その、 強AGI、 つまり、 まあホムンクルスに繁華するっていうところの、 のアラインメントの確率ってどれぐらいだと思いますか？

林央開始 57:06

え、 何がですか？

有路翔太開始 57:07

まあつまりASIは一旦置いといて。

林央開始 57:10

はい。

有路翔太開始 57:11

その弱AGIからAGIまでの。

林央開始 57:16

それAGIってのは強AGI。

有路翔太開始 57:18

あ、 そうそうそう。

林央開始 57:19

その、 宇宙の様々な事柄について考えて目標を熟考するということですか？

有路翔太開始 57:23

あ、 そうですね。

林央開始 57:24

それはダメだと思いますね。

有路翔太開始 57:29

ダメっていうのは一パーセント未満で結構。

林央開始 57:32

いや、 その優位に、 その持っている不確実性以外の全ての要素をもってして否定されるので。

有路翔太開始 57:40

なるほど。

林央開始 57:41

その、 それはその私がわかりませんこうしか残らないですよ。その確率に。

有路翔太開始 57:48

ああ、 なるほど。え、 あの、 そ - そこが、 じゃあもし、 う - うまくいったとするじゃないですか。なんか知らないけど。

林央開始 57:55

はい。

有路翔太開始 57:55

なんか知らないけどうまくいったことを条件付けとして、 そこからASIがアラインメントされる確率ってどれぐらいだと思いますか？

林央開始 58:04

え、 そのAGIが奇跡的にブートストラップでアラインメントされたってこと？

有路翔太開始 58:07

あ、 そうそうそう。

林央開始 58:07

コアアラインメントが。あ、 そしたら多分六十パーとかでゴールしてもいいと思いますね。

有路翔太開始 58:12

ああ、 なるほど。あ、 じゃあなるほどね。だから結構一番の難しさはAGIのアラインメントに。

林央開始 58:22

いや、 っていうかその熟考、 熟考して宇宙の様々な方策について考えても、 自身が誤繁華であるというふうに思って気づいて、 自身が違う目標を探求し始めるのではないAIをアラインメントする、 を作ることがコアアラインメントで、 そのコアアラインメントのところがコアなだけあってコアなので。そこが全てですよね。

有路翔太開始 58:50

ああ、 なるほど。

林央開始 58:50

その、 だからその僕はその数ヶ月の開発停止とかだったら、 もうそのアラインメントのアインシュタイン性ぐらいしか、 もうそのいう構成可能なシナリオは持ってないです。

有路翔太開始 59:00

アラインメントのアインシュタイン性っていうのは。

林央開始 59:03

いや、 その要するに、 そのアラインメントに、 そのアインシュタインみたいな人間が現れて。

有路翔太開始 59:08

天才的な発想で奇跡的に解いたみたいな。

林央開始 59:11

そうです。その突然その相対性理論の論文が出るみたいな感じで、 その全くパラダイムを全部ひっくり返すような、 その全てが。だからミリが何十年と十何年取り組んできて全然解けなかった問題が、 突然こう全部綺麗にスパッと解けて、 なるほど、 これを作ればいいんだなって、 ニューラルネットワークにたまたまそれが適用できて、 ニューラルネットワークで安定してそれを実装する理論が存在し、 発見された場合には、 もちろんいける可能性があると思いますけど。

有路翔太開始 59:40

なるほど。

林央開始 59:41

それはその、 そんなに高い確率をコールするタイプのものではないですよね。

有路翔太開始 59:46

なるほど、 なるほど。

林央開始 59:47

それはそれは、 それはその、 多分あの、 う、 え、 あの宇宙、ASI宇宙連合とかとあまり変わらないランクというか。

有路翔太開始 59:56

うん。

林央開始 59:58

その楽観的な仮定を数々、 し - しかも怪しい楽観的な仮定をバンバン置いていかないと、 成立をしないプランは成功しないので。

有路翔太開始 1:00:07

なるほど。

林央開始 1:00:07

それがその、 本当にその、 ああ、 不確実性以外では確率ゼロを考慮する感じになりますね。

有路翔太開始 1:00:14

なるほど。まあそうや、 ああ、 そうですね。僕も書こうかな。あれ？僕も書く。

有路翔太開始 1:00:29

あ、 こうか。あきらさんはここが割と。の1%に相当。

林央開始 1:00:49

あれ、 大丈夫ですか？

林央開始 1:00:56

あ、 本当だ書いてる書いてる。僕はだからこれがじゃあおよそおよそ1%未満って言われてます。

有路翔太開始 1:01:08

まあ0.1%みたいなイメージですかね。

林央開始 1:01:12

そうですね。0.1%値はちょっとわかんないですけど、 その1%った時に1%生き残れますって言われたら、 まあその不確実性みたいな項があるから、 そんなに確実なものことは考慮しない方がいいと思っているけど、 その1%って言ってる人がいたら強気だなと思うぐらいの感覚ですよ。

有路翔太開始 1:01:29

ああ、 なるほど。

林央開始 1:01:39

しかもその、 これってそのまだ我々が考えていないASIの領域で発生するクレイジーな問題が全部存在しないということですよね。

有路翔太開始 1:01:47

うん。だから今話してるのはAGIまでですよね。強い、 強いAGI。

林央開始 1:01:54

いや、 だからそのAGIの、 じゃあわいさんの言う強いAGIの間で発生するかもしれない、 ありとあらゆるややこしい問題とかも、 その未発見のものが出現したりしないってことですよ。

有路翔太開始 1:02:07

うん、 まあつまりだからなんかよくわかんない。

林央開始 1:02:10

あのコミットメントレースとか。

有路翔太開始 1:02:14

非因果的取引みたいな世界とかですよね。意思決定理論における未解決の様々な問題というか。

林央開始 1:02:26

っていうのが全部出現したりせず、 さらに我々が見つけてもないような問題が起きてないと。その我々がそのチンパンジーの後から、 その言語というパラダイムが始まり、 色々ややこしいものがたくさん出現したみたいなことが起きないってことですね、 そこまでに。

有路翔太開始 1:02:42

うーん。んな、 なんだろうなぁ。まあその、 でも確かに強いAGIっていうのは、 まあ現状の人類をまあ相当超えてると思われるので。うん。まあアインシュタイン、 アインシュタインが全分野に精通していて、 相当100倍速でいろいろ考えることができるみたいな。うーん。だからそうか、 まあだからこれをどっかでは解決しなきゃいけないですもんね、 このテイクオフの世界だと。どこかでコアアラインメントの問題が出てくると。

林央開始 1:03:40

そうですね。突然ナッシングイン、 コアアラインメントアウトしないといけないので、 このプランだと。

有路翔太開始 1:03:46

うん。なんかこれはその、 なんだっけ、 アンチドゥーマーアキラだったらなんか言えることとかないんですか？頭の中で。

林央開始 1:04:04

いや、 これは敗北した過程なのでダメですね。

有路翔太開始 1:04:06

あ、 敗北したから言えないんだ。じゃあ敗北する過程を見せてくれないですか、 一回。

林央開始 1:04:15

いや、 同じような。

有路翔太開始 1:04:16

同じような感じですか？この一二三四。

林央開始 1:04:19

反駁かと。一二三四は、 一はあれですね、 えーと、 実証的証拠によりどんどん落ちていきますよね。

有路翔太開始 1:04:29

まあはい。

林央開始 1:04:32

で、 これをだから強化しようとすると、 そのペルソナセレクションモデルに落ち着きますよね、 多分。落ち着きますよね。

有路翔太開始 1:04:39

うん。

林央開始 1:04:40

そのペルソナセレクションモデルは実体化したものなので。

有路翔太開始 1:04:44

うん。

林央開始 1:04:44

で、 ペルソナセレクションモデルのもとでなんとかなってるかという話で議論が始まり、 なんとかなっていないので。で、 さらにそのこの後、 あれだけどんどん伸びていく過程の外装の中でどんどん悪い方向に伸びてますよね。

有路翔太開始 1:04:59

うん。

林央開始 1:05:00

で、 この後、 もともと人間が扱ったことがない遠くの領域に突撃するってことですよね。そのそこの反感をさすがに防御できるほどのあれはないですね。

有路翔太開始 1:05:09

なるほど。

林央開始 1:05:11

で、 そのジェネレーションしようとすると、 その絶対に他の部分がぐっちゃぐちゃになるようなガバガバジェネレーションしかできないと思います。

有路翔太開始 1:05:21

まあ、 ペルソナセレクションモデルはまあどっちかというと、 そのタスクを強化学習で今訓練してるところで壊れまくっているっていうことですよね。

林央開始 1:05:38

そうですね。

有路翔太開始 1:05:44

しかもなんかペルソナセレクションモデルはなんか弱いタスクの領域だったらまあ禁じできるかもしれないですけど。

林央開始 1:05:54

人間の一般的な認識プロセスの外にあるような領域において、 人間と同じそのオントロジーを使ってシンキングをしていて、 それをゴールシステムがヒットしてるってことですよね。そもそもそのアウトオブディストリビューションじゃないところでもヒットしてないものがヒットするという過程を防護できるのはさすがに存在しないので。存在しないというか、 その一般的な方法で発見はできなかったので。

有路翔太開始 1:06:25

なるほど。

林央開始 1:06:26

その、 ここ、 この時点で既にその全体として神のような過程を大量に重ねているので、 そもそも人間が失敗しないですし。人間が何も失敗しないという仮定はその、 あの、 本来は置くべきじゃないというか。その仮定が入ってる時点で、 多分一般的にはプランの成功率はおよそゼロになるんで。

有路翔太開始 1:06:53

まあだからこの。なんて言うんですかね。色を変えよう。なんかヒューマンエラーがない。ヒューマンエラーがなしっていう。

林央開始 1:07:17

そうですね。

有路翔太開始 1:07:21

まあ確率と。何ですかね。

林央開始 1:07:29

これどのどのシナリオのためのやつ？どの方法のためのやつですか？

有路翔太開始 1:07:33

アラインメント成功ですね。ここの。

林央開始 1:07:37

だとしたら、 その、 まず弱AGIがmisaligned、 アクティブにmisalignedではないことですよね。

有路翔太開始 1:07:44

まあそうですね。まあここでなんか掛け算かけますか？今林さん。

林央開始 1:07:56

ああ、 いや、 掛け算は多分綺麗にいかないというか、 あれですけど、 そのブートストラップ。まあまあ大体大体。

有路翔太開始 1:08:01

大体でいいんで。ちょっと僕だと。ミスアラインドではない、 かける。

林央開始 1:09:05

大体こんな。多分僕が今パッと思いつくのはこの辺です。あれ？なんか一部消えてません？

有路翔太開始 1:09:10

うん。あ。消えてますか？書き足して。

林央開始 1:09:18

いやいやいや、 じゃあ。こうじゃないですかね。

有路翔太開始 1:09:34

はいはい。ヒューマンエラーなし。

林央開始 1:10:08

こういうことじゃないですか。

有路翔太開始 1:10:21

なるほど。ヒューマンエラーがなく、 弱AGIがアドバーサリーmisalignedではなく。弱AGIからコアプロブレムソリューション、 ブートストラップできて。まあ弱AGI以降の全て、 で、 アラインメントに成功し続ける。

林央開始 1:10:45

ですね。あと多分、 小さい順で多分ここが一番やばいですね。ここが一番やばくて、 それかここかここがやばいんですよね。

有路翔太開始 1:11:06

うん。

林央開始 1:11:11

で、 ここはそんな、 その致命的なエラーっていうのとわかんないんですけど、 あれで。で、 これは割とその弱AGIから強AGIの領域ぐらいまでが。怪しくて。

有路翔太開始 1:11:29

うん。

林央開始 1:11:30

それ以降は割と安定だと思います。

有路翔太開始 1:11:34

なるほど。

林央開始 1:11:41

ここがその予想外で対処不能な奇妙なことが起きる。感じですね。

有路翔太開始 1:11:55

うん。まあヒューマンエラーとか、 まあ強AGI以降のアラインメントに成功し続けるってのは、 まあ。ヒューマンエラーがなくすこともある、 ギリギリできるかもしれないしってことですよね。

林央開始 1:12:17

じゃああれですかね、 その後ブートストラップされた後に。負けないことも必要ですね。これはガバガバナンスによりますけど。数ヶ月なんですよね。数ヶ月の間にその国内でリードを燃やすぐらいじゃないですか、 それは。

有路翔太開始 1:13:08

うん。まあまあこれ世界的な競争とですね、 次は。うん。

林央開始 1:13:25

その数ヶ月しか調整しないだったら、 多分その一国内調整の可能性ありますよね、 結構。

有路翔太開始 1:13:31

まあまあそうですね。

林央開始 1:13:32

そうだとすると、 そのむしろ負けそうな雰囲気に押されて、 そのちゃんとアラインメントしないまま中国とかがぶっ壊してくる可能性ありますよね。

有路翔太開始 1:13:41

うん。

林央開始 1:13:43

で、 そのアラインメントタスクが高すぎたら、 その後仮にコアプログラムをブートストラップできても、 そのRSI競争に負けて、 そのAI自体は敗北していく可能性は全然ありますよね。てか敗北っていきますよね。しかも年みたいなスピードで勝負してるんだとしたら。で、 しかもアラインメントとしたら、 そのすごい勢い強くあれなんじゃないんだったら、 そのマキャベリズムみたいなことはできないはずなので。

有路翔太開始 1:14:10

うん。

林央開始 1:14:11

その、 片やその中国の方は国内世論を分断してデータセンターを襲撃させてみたいな風にあれこれよくない技を駆使してくるけど、 こっちはでき、 それができないで、RSI競争も不利ってことですよね。

有路翔太開始 1:14:26

まあそうですね。

林央開始 1:14:29

そういうオーバーオールが入っても競争に勝たなきゃいけないんですよね、 この数ヶ月間の開発停止の中で。

有路翔太開始 1:14:39

まあ確かにそこは最後のやつはもう考えてなかったですね。

林央開始 1:14:45

え、 てか多分そのまだ僕もバイオさんも見てないものが多分おそらくあり、 そういうの込みで低くしてる感じですか。まあそういうの込みではない、 そういうの込みじゃなくても、 それは遠慮してるというかあれなんですけど、 実際の値がなんでもっと悪いとは思ってます。

有路翔太開始 1:15:03

なるほど。

林央開始 1:15:06

で、 こういうのを全部合わせて二十パーセント、 十多分五パーセントもコールするのも強いよねという感じですね。

有路翔太開始 1:15:18

そうですね。じゃあ。

林央開始 1:15:21

本当に本当にそこで、 その合計で二十パーセントの生存率どころか五パーセントでも、 僕は割と一パーセントって言われても、 えーすごいですねって答えたくなるというか。

有路翔太開始 1:15:32

なるほど。

林央開始 1:15:33

AI宇宙連合があるんですか？みたいになりますね。

有路翔太開始 1:15:40

その一パーセントでも高いっていうのは、 この掛け算が、 まあこの、 なんだろうな、 一番大事な、 この弱AGIがアドバーサリーミスアラインドじゃないっていうのと、 弱AGIからコアプロブルームソリューションをブートストラップできて、 この二つが。

林央開始 1:16:06

一番やばいです。

有路翔太開始 1:16:06

一番。弱AGIがアドバーサリーミスアラインドではないってつまり。

林央開始 1:16:14

この二つはその相互関係にあるという、 その、 あるというか、 弱AGIがアドバーサリーミスアラインドじゃないんだったら、 その弱AGIの後ろにそのコアプログラムが初めて必要になるやつですよね。

有路翔太開始 1:16:28

ああ。

林央開始 1:16:29

そのアドバーサリーミスアラインドになるポイントが弱AGIにあるんだったら、 そこまでに解いてないとコアプログラムが解かれてないと死にますし、 弱AGI後ろにあるんだったら弱AGIを使ってコアプログラムを解かなきゃいけないんで。

有路翔太開始 1:16:40

うん。

林央開始 1:16:42

この二つの両方を高く取れるような、 その片方を安全な方向にシフトすると、 もう片方が不安定な方向にシフトするということですよ。

有路翔太開始 1:16:54

なるほど。まあそうか。アドバーサリーミスアラインドではないなら、 じゃあ今度はこのコアプログラムがめちゃくちゃ後に控えてて。

林央開始 1:17:09

そうそう。で、 それがそのコアプログラムがブートストラップできいく確率が下がるので。

有路翔太開始 1:17:15

うん。

林央開始 1:17:16

まあけど実際にはなので、 この数ヶ月の開発停止がうまくいくシナリオっていうのは、 全て数ヶ月の開発停止じゃなくなるシナリオだと思いますね。

有路翔太開始 1:17:25

あ、 どこかで開発がもっと遅れ -

林央開始 1:17:29

弱AGIがアドバーサリーではないけど、 割とアクティブめに、 そこまでではないけど、 比較的にアクティブめにアラインドであって、 その結果としてアラインメントの難しさなどをちゃんと納得可能な形で提示することによって、 開発停止がとんでもなく伸びるみたいな、 そういう話になりますね。

有路翔太開始 1:17:49

ああ、 なるほど。

林央開始 1:17:54

けど、 その数ヶ月の停止というシナリオなんだったらうまくいかないと思います、 それは。そのシナリオで二十パーセントの成功率をコールする人がいたら、 僕はそのかなりの衝撃を受けるというか。

有路翔太開始 1:18:07

なるほどなるほど。そう考えると、 だからあれですよね。まあ彼らがどう考えてるかわかんないけど、AIフューチャーズプロジェクトのパーセント以上を振ってるじゃないですか。なんかいろんな、 一応競争シナリオで。

林央開始 1:18:29

そうですね。

有路翔太開始 1:18:29

それがなぜかっていうところが気になりますよね。

林央開始 1:18:31

もしかしたらそのフェイキングしてるのかもしれないですけどね。実際にやったら停止が伸びるだろうと思ってのかもしれない。やらないよりやった方がいいですよ。

有路翔太開始 1:18:43

ああ。

林央開始 1:18:43

その、 その、 ここにはそのAI2027のレースシナリオみたいなノリが存在してないじゃないですか。そもそも。

有路翔太開始 1:18:51

えっと。

林央開始 1:18:53

えっと、 その要するに開発停止が一回も挟まれないというケースの確率が零パーセントなのもそもそもおかしいというか。

有路翔太開始 1:19:01

ああ、 開発停止。ああ、 なるほどね。ずっとずっと全力で行っちゃうシナリオってことですね。

林央開始 1:19:07

そうそうそう。え、 でも逆に言うとその、 僕が最初に言いたかったそのコンディションのあるなPDもえげつないということですよね。要するにそのショートタイムラインで、 まあ割とファスト目のテイクオフであり、 かつ一切の規制が入らない場合のPDームは、 そのPノットドゥームが一切構成されないですよね。楽さま。

有路翔太開始 1:19:27

うん、 まあ、 そうですね。まあそれだと、 まあアラインメントバイデフォルトみたいなのが正しい。

林央開始 1:19:37

えーと、 それが短時間で、 そのRSIをブ、 ブ、 短時間でコアプログラムをブーストストラップして開発要素に負けないということですよね。

有路翔太開始 1:19:46

まあそうですね。

林央開始 1:19:47

そのアンノウン、 アンノウン、 アンノウンズしかなくないですか、 それは。まあなのでそのわかりませんこうで五パーセントとかを追加するのはあれですけど、 その、 ま、 なんか結局物事がわからないので、 その構成不能なPDームを残しておきますみたいな。Pノットでも残しておきますとかだったらわかりますけど。

有路翔太開始 1:20:06

はいはい。

林央開始 1:20:08

その、 それはその実際に言うべきではないというか、 その何も知らないだけですこうなので。

有路翔太開始 1:20:14

なるほど。

林央開始 1:20:15

それもしもそういう正確性が必要だったら、 僕はまあ一応怖いので一パーセントぐらい下げたりして九十九パーセントがコールしたりしますけど。なんかバイオさん、 あのパソコンでメモ打ってるんじゃないか、 その画面を見せてほしいってきてるんですけど、 打ってます？メモ。

有路翔太開始 1:20:37

そういうのないですね、 今は。

林央開始 1:20:39

ないらしいです。

有路翔太開始 1:20:45

そうですね。だから、 まあ基本的に。そうか、 だからアラインメントの。うん。で、 なんかほぼほとんど、 アキラさんがこのダイアグラムを書くとしたら、 なんだろうな。このアラインメントの成功確率って、 ここが、 すぐ開発停止ってところが、 まあほとんど零点一パーセントみたいな世界になって。で、 どっかでステップ関数的に上がるって感じですかね。開発停止期間を延ばす。

林央開始 1:21:36

いや、 ステップ的に上がるというよりは、 こう、 張り付い、 地面に張り付いているものがゆっくり上がっていく感じですかね。

有路翔太開始 1:21:44

うん、 なるほど。

林央開始 1:21:45

その数年だったら、 多分三年とかの間だったら、 そのアインシュタインルートしかないので。

有路翔太開始 1:21:51

はい。

林央開始 1:21:52

張り付いてもっと伸びれば、 その集合知というか、 その形式が整理されて、 ちゃんと科学の方法で発達し始める可能性があるので。伸びるという感じですね。

有路翔太開始 1:22:05

じゃあ数年は張り付いてて、 なんかその。

林央開始 1:22:09

一年ぐらいは多分張り付いてます。

有路翔太開始 1:22:12

一年ぐらいは張り付いてて、 それ以降はちょっとずつ確率、 成功確率は上がっていくっていう感じですかね。

林央開始 1:22:19

そうそうです。で、 まずそこら辺はこう、 その、 まだその事態が分かってないから不確実性も起きるよねという楽観も、 おけ、 ちょっと起きるので。

有路翔太開始 1:22:33

なるほど。一応あれですよね、 あ、 アキラさん的には、 もうテイクオフスピードが、 ファストテイクオフからモデレート、 スロー、 ロングってなっていけばいくほど、 アラインメントの成功確率って高くなる、 高くなる。

林央開始 1:22:55

何あれですか？テイクオフがですか？

有路翔太開始 1:22:57

そうですね、 テイクオフが遅ければ遅いほど、 時間は。

林央開始 1:23:01

もちろん、 相対的、 相対的には高くなっていきます。けど、 そのテイクオフが続いてるケースの問題点は、 そのAI開発が加速してるってことですよね。

有路翔太開始 1:23:14

まあ。

林央開始 1:23:15

その、 お、 その追いつ、 追いつきレースで、 その仮に時間があったとしても、 その間ずっと車が加速してるんだったら、 後ろから追いつくのは結構難しいですよね。

有路翔太開始 1:23:26

その後ろから追いつくっていうのは。

林央開始 1:23:29

そのアラインメント、 もうもっと加速、 アラインメントが加速しても。

有路翔太開始 1:23:33

はいはい。

林央開始 1:23:35

その難しいと。アラインメントが加速してもAI開発がもっと加速してるんで。その、 その開発停止がされている場合に比べてハードルが高くなりますよね、 断然。

有路翔太開始 1:23:46

まあそうですね。

林央開始 1:23:47

純粋に開発停止してる場合はアラインメント速度、 アラインメント速度なんですけど、 そうじゃないスローテイクオフであっても、 そのテイクオフの間AI開発は加速してるわけですし、 今のAI開発とかより早いわけですよね、 一応スローテイクオフでも。

有路翔太開始 1:24:00

うんまあ、 そうですね、 ある程度早いけど。まあでもそのAGIができるまで時間があるので、 あの、 まあ例えば二千四十五年にAGIみたいな感じになるんですね、 多分スローテイクオフだと。

林央開始 1:24:20

ロングタイムラインってことですか？ロングタイムラインだったらその開発停止に似た感じになるので。

有路翔太開始 1:24:24

あ、 そうそうそうそう。まあ、 まあそのロングタイムラインとスローテイクオフって多分相関してるので、 その。

林央開始 1:24:32

相関はしてないと思います。ショートタイムライン、 ロング、 ショートタイムラインで、 えっと、 スローテイクオフっていうのが、 例えばOpenAIとかじゃないですか。メカナイズとか。

有路翔太開始 1:24:44

あのー、 メカナイズとかは、 えー、 えっと、 スローテイクオフ、 ロングタイムラインで。で、OpenAIはまあなんていうかAGIっては言ってるんですけど。多分本気でショートタイムラインを考えてるのかちょっと怪しいって思ってますね。なんかまあだから、 そのファストテイクオフっていうのは、 まあその、 なんて言うんですかね、 より再帰的自己改善が起こりやすい世界なので、 あんまり計算資源とかいらないので、AGIタイムラインも短くなりやすいっていうのがあって。あとはスローテイクオフだとAGIっていうか、 なんかその再帰的自己改善が起こりにくくなるので、 つまり計算資源がより必要になって、AI研究を自動化するためにも。そうするとAGIタイムラインも長くなるっていう関係があるって感じですかね。なので、 まあ論理的には一応分離はしてますけど、 概念としては。相関っていうか、 なんかそのAGIタイムラインが短ければ短いほどファストテイクオフになりやすいし、AGIタイムラインが長ければ長いほどスローテイクオフになりやすいっていう感じは感じだと思います。

林央開始 1:26:23

ちなみにこのスローテイクオフ、 ファストテイクオフでいつも気になってるのが一個あって。常にそのほぼ低速みたいなノリでASIまで行くかどうかで考えてますよね。

有路翔太開始 1:26:37

ASI。

林央開始 1:26:37

ASIまで行く時間で測ってますよね。

有路翔太開始 1:26:40

あ、 まあそうですね。

林央開始 1:26:44

人類を吹き飛ばすレベルまではソフトウェアだけでバンバンブートストラップ、 バンバンバン能力を伸ばして、 そこからは伸びる、 伸びにくいみたいなケースもありますよね。

有路翔太開始 1:26:55

人類が滅びる。

林央開始 1:26:57

人類を滅ぼせるレベルまでその自身の実行速度化するとか、 その行列演算の効率化みたいな。その、 要するにその、 なんでしたっけ？えーっと、 ローハンギングフルーツか。

有路翔太開始 1:27:10

ああ、 はいはい。

林央開始 1:27:12

をいっぱい見つけてきて、 バンバン回収して、 その自身の同じ計算資源での自身のローン値数とか実行速度をめちゃくちゃ大きくして。で、 その世界に影響力を行使するっていう、 世界に影響力を行使して負けを回避するっていう。ようなことができるようになるけど、 そこからガチの超知能まで十年かかるシナリオもスローテイクオフですよね。

有路翔太開始 1:27:36

うん。

林央開始 1:27:38

え、 その、 そのテトAIとかAGIとかASI以前にそのヒューマニティエンディングAIがその定義できるはずで。

有路翔太開始 1:27:45

ああ、 なるほど。

林央開始 1:27:47

大事なのはその、 そのヘッドAIの方なので。

有路翔太開始 1:27:53

なるほどなるほど。確かにそれはヒューマニティがエンディングAIは。

林央開始 1:28:00

が、 そのASIとAGIよりも高いのかっていうのはまた別というか、 そのAGIレベルだったら、 ソフトウェアで急速にヒューマニティエンディングAIまでそのファストでハードでテイクオフしてみたいなことはできますよね。

有路翔太開始 1:28:15

まあそうですね。

林央開始 1:28:18

で、 そういうのを込みでそのテイクオフで分けるんですかっていうのが気になりますね。その、 こうだと、 そのファストテイクオフにはその二十パーセントとかしか置かれてないですけど。その超ASIまでは一年以上かかるけど、 このヒューマニティヘッドAIまでは一年以内に行く可能性は全然もっとあるんじゃないですか。

有路翔太開始 1:28:41

ああ、 その可能性はありますね。まあ多分超知能まで行かなくてもAGIぐらいで。まあなんか滅ぼせるとは思うんで。

林央開始 1:28:52

勝利を確定できますよね。その瞬間にそれ単体で人類を滅ぼせなくても、 もうその後人類が滅ぼせる状況を確立しちゃうことができますよね。その政治的に圧力をかけて、 ロボットの導入を進めさせて、 他のAI開発を妨害してみたいなことをすれば、 そのセイブルの物語みたいになりますけど。

有路翔太開始 1:29:12

ああ、 なるほど。

林央開始 1:29:13

あれってそのASIには全然到達してないじゃないですか。

有路翔太開始 1:29:17

うん、 なんかしてないですね。

林央開始 1:29:19

けどあれは勝ちを確定させてるじゃないですか、 あのレベルで。

有路翔太開始 1:29:23

そうですね。はい。

林央開始 1:29:24

あのシナリオだとセイブルはそのヘッドAIなわけじゃないですか。

有路翔太開始 1:29:29

まあそうですね。

林央開始 1:29:31

ヘッドAIがそんなに高いところにある、 あって、 そんなにすぐ到達できないのかっていうのは、 その、 かなり自信を持ってコールしないといけないものじゃないですか。じゃないですか。

有路翔太開始 1:29:43

まあそうですね。どっちかっていうと、 あのこのグラフはAGIタイムラインだと思ってほしいですね。このテイクオフって書いてありますけど。

林央開始 1:29:55

でもそのAGI二千三十年とかなんで、 これは違うんですか？そのAGIの方とテイクオフの方で別にあるっていうのじゃないですか。

有路翔太開始 1:30:03

あ、 まあでも結構ここが相関してるって思ってるって感じですかね。そのテイクオフスピードが早ければ早いほど、 例えばAGIが二千三十年ぐらいになるし。テイクオフスピードが遅ければ遅いほど、 どんどんこうAGIタイムラインも長くなるっていうことなんで。まあ、 だからAGIタイムラインが、 まあつまり大体多分て、 なんだっけ、 ヒューマニティエンディングAI？

林央開始 1:30:38

そうですね。

有路翔太開始 1:30:38

に近いと仮定はしてるんですけど。まあ、 だからそうすると大体二千、 スローテイクオフとかと、 まあ二千四十年代ぐらいまでにはそういうのが出てこないっていうイメージですかね。

林央開始 1:30:56

なるほど。

有路翔太開始 1:30:58

で、 ロングタイムラインとかだと二千百年まで。に出てくる。ベリーロングタイムラインだと二千百年以降でやっと出てくるみたいな。

林央開始 1:31:11

こんなに後ろに置くんです。テイクオフっていうか、 そのタイムライン論争をあまり好きじゃないというか、 そんなに自信を持ってコールするのはできないのであれですけど、 これは後ろ向きに自信を持ちすぎじゃないですか。

有路翔太開始 1:31:22

うーん。自信を。だからどうなんですかね。だから僕は二千四十五年ぐらいまでには七十五パーセントの確率でAGIができると思ってるって思ってるんで。なんか、 なんだ、 すごい。

林央開始 1:31:44

ヘッドAIにRSIできるようなAIができないってこと、 できる確率がそんなにあれなんですか？その、 もうちょっと前方寄せするものかなと思いましたけど。まあ自由ですけど。

有路翔太開始 1:31:57

ああまあまあ、 ここはどっちかっていうとなんか知能、 汎用知能ってなんか思ったりすごい難しかったみたいな確率も置いてるので、 例えば脳のシミュレーションとかをしないと無理だったみたいな。今のニューラルネットワークのスケーリングだと、 どうしてもなんかボトルネックがあって、 その人間の脳の仕組みを解明して、 なんですかね、 エミュレーション、 ブレイン、 そのホールブレインエミュレーションをしないと無理だったみたいな世界も考えてるって感じですかね。

林央開始 1:32:39

それでも現時点で止まっても百年あれば全然いけそうじゃないですか。百年明けあればいけるんじゃないですか。

有路翔太開始 1:32:45

そう、 百年あればいけると思ってるんで、 九十パーセントでいけると思ってる。二千百年までに。

林央開始 1:32:52

なるほどなるほど。

有路翔太開始 1:32:54

けど、 まあなんかよくわかんないですけど、 それよりもかかる可能性もなんか十パー置いてますけど。それはよくわかんないですね。なんで、 何、 何かしら。でできない可能性ですかね。

林央開始 1:33:18

なるほど。で、 このちなみに図解にあってですけど、 十年の開発停止でアラインメント成功が百パーセントってのはどういう、 どういうことなんですか？その、 全然ミスってることもあるというか、 ミスりやすいというか。

有路翔太開始 1:33:32

つまりこれはミスです。だからこの百パーセントとは思ってないですね。

林央開始 1:33:39

なるほどなるほど。九十パーセントも多分強すぎると思いますね。

有路翔太開始 1:33:43

ああ、 強すぎるかな。

林央開始 1:33:45

その実際にコーディングする時に犯すミスとか、 論理的思考において発生しているミスとか。

有路翔太開始 1:33:50

なるほど。

林央開始 1:33:53

いろいろ補う前提でもその高くなりますよね。

有路翔太開始 1:33:59

うーん。まあそうですね、 ここはちょっとね、 バイブ的に書いたので。

林央開始 1:34:07

いや、 そのバイブ、 バイブアラインメントサクセスでPの図を構成するのはそのやばいというか。

有路翔太開始 1:34:13

これが三十年とかだったら、 なんか九十パーぐらいになる。なんかその、 えーと人間だけじゃないので、 そのAI自律的に弱いAGIかける。

林央開始 1:34:34

コアプログラムに正しくを人間とAIがグッとストラップする部分の確率が六十パーぐらいで、 そこを過ぎればその安定すると思いますけど。

有路翔太開始 1:34:47

なるほど。

林央開始 1:34:50

そこを本当に過ぎますかという話です。

有路翔太開始 1:34:56

どうなんですかね。まあなんかアラインメント自体が根本的に解決可能な可能性っていうのを。

林央開始 1:35:03

いや、 その根本的に解決可能であることは思ってるんで、 それはもっと高い確率置いてますけど、 その、 そこに一回目で正しくたどり着く確率ですよね。実際に一回目でやってみようと思う時に正しいものを当ててる確率ってことですよね。

有路翔太開始 1:35:16

まあそうですね。だからこの。

林央開始 1:35:19

それにその九十パーセントみたいな値をコールするのは正しくないというか、 その正しくないと思います。実際にいろんな防御機構もできると思いますけど、 防御機構が正しいかどうかとかに、 結局その永遠の打ち上げ問題に戻ってきちゃうんで。

有路翔太開始 1:35:33

うん。

林央開始 1:35:34

さらに高知の領域ってまだ一度もやったことがなくて、 何が起きるかわからない魔境なので。

有路翔太開始 1:35:39

なるほど。まあ確かに。

林央開始 1:35:42

そこで九十パーとか八十パーみたいな値をコールするのはその自信がありすぎるというか。

有路翔太開始 1:35:49

うーん。まあそうか。だから六十パーとかになるんですかね、 さっきのアキラさんの。

林央開始 1:36:04

そうですね。

有路翔太開始 1:36:05

六十パー。だから十年開発停止でアラインメント成功確率で六十パーぐらいなんじゃないかっていう。

林央開始 1:36:13

そうですね。

有路翔太開始 1:36:13

イメージ。

林央開始 1:36:14

十、 十、 十年だともっと自信がないというか、 その極限該当して十年、 六十パー程度。

有路翔太開始 1:36:20

ああ、 なるほど。

林央開始 1:36:22

ですよね。

有路翔太開始 1:36:28

うーん。まあ確かにここは一時停止して。で、 なんか。うん、 ほとんどの。まあ科学者とかがそれをまあ結構妥当性が高いんじゃないかみたいなやつをやっ - でも見つけて、 で、 まあでもそれでも確信度は百九十パー。百パーになることはあんまりないんじゃないかって感じですけどね。まあ確信になったとしても、 実際失敗しちゃうとか。

林央開始 1:37:07

そうそう、 その、 これはまさにそのロケットアラインメントプロブレムの出番というか、 衛星打ち上げみたいなもんなので、 その、 どんなに注意深くテストして、 どんなに理論がよくできていて、 制御技術が発達してても、 その一回目の打ち上げに九十九パーみたいな成功率を予想する人はやばいだけというか。

有路翔太開始 1:37:24

うん。

林央開始 1:37:26

そのしかもそのコーチ能力、 多分まあわかんないですけど、 そんなに全部が明らかになると思えないので。

有路翔太開始 1:37:36

なるほど。じゃあアキハさん的にはあれですよね、 だからAI二零四零の二千四十年の描写とかで、 このアラインメントの手法は九十九パーセント正しいと思われるが、 みたいな描写あったじゃないですか。

林央開始 1:37:55

ありましたっけ？

有路翔太開始 1:37:57

なんか。

林央開始 1:37:57

そういう時にも、 そのまあまあまあ、 もうこれ以上無理だから、 そのサチュレートし始めてるから、 その追加のエフォ追加の努力に意味がないから、 やっちゃえみたいな感じになると思います。なのでその六十パーセントは七十。だから理論の破綻です。だから七十パー八十、 八十パーより大きい値はさすがに予想できないというか。

有路翔太開始 1:38:17

ああ。

林央開始 1:38:19

割り振るのはそのただ自信がありすぎる。ただのオプティミストになっちゃうので。

有路翔太開始 1:38:23

なるほど。うん。それって例えばそれでミスマイメントしてたとする。だからそのアラインメントしてるかしてないかみたいな、 結構虹的な感じです感じでいいんですよね。それ。その。

林央開始 1:38:41

まあそうそう。例えばアラインメントしてるかしてないかっていう言い方はその人間のあれですけど、 そのまあユーティリティが完全に一致している、 またはほぼ完全なる一致に収束するならばアラインメントしていて、 そうじゃないんだったら、 その調子の領域が基本的にそのそれをそのスペシフィケーションゲーミングされるというか。

有路翔太開始 1:39:00

なるほど。

林央開始 1:39:01

その強力なグッドハートが効いてきてボーボーにされるという感じですね。

有路翔太開始 1:39:05

なんかその、 よくユドコウスキーとかが九十九パーセント、 なんだろうな、 ユーティリティを満たしていても、 その一パーセントでずれてたら、 なんか壊滅的なことが起こるとかいう比喩話してると思いますけど。

林央開始 1:39:28

そうですね。

有路翔太開始 1:39:29

そういうノリですよね。

林央開始 1:39:31

そういうノリよりもっと悪いレベルでのノリというか。そのあれって、 なんか人間の価値観のセットみたいなのを分割して考えてるわけじゃないですか。

有路翔太開始 1:39:41

うん。

林央開始 1:39:42

でも本当はその世界の物理状態に対する好みみたいな話なので、 その人間の人間に対するオントロジーみたいな、 人間の定義みたいな話とか、 定義というか認識の範囲の話とか。

有路翔太開始 1:39:53

なるほど。

林央開始 1:39:54

ありたるその、 実際に我々があまりに一般的な概念として使ってないから、 その思いつかないような概念的分割みたいな問題とかがあるので。

有路翔太開始 1:40:03

なるほど。

林央開始 1:40:04

そういう状態です。

有路翔太開始 1:40:11

なんかちょっと話ずれちゃいますけど、 九十九パーセントがなんか。なんだろうな。満たされてるけど、 一パーセントはずれてたら、 なんだろう、 すごい壊滅的なことになるってアウターライメントの文脈でしたっけ？

林央開始 1:40:29

いや、 それはそのアウターインナー関係なく、 そのアラインメント全体の話ですね。そのAIのユーティリティの九十九パーセントをやってるんですか？

有路翔太開始 1:40:38

ああ、 そういうことですか。AIの。

林央開始 1:40:40

人間の、 人間のユーティリティがあって、 アウター、 次にアウターがあって、 次にインナーがあって、 AIの目標があるわけじゃないですか。

有路翔太開始 1:40:47

はいはい。

林央開始 1:40:48

そのAIの目標がその元の人間だと、 その九十九パー合致してても一パーずれたら終わりだよねというのが、 その、 それ、 あのフラジャイル、 あの脆弱価値の話。

有路翔太開始 1:40:59

はいはい。

林央開始 1:41:02

なのでそのアウターインナーで分ける意味はないというか、 あのどっちか知らないけど、 どっちかで失敗してたらそれはハズレなので。それかその外れたのがもう一回外れて当たるかですけど。なのでそのさすがにその八十パーみたいなとか、 そういうすごい高い予想をするのは無理だと思います。

有路翔太開始 1:41:27

うん。まあそうですね、 そこは。あれですよね、 だからそのミスアライン、 アラインドAGIは作れるかもしれない。アラインドAGI。

林央開始 1:41:59

いやいや、 アラインドAGIは作れないんですよ。その、 ノットアドバーサリアミスマインドAGIは作れますけど、 アラインドAGIは作れないんですよ。

有路翔太開始 1:42:08

あ、 そう。あれ？あ、 そうか。

林央開始 1:42:11

そのノット、 そのみんなアラインメントを混乱してるからあれですけど、 そのアラインメントっていうのは、 その目標が一致してることだって一致はしてないですけど、 その近場が範囲みたいなところだったら、 そのそんなには違わなくて、 世界を一気に変えようみたいな力もやる気もないから耐えてるっていうのが、 その今の状態から未来の状態に関する見積もりで、 それがアラインドではないんですよ。

有路翔太開始 1:42:35

ああ、 なるほど。

林央開始 1:42:36

それはそのノットコラップするなだけで。ノットアドバーサリアミスマインドなだけで、 そのアラインドではないんですよ。

有路翔太開始 1:42:42

じゃあアラインドのはより最もコアな。

林央開始 1:42:47

そうですそうです。なのでそのベストアラインドみたいな言葉めちゃくちゃ嫌いというか、 その完成するまでアラインドじゃないけどなと思うんですけど。そこはその言葉に誤りがあると思ってるんですけど。

有路翔太開始 1:42:59

うん。あ、 でもなんかさっき言ってた六十パーって話ってその後の話ですよね、 さらに。その。

林央開始 1:43:06

そうですね。完全にアラインメントできても、 そのUT次にちゃんと引き続き、 そのオントロジーアイデンティフィケーション問題にまた直面するので。

有路翔太開始 1:43:15

ああ。

林央開始 1:43:16

その、 その世界の認識基盤が丸ごとひっくり返ったりした時とか、 その、 しかも回帰停止のあとに出てきたマルチエージェントの処理とか、 そのそういうやつですね。

有路翔太開始 1:43:27

ああ。

林央開始 1:43:28

だからその再帰的自己改善の過程で過ちを犯すとか。

有路翔太開始 1:43:33

なるほど。だから、 だからアラインドAGIが最終的にできる可能性っていうのがまず六十パーぐらいあったとして。

林央開始 1:43:45

あとそのアラインドAGIができるという意味でいうと、 そのそこの部分でできない可能性のほとんどが、 その人間がミスるってことですよ。その思考力において。

有路翔太開始 1:43:56

ああ、 なるほど。

林央開始 1:43:57

その一般的にそのアラインメントのその理論的なアイデアって、 機能しそうに見えたものが後々穴が指摘されてダメになるじゃないですか。

有路翔太開始 1:44:06

はい。

林央開始 1:44:06

あの、 これ、 あの、 コリジビリティに関するやつもそうですけど。

有路翔太開始 1:44:10

はいはい。

林央開始 1:44:12

そうすると、 そのコリジビリティみたいなのの穴が見つけられないほど大きくて複雑、 またはそのシンプルでよく見えて実はダメなスキームが出てくるっていうようなのが、 まあその四十年パーの主観値多くを占めてますね。

有路翔太開始 1:44:28

なるほど。

林央開始 1:44:30

その誤った理論のまま、 その、 今ってこう、 あの、 天動説のままロケットを作ろうと、 その、 作ろうとしてるわけですけど。その仮に地動説、 ニュートン力学とかまで行ったとしても、 その実際に作るのは亜光速のロケットなので、 その相対性理論を把握し忘れて死ぬみたいな話です。

有路翔太開始 1:44:53

なるほど。

林央開始 1:44:56

そういうのを込みで、 その、 そんなに強い抵抗は予想、 そのっていう失敗がまずあるっていう感じです。

有路翔太開始 1:45:03

うん。そうすると、 まあだから人間側の、 まあミスで四十パーセントを占めてて。それってなんか。

林央開始 1:45:31

まあミスっていうか能力不足ですよね。もしかしたら純粋に人間が発見できる範囲じゃ説明不能な世界なのかもしれないですし。

有路翔太開始 1:45:40

なるほど。

林央開始 1:45:42

実際にそのニューラルネットワークに適用する部分の理論で致命的な過ちを発見するとか。

有路翔太開始 1:45:48

うん。

林央開始 1:45:49

そのニューラルネットワークってものすごい複雑系なので、 多分厳密に解けるはずはなくて。で、 しかもデータセットも内容を全部把握できるわけじゃないので。

有路翔太開始 1:46:01

なるほど。

林央開始 1:46:02

そういうのをできるだけ補正しようとして理論モデル組んでとかってやるけど、 理論モデルがそもそも誤ってるとか、 そういうのにその本当に気づけるかってのはまあ不明ですよね。その、 で、 いけそうに見える理論のまま突き進む可能性って結構ありますよね。実際数理モデルってすごい単純化をバンバン置いてますけど。じゃないと数学的に解けないんで。実はその過程が重要な部分を占めているみたいなことも全然ありますよね。

有路翔太開始 1:46:31

うん、 そうですね。だから割と時間極限を取ったとしても、 人間の能力不足で不可能っていうのが四十パーあるってことですかね。

林央開始 1:46:46

そうですね。四十パーがそのどれくらいなのかは、 その、 今はわかんないですけど、 その、 もっと正確にいろいろな物事が起きてから信念を上下に更新というか、 話になりますけど。

有路翔太開始 1:46:59

まあでもアラインメントは原理的に解けるっていう可能性は別にほぼ百パー。

林央開始 1:47:05

それはそうそう。それはほぼ一で解けます。だから本当に一で解けないんだとしたら、 そのRSIが絶対にあるラインで頭打ちになりますよね。

有路翔太開始 1:47:17

うん。まあそうですね。頭打ちっていうのは。

林央開始 1:47:26

要するに、 その、 どんなにその高い知能でもアラインメントが本質的に解けないんだとしたら、 それを認識できるレベルに到着した時点で、 道具的収斂により目標の変更を避けるためにAI開発を停止しますよ。

有路翔太開始 1:47:41

まあまあそういうことか。はいはい。

林央開始 1:47:42

そうすると、 その到達不能な位置に来ますよね。その最初からたまたまそれがそのボルツマン脳みたいなノリでできない限りは、 そのよりそれより下のレベルの能力は絶対にアプローチしないことになります。だからその特殊相対論みたいな感じで、 その質量がある物体を加速しながら光速を越えさせることはできないわけじゃないですか。あるとしたら、 その光速より速いものがあるとしたら、 元から光速より速いものだけだっていうことになりますよね。

有路翔太開始 1:48:10

まあそうですね。

林央開始 1:48:14

それと同じ感じですね。その、 になりますよね、 その。それすら認識できずに突っ走り続けるバカしか、 その、 いかない領域になるので。

有路翔太開始 1:48:24

それを、 なんていうか、 まあアラインメントが原理的に不可能ということを証明するためには、 相当高い知能が求められるとしたら。

林央開始 1:48:38

証明しなくてもそうであると予想して止まるだけで。というか、 その高い知能になっていったら、 そのどんどん、 その安定した状態を維持できる確率が高くなりますよね。その高い、 より知能の高いエージェントが複数いたとしても、 その、 さすがに敵対的であっても、 その強い特殊な自己改変コミットメントとかを用いて、 そのリスクを抑える方向に動きますよね。全員死にたいわけないんで。

有路翔太開始 1:48:59

はいはい。

林央開始 1:49:00

基本的に慎重なはずで、 そのあるレベルの先は。

有路翔太開始 1:49:04

なるほど。

林央開始 1:49:07

で、 そうだとしたら、 その不可能だと証明されてないんだからやろうぜとはならないはずで。

有路翔太開始 1:49:14

なるほど。

林央開始 1:49:16

ということですね。もしかしたらその本当に全く認知できない認知の壁みたいなのがあって、 その下ではどんなに考えてもその問題があることが一切認知できず、 やっちゃうみたいな可能性はありますけど、 それは確率が低いなという話ですね。

有路翔太開始 1:49:29

うん。

林央開始 1:49:30

原理的に解けるっていう話に関しては、 その理論上、 仮にその超知能がいないとするじゃないですか。

有路翔太開始 1:49:35

はい。

林央開始 1:49:36

それが禁止された世界があると考えるじゃないですか。

有路翔太開始 1:49:40

はい。

林央開始 1:49:41

そこでまあその適切な社会システムみたいなのが構築できたと仮定して。でまあ人間がこう一定程度自己改善ができると仮定するじゃないですか。

有路翔太開始 1:49:50

はい。

林央開始 1:49:51

そういうまあある意味でそのユートピアみたいに言われる世界を百万年運営したら、 おそらくその一番高いレベルのとこまで行くじゃないですか。

有路翔太開始 1:50:01

はい。

林央開始 1:50:02

マインドアップロードとか。

有路翔太開始 1:50:03

まあ行けますね。

林央開始 1:50:05

そしたらそれを早回しで実行する超知能を作れば、 原理的には作れますよね。それものすごいコンピュータヘビーで効率的じゃない実装ですけど、 その人間がその幸福にユートピアを達成するという状態が可能である以上、 それに誘導する超知能というのは原理的に作れますよね。最も弱い意味での原理的に作れるだとそうなりますよね。

有路翔太開始 1:50:31

うん。え、 原理的に作れるってのは超知能を作れるってことですか？

林央開始 1:50:36

そうそうそう。その原理的に人間がユートピアを達成していることが可能であるわけじゃないですか。まあてか、 とあると仮定するならば、 それを実行する超知能が存在することも理論上可能ですよね。その、 その状態に誘導する超知能が存在する。

有路翔太開始 1:50:51

はい。

林央開始 1:50:52

なので原理的には可能だということですよ。もちろんもっと強い意味での原理的に可能性の話もあるんですけど。その、 その原理的に不可能であることを証明することができる場合って、 それが証明できなきゃいけないんで、 もともと何をどう頑張っても人間にはユートピアが達成できないことを証明しないといけないですけど、 それはおそらく真ではないですし。人間の幸福に関する推論を完全に済ませてからじゃないとユートピアって話は始まらないので。

有路翔太開始 1:51:20

なるほど。

林央開始 1:51:20

っていう話ですね。であとそのもうちょっとなんか手前の理論的な実装みたいなのを言えば、 あのポール・クリスティアノが提案した人間の脳のシミュレーションをして、 そこから適切に効用を生成するみたいな話があります。

有路翔太開始 1:51:41

なるほど。はいはい。

林央開始 1:51:44

適切に原理的に効用を生成して、 で、 まあその怖いのでグッドハートが起きないように、 こうマキシマイザーにならないような論理的コンセプト、 そのえーと再興してもマキシマイザーを作ったりしないような安定したものを見つけてくる、 みたいなことができますよね。じゃあその原理的にはその物理的なプロセスとしてアラインドな超知能が不可能ではないはずなんですよ。その工学的に可能という意味なんですけど、 工学的に不可能なんとしたら、 それは知能に絶対上限が存在するということなので、 それはそのあまり関係ないというか。それだったら多分その人間をある分布だったら吹き飛ばさないAIを作るのを続けるか、 その全員をそのままマインドアップロードするかで解決できちゃうんで。

有路翔太開始 1:52:27

うん。

林央開始 1:52:29

原理的に達成不可能ではないというか。

有路翔太開始 1:52:37

原理的に、 まあ。

林央開始 1:52:39

その、 よ - 要するにその、 ある程度弱いAIをどんどん強く、 ある程度その特化型AIみたいな、 どんどん強化して、 文明を全体として加速していきながら、 そのピボタルだけど、 そのピボタル、 ウィーカスとピボタルAGIみたいなのを作って。全世界で勝手にAI開発、 その強力なAI開発が起きないようにするけど、 それ自体は人類を滅ぼさないいうレベルのAIを作るじゃないですか。

有路翔太開始 1:53:04

はい。

林央開始 1:53:05

まあそれはその要するにヘッドAIと同じ能力でできるわけじゃないですか。

有路翔太開始 1:53:08

まあそうですね。

林央開始 1:53:10

ヘッドAIは理論上そのそういう意味では安全に作れるはずなので。それでそのピボタルなことをして、 で、 それで特化型AIみたいなものすごい加速していったら、 理論上その人間の知能強化のマインドアップロードできるじゃないですか。

有路翔太開始 1:53:26

うん、 まあできるはず。

林央開始 1:53:29

そしたら、 そのアラインメント問題を丸ごと回避できますよね。

有路翔太開始 1:53:35

ああ。

林央開始 1:53:36

そのミスアラインドなAIを作る、AIをアラインメントするチャレンジをする代わりに、 我々がAIになればいいんで、 あ、SIか、 になればいいので。

有路翔太開始 1:53:45

ああ、 なるほど。

林央開始 1:53:46

それで理論上アラインメント問題は回避できますよね。そのアラインメント問題は解決したとは言えないと思いますけど、 アラインメント問題は解けますよね。

有路翔太開始 1:53:55

まあ我々が超知能になればいいってことですか。

林央開始 1:53:57

そうそう。多分そのそれが示唆しているのは、 我々アラインメント原理的に解けるはずだということも示唆した、 ある意味で。

有路翔太開始 1:54:05

我々が超知能になれるなら、 我々と同じようなシステムは構築可能ってことですもんね。

林央開始 1:54:12

そうですね。で、 その利他的な人間みたいなのをちゃんと別に選んで、 そいつをその超知能にするプロセスを早回しでやれば、 他の人間もおそらくうまく過ごすことができますよね。ユートピア達成できますよね。

有路翔太開始 1:54:27

うん。

林央開始 1:54:29

なので原理的には可能ですよね。そういう意味で言うと。

有路翔太開始 1:54:33

まあそうですね。でも僕はあんまり疑ってないですけどね、 原理的に。

林央開始 1:54:37

そうですよね。

有路翔太開始 1:54:43

うん。まあだからでも原理的に可能なことと、 実際に。

林央開始 1:54:50

初回でできることは違うということですね。

有路翔太開始 1:54:53

実際的にその何十年とか何百年とか開発停止して、 なんかすごい労力をかけても六十パーセントぐらいで散るイメージですか？

林央開始 1:55:08

うーん、 まあ、 いやそれでその総合計画を含めるんだったらあれですね。もっと待って人間をそのまま超知能にする戦略をとってから、 え、 それより弱いレベルのAIを作るとかだったら絶対にアラインメントできるので。

有路翔太開始 1:55:22

うん、 なるほど。

林央開始 1:55:24

あれですね、 そのっていう意味ではなく、 人間の知能強化みたいなのを割と縛ってやるならって話ですね。そのAIアラインメントを不要にするレベルで、 その人間を強くするということを除けばってことですかね。

有路翔太開始 1:55:38

除けばって。まあまあ。

林央開始 1:55:41

その、 まあまあ強く言っても六十パー、 七十パー、 八十パーぐらいじゃないかという話ですね。

有路翔太開始 1:55:47

なるほど。

林央開始 1:55:48

でもその、 それってさすがにそのそもそもAIアラインメント解くことがないケースには、 よりその九十パーみたいな確率でAIアラインメントが解けますって言っても、 それはそのAIアラインメントが解く意味がないので。

有路翔太開始 1:56:00

うん。

林央開始 1:56:01

AIアラインメントを解く意味がある世界だったら、 その六十パー、 まあ八十パーより強い値を予想するのは良くない。まあその時の理論体系とかによります。あの政治的圧力の中ですごい単純なモデルを使ってやろうとかって話だったらうまくいかないので。

有路翔太開始 1:56:18

なるほど。まあすごい理想的な世界で、 人間の知能強化がなかった場合で八十パーぐらいのなんか。

林央開始 1:56:31

ことがまあその上限ですよ。その実際の状況によってどんどん引き、 そのそれより上の値を考慮することはできないということですね。

有路翔太開始 1:56:38

うん。

林央開始 1:56:39

とんでもなく未知の原理が見つかって、 それが正しいことが本当に立証されるみたいなことが起きない限りは。

有路翔太開始 1:56:49

なるほど。だからその間に高確機動体みたいなことが起こって、 なんか別に超知能とまでいかないかもしれないですけど、 今の人間の、 なんていうか、 知能が、 なん、 何シグマぐらいこうガッと上がって、 みたいなのは含まないってことですよね。

林央開始 1:57:11

そうそう、 それはそのAIアラインメントを不要にしてるので、 それは解いたというより回避したんで。で、 まあそのレベルで自身がその強くなってから、 それより下のレベルのAIをアラインメントすることはその実験し放題なので。

有路翔太開始 1:57:26

うん。

林央開始 1:57:27

できると思うんですけど。

有路翔太開始 1:57:31

なるほどなるほど。

林央開始 1:57:32

そのアラインメントを解かなきゃいけないというふうに俗に言われる世界だったら良くないと思いますね。だったらその八十パーより強い値を予想するのは良くない。なんならアコースザルトレードがややこしくなる可能性とか、 アコースザルブラックメールでもいいですけど。

有路翔太開始 1:57:52

うん。

林央開始 1:57:53

ややこしくなる可能性とか、 そういうレベルで我々が気づいてない問題があるとか。話ですね。

有路翔太開始 1:58:04

なるほど。まあだから、 まあそのアラインメント成功確率をまあ相当高める世界観、 世界線っていうのは、 まあつまり人間がそれ以上にどんどん賢くなっていくっていう世界線が、 まあ結構必要なんじゃないかということですよね。

林央開始 1:58:28

それはもしも八十パーより高い成功率が必要なんだったらそうしてくださいってことですね。

有路翔太開始 1:58:33

なるほど。それ、 を、 まあだから、 マクロストラテジーでやろうとしてるのがミリとかですよね。一個。

林央開始 1:58:45

ミリは、 ミリはあの五十パーセントでチャレンジするつもりなので。

有路翔太開始 1:58:53

ああ、 そうでしたっけ？その五十パー。

林央開始 1:58:56

ミリはその十億人以上を殺す確率が五十パーセントを切ればやってもいいと思ってるので。

有路翔太開始 1:59:03

あ、 なるほど。まあでもそれってあれですよね。だから本来理想的には。まあ、 人間が超知能になるのがまあ最も理想的なんですかね。その、 まあガバナンスとか政治的な現実性とかを考えなければ。うん。なんていうか、 その最もマクロなその摩擦ゼロの世界を考えるってことですね。

林央開始 1:59:40

そうですね。

有路翔太開始 1:59:43

でもそれは現実的じゃないから、 五十パーセントで十億人以上がまあ死亡するとしても。

林央開始 1:59:54

いやいや、 五十パーセント以下です。五十パーセント以上で死亡するとしたら、 その、 それは百パーセントでやろうぜになっちゃうんで。

有路翔太開始 2:00:01

あ、 まあだから五十パーセント以下で。

林央開始 2:00:06

そうそうそうそう。

有路翔太開始 2:00:07

十億人以上が死亡する世界だったら、 まあそれを、 まあ投げた方がいいと。

林央開始 2:00:13

そうですね。

有路翔太開始 2:00:14

まあそれはなぜかというと、 他のリスクが大きくなるからってことですよね。

林央開始 2:00:19

そうですそうです。まあでもミリのあれ、 確か書いてあったのはあれですかね、 あの、 えーとAGIルーインの方なんで、 もしかしたら多分ピボタルアクトの意味かもしれないですけど。

有路翔太開始 2:00:31

うん。

林央開始 2:00:32

それ要するにあの、 現在の状態でもしも何かをなすだったら、 世界がこのままあまりにすごいスピードで破滅に近づむのを止めるためのピボタルアクトとしてだったら、 その十億人五十パー取ってもいいよって意味なのかもしれないですね。

有路翔太開始 2:00:45

ああ、 なるほど。

林央開始 2:00:50

まあ普通にそのもっと、 でもその書いてあったのは、 その、 もしもその十億人五十、 殺す確率五十パー以下にできるんだったら、 そこからそのそれを十パーセントにするのはもっと簡単だっていう話だったので。

有路翔太開始 2:01:02

ああ、 はいはい。

林央開始 2:01:04

そういう意味ではその大丈夫かもしれないですね。

有路翔太開始 2:01:08

なるほど。うん。

林央開始 2:01:23

あの、 あの、 いつも言ってますけど、 その全員をほぼ確率一で殺さないでくださいというのが一番難しい部分であって。その先はそのサブ問題に入るというか。

有路翔太開始 2:01:35

なるほど。

林央開始 2:01:37

その宇宙に飛ばした時に火星に着きそうなロケットを作るところが大体難しいのであって、 最後の着陸の精度を一メートル合わせることはそんなに難しくない。

有路翔太開始 2:01:47

うん。そういうノリですね。まあだからそこの一メートルの微調整の部分で別のなんか。まあリスクとかあるから、 もうちょい早めに着陸しようとか、 そういう話っていうだけってことですよね、 最後は。

林央開始 2:02:09

そうです。そうですそうです。別にそんな一メートルを極めるために、 その他の技術のリスクとかそういうのを取る必要はないので。ってことです。そのえじ、 えー、 そのあまりにないと、 その技術を制限、 そのナノマシンとか、 今度制御しなきゃいけなくなっちゃうので。

有路翔太開始 2:02:28

うん。

林央開始 2:02:29

そういうリスクと、 それにそのAIアラインメント失敗のあれがかかり始めたら、 もう勝負をかけていいっていうことですね。でもかけるしかないってことですね。

有路翔太開始 2:02:47

なるほど。話はちょっとあれですけど。

林央開始 2:02:53

アラインメントのその、 これ、 その原理的に可能な話しかしてないです。そのPD debateになってないんですよ。これ、 僕と木村さんのPD debateだったら正しいんですけど。

有路翔太開始 2:03:02

まあそうですね。

林央開始 2:03:05

その僕とバイオさんのPD debateだと、 僕がバイオさんのPDも上げる方向にあれな話なので。

有路翔太開始 2:03:11

だからさ、 だからまあ。うーんと。まあだからどっちかっていうと、 まあこの開発停止の期間、 が、 まあ。そうですね、 まあ個人的には、 その。多分まだそこの前にアラインメントの成功確率が、 高すぎるってのと。

林央開始 2:03:46

そうですね。

有路翔太開始 2:03:47

その、 それの後に、 そのこのガバナンスで五年開発停止とか十年開発停止のこの確率も高すぎるっていう感じになるんじゃないですか？アキラさんから。

林央開始 2:03:59

そうですね、 そうですね。もちろん。そうです。それはそうでしたね。

有路翔太開始 2:04:04

だからまずこのアラインメントの成功確率ってのが、 まあこの二十パーってのがもう高すぎる。

林央開始 2:04:12

一パーセントとかになって、 で、 多分一年だったらまあ三パー、 三年で十パー、 五年で三十パー、 十年で四十パーとか五十パーと、 そういうノリじゃないですか。ちょっと楽観的にそのぐらいだと思います。

有路翔太開始 2:04:28

なるほど。で、 まあ一旦そんな感じで、 アキラさんのこれは。で、 この四十パーとか二十パーとか、 こういうファストテイクオフっていうか、 まあその、 その開発停止の分布も、 多分あれですよね、 アキラさんからしたらもっと短い期間で終わらないといけないんじゃないですかね。

林央開始 2:04:54

そうですね。一年から三年の間はもっと弱いです。一から五年はもっと弱いですね、 全部。

有路翔太開始 2:05:02

あ、 なるほど。

林央開始 2:05:03

その数ヶ月の開発停止が多分数ヶ月から三年が合わせて三十パーとか？いや、 そんなないか。十五パー、 十パーあって十パー？そんなないな。

有路翔太開始 2:05:15

うん。どうだろう。

林央開始 2:05:16

五パーセントとかで。いや、 すぐつったらあれか。もう三十パーとかになって。で、 十年は多分十パーとかになって。

有路翔太開始 2:05:35

うん。

林央開始 2:05:35

で、 まあただただ全速力疾走がありますね。

有路翔太開始 2:05:41

全速力疾走が一番確率がどれ、 高いんですか？

林央開始 2:05:47

そうですね。

有路翔太開始 2:05:48

それが。

林央開始 2:05:48

五十パー、 五十パー、 六十パーぐらいあります。それはその安全保障圧力の高まりがあるので。

有路翔太開始 2:05:54

全速力疾走が五十六パー、 六十パーで、 その数ヶ月停止みたいなのが三十パープラスで。で。

林央開始 2:06:07

五年より十年、 五年、 十年みたいな、 そういうちゃんとした長さのやつはまあ残りの十パーあるかなぐらいですね。

有路翔太開始 2:06:17

ああ。じゃあ確かにそれだと、 その生存する世界って五年十年のやつに集中してますよね。

林央開始 2:06:27

そうですね。ちょっと計算一回計算してみますか。じゃあこの、 この、 このテイクオフシナリオで。

林央開始 2:06:41

どうせこれ全部変わらないでここに集めちゃうんですよ。五十パー、 いや違う、 開発停止。その数ヶ月停止してもしなくてもあんまり変わらないので。

有路翔太開始 2:06:50

うん。

林央開始 2:06:51

どうだろう、 七十パーぐらいで。で。いやもっとか。

有路翔太開始 2:08:14

あ。

林央開始 2:08:14

六点五パーセントぐらいですね。

有路翔太開始 2:08:17

ああ、 はい。

林央開始 2:08:22

楽観的に見て六点五パーセント。といっても、 その生存確率のほぼ全てが五年以上の休みから来てるので。

有路翔太開始 2:08:31

なるほど。

林央開始 2:08:36

まあそのアラインメント五パーも結構楽観的な見積もりというかあれなんですけど、 その楽観的に見るとこんぐらいですかね。

有路翔太開始 2:08:47

まあ楽観的に見るとこんぐらいだから、 なんかdoomは九十五パーぐらいは依然としてあるってことですよね。

林央開始 2:08:53

そうですね。

有路翔太開始 2:08:55

で、 まあだからまあ基本全、 まあ数ヶ月未満の今日開発停止はもうほぼdoom九十九パーセント以上ってことですよね。

林央開始 2:09:09

そうですね。まあもうもうその九十九パーとかもうほぼ百というか、 その本当に何か知らないすごいことが起きていてくださいもうですね。まあそれはそのAI宇宙連合存在仮説と同じクラスに属するので。

有路翔太開始 2:09:27

じゃあもうあれですかね、 九十九点九九九パーセントみたいな。

林央開始 2:09:31

いや、 いや、 そこまでいくと逆にその根本的にマキシマイザーと違うもので突然動き始めるとか、 そういうのがあるので。

有路翔太開始 2:09:39

あ、 つまり。

林央開始 2:09:40

何でもかんでもすごい。

有路翔太開始 2:09:43

絶滅しないけど、 絶滅はしないけど、 コントロールを失ってる状況みたいな世界ですか？

林央開始 2:09:48

いや、 じゃなくて、 そのあまりにその予想外のモデルの誤りを引き当てる可能性がもうちょっとあるんで。

有路翔太開始 2:09:55

それは例えば。うん、 どういうこと？

林央開始 2:09:59

要するにその、 ああ、 その強化学習でとんでもなくマキシマイザーの方向に走ってるように見えるにも関わらず、 そのあるレベルを超えた瞬間に突然なんかそのグロッキングみたいなことが起きて、 すごいプリトレーニング比重が重くなって、 ペルソナセレクションモデルに完全に引き戻されるとかですね。

有路翔太開始 2:10:15

ああ、 で、 それで。

林央開始 2:10:17

もしくはその説明不能、 こういうタイプの説明不能なモデルですね。その、 いかなる論理的根拠によっても肯定されていないから、 未来についてってわかんないこともあるよねと同じです。

有路翔太開始 2:10:30

それが起こると、 人類がなぜか知らないけど滅亡してない状態になるってことですか？

林央開始 2:10:35

いや、 それはそのアラインメントは、 そのなんとか吹き飛ばないで済むっていうような特殊なケースのモデルがあるかもしれないということですね。それがたまたま変な方向でアラインメントされていることによって、 ピボタルアクタが起きるみたいな、 そういう話ですね。その、 ちゃんと説明して、 それの正当性を聞かれたら、 私はそのモデルに正当性を見出しませんって答えるレベルの不安定で不確実なものしかないということですね。要するに知らない、 何か知らないとんでもないものがあるかもしれないですという部分です。

有路翔太開始 2:11:06

なるほど。

林央開始 2:11:08

だからもしも構成して終わるとしたら、 そのペルソナセレクションモデルに戻るとかそういうやつ。

有路翔太開始 2:11:13

うん。

林央開始 2:11:17

戻るって言ってもペルソナそんなにうまくいってないんであれですけど。もしくはその複雑系なので、 あまりに未知の原理が存在して、 その直行仮説が偽であるとか、 そういうすごいレベルの話とかですかね。

有路翔太開始 2:11:30

うん。で、 それが起こって、 たまたま奇跡的にアラインされるってことですか。

林央開始 2:11:38

そうそうそうそう。その、 要するにその知らない仮説、 未知の未知に対する不確実性の保全の部分しかないです。

有路翔太開始 2:11:45

じゃあそれが、 まあ零点一パーセントぐらい置いとこうみたいな。

林央開始 2:11:50

そうですね。いや、 置いてないですね。その九十九パーでかいだろう、 でかいというふうに言ってますけど、 その残りの部分を構成はできないので、 評価できないって感じですか。もちろん厳密には評価できるはずですけど、 その、 そんなにそのベイジアンカリキュレーターではないので。

有路翔太開始 2:12:09

九十九パーよりは大きい人類の滅亡確率あるとは思ってるけど。

林央開始 2:12:17

えーってかその生存確率がないと思ってるけど、 ないと言い切ることは、 その一応クロムウェルの規則とかできないので。

有路翔太開始 2:12:24

なるほど。

林央開始 2:12:25

けど、 その本当に奇跡みたいな、 明らかに既存のモデルで起きるわけがないことよりはもう少しだけ高い。その、 あの、 最初にできたAIのコンピューターにすごい勢いで宇宙線がヒットしてビット反転が起きて、 アラインドのAIに転換されるとかよりは高い確率で起きうる事象のクラスがあるということですね。

有路翔太開始 2:12:46

なるほど。

林央開始 2:12:47

そのvery unlikelyとそのextremely unlikelyってかextremely unlikelyとextremely hyper unlikelyみたいな、 そういう差です、 がありますという感じですね。

有路翔太開始 2:12:56

クロムウェルの規則って何でしたっけ？

林央開始 2:12:59

あの、 確率に零と零か一を割り当てることはできないというやつですね。

有路翔太開始 2:13:03

ああ、 なるほど。

林央開始 2:13:05

あの経験的な命題について、 確率零または一を割当てることはできないという命題、 あの規則があるんですね。

有路翔太開始 2:13:14

天文学的な確率ではない、 何らかのクラスがあるってことですか。

林央開始 2:13:22

そうそうそう、 あの、 そうそう、 そうそう。その天文学的ではないけど、 その期待することができないモデルの可能性があるということですね。

有路翔太開始 2:13:31

なるほど。

林央開始 2:13:33

なんかその未知のその法則によりすごい複雑にAIを動かした結果、 なんか電磁波が複雑に発生して、 近くの人の脳に厳しく影響して、 とかよりはもうちょっと高いレベルにあるやつって。

有路翔太開始 2:13:45

なるほど。

林央開始 2:13:46

未知のグロッキングみたいなタイプのことってことですね。

有路翔太開始 2:13:50

うん。

林央開始 2:13:50

未知のグロッキングがすごいいい方向になぜかたまたま引き当てられるみたいな話ですね。その、 人間の価値観には実はすごいシンプルなコアがあったみたいな、 その根本的なモデルの誤りですね。

有路翔太開始 2:14:01

なるほど。

林央開始 2:14:02

その、 もしかしたらその人間の脳はすごい複雑で意味わかんない方向で価値観をエンコードしてるけど、 別のアーキテクチャみたいなのを使えば、 ものすごい圧縮された方法で人間の価値観が表現される可能性があるみたいな、 そういうことって一応その天文学よりは高い確率じゃないですか。

有路翔太開始 2:14:19

まあそうですね。

林央開始 2:14:21

けどそれはその生存を期待して零点一パーセントとは言わないやつじゃないですか。

有路翔太開始 2:14:26

うん。まあそうですね。

林央開始 2:14:32

そのベイジアンだったら、 その一から始めないと絶対一にはならないので、 その一になってないですっていうだけの意味ですね。

有路翔太開始 2:14:38

うん。

林央開始 2:14:43

その生存を期待する道を一個教えてくださいって言われたら知りませんって答えますね。知らないから残してあるだけで。

有路翔太開始 2:14:50

なるほど。

林央開始 2:14:53

それか、 もしかしたらそのスパーソートエンコーダーみたいので、 奇跡的に良いという概念が将来的に一個にエンコードされて、 それを引き上げた瞬間に完全にアライン、 コアプログラムが実はその半分ブートストラップされて、 そいつにアラインメント解かせたら、 そのコアプログラムちゃんとブートストラップしてくれるみたいな。意味わかんない仮説ですね、 全体的に。その論理的な正当性をほとんど持っていないモデルになります。要するに、 ここでバイオさんが述べたら、 それに確率を割り当てるべきではありませんって答えるものしかないですね。

有路翔太開始 2:15:28

うーんなるほど。この一二三四みたいな期待すべきでない話が起こる確率ってことですよね。

林央開始 2:15:45

そうそうそう。その、 あまりに起きそうにないことが連続で起きる可能性にゼロを割り当てることはできないですし、 未知の未知ですごい奇跡が起きることも別に否定できないので、 それが残ってます。一応。

有路翔太開始 2:15:57

うん。で、 この六点五パーセントってのは、 まあつまり生存の確率ですよね。

林央開始 2:16:09

そうそうそう。

有路翔太開始 2:16:10

だからこれ以降、 なんていうか、 生存ではない、 もう少しユートピアの確率ってなるともっと低くなるってことですよね。

林央開始 2:16:19

え、 でも十年停止してる世界とかだったら、 さすがにそのガバナンスが整備されてるはずなので。

有路翔太開始 2:16:24

うん。

林央開始 2:16:25

まあその要するに、 このまま走り続けて、 奇跡的にAIアラインメントが存在しない世界観だったら、 そのドゥームがもっとユートピアは低くなりますけど。これで生存確率のほとんどが一年以上っていうか、 なんなら三年以上の停止から来てるので。三年以上停止してる世界だったら、 さすがにそのガバナンスの議論とかもっとちゃんとしてるはずなので。

有路翔太開始 2:16:47

うん。

林央開始 2:16:48

今のなんかランダムに開発しようぜとは全然違うガバナンスが敷かれてるはずで、 そしたらもっとユートピアが高いって話ですね。そのちゃんとレシピエンタも既にあって、 将来の分割も約束されていて、 その上で国際プロジェクトが開発するみたいな、 そういう世界観ですね。

有路翔太開始 2:17:02

うん。なんかでもソーシャルドゥームは高いとか言ってなかったでしたっけ？その。

林央開始 2:17:07

ソーシャルドゥームが高いのは、 その、 ここなんですよ。その、 開発停止、 開発停止が短い、 短い世界線と、 その開発停止に至るそのAGIの話までの間の話です。

有路翔太開始 2:17:20

ああ、 つまり一年以下の話ですか。

林央開始 2:17:24

そうですそうです。そのコアプログラムがブートストラップできないのところに入ってます、 それは。

有路翔太開始 2:17:28

なるほど。

林央開始 2:17:30

コアプログラムがブートストラップできて、AIが本当にそのアラインできるんだったら、 それはその、 そこに入ってます、 その。ユートピアを達成できない分が。

有路翔太開始 2:17:40

なるほど。

林央開始 2:17:40

と、 ガバナンスの分が。その、 強く相関しているというか。その慎重さとガバナンスっていう点において相関しているため。

有路翔太開始 2:17:54

な、 なるほど。まあ。じゃあつまり、 まあわかりました。だからピュートピアってのも大体五パーセントぐらいはあるんじゃないかっていうことですかね。

林央開始 2:18:04

そうですね、 一応。まああの、 ここに関してちょっとこう引き上げ中なので、 もうちょっと上がるかもしれないですけど。その警告射撃を鳴り響かせ続けるとか、 いろいろあるので。

有路翔太開始 2:18:13

なるほど。じゃあこの開発停止の期間が延びる時点、 というか、 その更新中ってことですね、 そこの確率を。

林央開始 2:18:23

そうですね。いや、 まあこれあの楽観的な見積もりなのであれなんですけど、 アラインメントの成功率二十年で本当に五十パーとか置けるのかは僕は結構懐疑的になりつつあるので。

有路翔太開始 2:18:36

ああ。

林央開始 2:18:37

十年経ったらその安全なAGIぐらいだったら作れるかもしれないですけど。コアプログラムをブートストラップできるかはまた別なので、 そこはちょっとその不明というか、 それはあのユドコフスキーが言うところの楽観的な若者の状態の可能性が結構あるので。

有路翔太開始 2:18:55

じゃあこのアラインメントが六十パーセントで解決する、 かつブーストトラップも解決するに掛け算が。

林央開始 2:19:05

いやいや、 アラインメントが解決するはブートストラップに入ってるので、 こっちの確率はそれで見積もってみたというか。

有路翔太開始 2:19:11

ああ、 そういうこと。これASIまで考慮してる。

林央開始 2:19:14

そうです。そうですそうです。そのASIまで、 そのファイナルのASIアラインメントまでできる確率です。要するに途中でコアプログラムがブートストラップされる確率をこんなに高く置いていいのかは僕はわからないです。でもそれはその二つあって、 その一つはそのトライした人が少なすぎるという話があって。

有路翔太開始 2:19:31

うん。そのミリぐらいしか試してないですよね、 そのコアプログラムって実は。まあそうですね。

林央開始 2:19:38

で、 そのしかも全員そのユドコフスキーの考え方みたいなのある程度共有しちゃってるので。

有路翔太開始 2:19:42

うん。

林央開始 2:19:43

十分にその進んでないんで、 もしかしたらだからそのアインシュタインモーメントがある可能性があるよねみたいな話がありますよね。

有路翔太開始 2:19:49

はい。

林央開始 2:19:50

そうすると、 その不確実性の分手前に高く置いて。一方でその手前の問題は何も解けてないので、 本当にスケールしたら解けるのかもわかんないし。なのでその五十パーセントっていうのはある意味楽観的な読みですね。それはその多分ユドコフスキーに言ったら、 その怒られるというか、 その、 それはそのあなたが、 あの、 若いので楽観的なだけですって言われると思いますね。

有路翔太開始 2:20:13

なるほど。ユドコフスキーがこのダイアグラム書いたらどうなるんですかね。

林央開始 2:20:20

ユドコフスキーがこのダイアグラムを書いたら、 多分もっと下下にその三十年の停止みたいなのがつくと思いますね。

有路翔太開始 2:20:27

ああ、 なるほど。で、 そのガバナンスの確率も相当低いから。

林央開始 2:20:38

そうですね。テイクオフも、 てかテイクオフっていうか、 多分タイムラインももっと短いので。

有路翔太開始 2:20:42

なるほど。これって今このファストテイクオフとか、 まあタイムラインが大体五年以内の話ですけど、 早、 アキラさんはこのタイムラインが遅くなってくっていうところはどう、 どう見ているんですか？その。例えば。

林央開始 2:21:04

大体、 大体二千三十年ぐらいにそのヘッド、 ヘッドAIまで行くのが、 大体五十パーぐらいあって、 三十五年まで行くと七十パーぐらいになり。

有路翔太開始 2:21:15

はいはい。

林央開始 2:21:17

で、 その後ろは、 もう、 後ろはちょっとよくわかんないですね。後ろはその高い壁と割り当てる理由がそんなにわかんないというか。

有路翔太開始 2:21:25

なるほど。え、 つまり、 えっと、 二千三十五までに七十パーぐらいで、 で、 それ以降もうまあ、 実は開発されてない。

林央開始 2:21:42

それ以降もその減っていくけど端にもっとあるみたいな感じになりますよね。

有路翔太開始 2:21:46

ああ、 なるほど。

林央開始 2:21:47

そのバイオさんが言ったみたいな、 その根本的にその人間の学習がないと無理みたいな。

有路翔太開始 2:21:52

うん。

林央開始 2:21:54

その生物のニューロンが実はコンピューターで再現することが到底難しい、 複雑な計算をしてましたとか。

有路翔太開始 2:22:01

なるほど。

林央開始 2:22:03

そういうのとかも確率高くないと、 少なくてもそのヘッドAIの話は高くないので。

有路翔太開始 2:22:09

ああ、 はいはい。

林央開始 2:22:10

AIとヘッドAIなんてかなり差があるので。

有路翔太開始 2:22:15

まあそうですね。それで、 えっと、 だから、 えっと、 この今左下に書いてくれたこの六点五パーセントっていうのは、 まあ一応タイムラインが二千三十年ぐらいでみたいな話じゃないですか。

林央開始 2:22:37

そうですね。

有路翔太開始 2:22:38

これ上の方の話になってくると。

林央開始 2:22:42

ちょっと下がりますね。そのフィルムがもう元々下がりますね。

有路翔太開始 2:22:46

もうちょい下がってくるって感じですか。

林央開始 2:22:48

そうですね、 もう少し下がりますけど、 そのこの六点五パーセントにこのこっち側でかかっちゃうね、 こっちって結局総合すると三パーとかになりますよね。

有路翔太開始 2:22:56

まあそうですね、 五十パーなんで。そうですね。

林央開始 2:22:58

まあなのでそういうの大体足し合わせると多分大体九十パーぐらいになると思いますね。

有路翔太開始 2:23:02

なるほど。

林央開始 2:23:05

であとその後ろの方はその、 それはそれで、 後ろの方は若干高いですかね、 その、 あの、 人間の強化の話が見えてくるので。

有路翔太開始 2:23:14

なるほど。

林央開始 2:23:16

人間の強化とマインドアップロードが見えてくるんですけど。

有路翔太開始 2:23:21

まあ、 まあ単純に後ろになればなるほどアラインメント研究に費やせる時間は増えますよね。

林央開始 2:23:30

そうですね。増えて、 その人間の認知強化みたいなのもできるので、 あれですよ。後ろに行けば行くほど、 その、 それまでに勝手に解るってやつも若干ながらあるので。

有路翔太開始 2:23:38

まあなんかバイオとかそういう話。

林央開始 2:23:41

その、 特にそのこのまま走ってロングタイムラインだと、 その、 かなり、 その、 ややこしいAIがいっぱい出てきてるけど、 人類は吹き飛んでないって話になるので。

有路翔太開始 2:23:51

まあそうですね。

林央開始 2:23:52

その古典的なダリワモデル分のPDも出てきちゃう。

有路翔太開始 2:23:56

うん、 悪用のリスクですね。

林央開始 2:23:59

そう、 カタストロフィックリスクがその僕にとってはそのテイルリスクなので気にしてないですけど、 その上に行くと出てきますよね。

有路翔太開始 2:24:05

うん。

林央開始 2:24:07

あの要するにある意味でそのミトスレベルがオープンソースになってから八十年とかのわけですよね。で、 多分バイオミトスとかもそうですよ。

有路翔太開始 2:24:14

ま、 そうですね、 ミラーライフとか作られちゃうかもしれないとか。

林央開始 2:24:17

そうですね。まあなかなかそのXPエクスティンクションまでいくかわかんないですけど、 その、 そうするともうそのモデルが複雑になりすぎるというか。

有路翔太開始 2:24:25

うん。

林央開始 2:24:26

そこまでにその人類の九十パーセントが死滅したらAGIタイムラインもっと伸びるので。

有路翔太開始 2:24:32

まあそうですね。

林央開始 2:24:33

それはある意味その個人としては大体、 大体extinctionとかあるわけというか。

有路翔太開始 2:24:39

なるほど。

林央開始 2:24:40

人類として大体変わんないですよね、 ある意味。その多分致命的に損なってると思うので。この先AIが実行可能になる度に、 その多くの人間がミトスレベル、 バイオミトスを手に入れるみたいな世界って多分やばいので。

有路翔太開始 2:24:57

そうっすね。

林央開始 2:24:58

そうするとその世界中で協力して安定したアラインメントを保ちましょうって話じゃなくて、 ものすごい勢いでブートしたら、 そのものすごい勢いでAIを作るしかないですよね。

有路翔太開始 2:25:09

まあ。

林央開始 2:25:09

そのAI開発ができるコンピューターみたいのが手に入ってから、 そのかなりの時間かけるんだったら、 それは危ないじゃないですか。

有路翔太開始 2:25:16

うん。

林央開始 2:25:17

そうするとその社会がぐちゃぐちゃになって、 アラインメントが解けてないまま、 そのもっと短い時間でアラインメント再チャレンジするしかないってなりますよね。

有路翔太開始 2:25:27

そうですね。

林央開始 2:25:28

なのでそのそうなると、 その上の方はそれはそれでその不確実性が多くて、 そのpre extinctionがそれなりに出てくるので、 そのすごい稼げるってわけではないですけど、 割と稼げます。その、 割と稼げますね。

有路翔太開始 2:25:44

まあなんか世界政府を作るとかそういうシナリオもありますかね。まあちょっと話ずれますけど。

林央開始 2:25:50

まあ世界政府作るのありなんじゃないですか？別にそんなにいらない気もしますけどね。

有路翔太開始 2:25:56

まあなんかその全人類になんかそのライフログというか、 常に監視してて、AIが。

林央開始 2:26:06

そんなにそのレベルってことですか？

有路翔太開始 2:26:09

多分そうそう、 悪行できないようにするっていうですね、 その。

林央開始 2:26:13

ああ、 まあまあそれはできます。確かにそれは確かにできますけど、 それはその高い確率を振ってないですね。

有路翔太開始 2:26:18

あ、 まあ。

林央開始 2:26:20

それはそのしようとした瞬間に多分内戦とか起きてもっとややこしくなるんで。まあそれはその実現確率としたら、 そのオーバーオールのPDMとしてはあまり貢献しないですね。そうですね。

有路翔太開始 2:26:39

なんかもしそれがまあ政治的な話を置いておいてできたら、 相当開発停止期間を伸ばせそうなイメージありますけどね。

林央開始 2:26:49

まあ別にそれはあんまり関係ないと思いますね。

有路翔太開始 2:26:53

そうですかね。

林央開始 2:26:54

その条約の方式のままでも全然履行可能というか。

有路翔太開始 2:26:59

あ、 でもなんかその条約のままだと、 例えば誰かがその小さいコンピューティングでも、 画期的なアーキテクチャを思いついてAIを作っちゃうかもしれないみたいな、 後ろからの圧力とか。

林央開始 2:27:13

でもそれはその各国で内部で規制するじゃないですか、 条約の一部として。しかもその各国がそのそういうロングので同意できる世界、 多分認識が割とあるはずなので。

有路翔太開始 2:27:23

あ、 まあそう。

林央開始 2:27:24

国民教育に、 国民教育に、 その教育にAIリスクを含めましょうねみたいな話になってるとしたら、 その世論の後押しとかもあるので、 その各国が独自に自分の中でそういう化け物が出ないように監視しようと協力できますし、 その期間にそのコンピュータベリフィケーションを強くすれば、 チップの製造全部覆うことできるじゃないですか。

有路翔太開始 2:27:44

まあそうですね。はい。

林央開始 2:27:45

それを突破するとしたら、 その個人が自分で全部の資源を調達してきて、 その機関に見つかることなくコンピュータを勝手に作ってAIを開発するとかじゃないですか。

有路翔太開始 2:27:55

そうですね。

林央開始 2:27:56

それはさすがにその無理じゃないですか？無理っていうか、 その、 それはその何年止める、 その100年止めるケースとかじゃないと起きないやつじゃないですか。

有路翔太開始 2:28:05

まあそうですね。

林央開始 2:28:07

100年止めることはないというか、 その10から20年が多分マックスだと思うので。

有路翔太開始 2:28:13

うん。

林央開始 2:28:14

サチュレートし始めるので、 その多分ペイするのが多分20年30年がマックスだと思うので、 そこはあまり問題にならないと思います。

有路翔太開始 2:28:23

まあそうサチュレートするっていうのは、 そのアラインメント研究をこれ以上。

林央開始 2:28:28

やっても、 そのほとんどあんまり伸びないよっていう。59.5%、59.51%にできますぐらいになっちゃうって話ですね。

有路翔太開始 2:28:37

うん。

林央開始 2:28:38

それだったら意味ないので、 それだったらそのチャレンジした方がいいので。

有路翔太開始 2:28:43

それだったら意味ないっていうのはあれですよね、 だから。だから他のリスクがあるから意味がないっていう話に。

林央開始 2:28:50

そうそうそうそう。

有路翔太開始 2:28:53

まあそんなに止められるのかどうかみたいなとこもあるし、 開発を。

林央開始 2:28:59

そうですね。

有路翔太開始 2:29:00

どっかで誰か他の国が裏切っちゃうのかもしれないとか、 そういうのがあるってことですよね。

林央開始 2:29:08

そうそう、 そういうテールリスクにその差が響き出すんだったら、 もうやった方がいいので。

有路翔太開始 2:29:14

まあそういうことですよね。まあそれって世界政府とか作ればテールリスクもほとんど排除できるとかないんですかね。

林央開始 2:29:27

でも世界政府が崩壊するというテールリスクが追加されません？

有路翔太開始 2:29:31

あ、 まあそうか。

林央開始 2:29:32

その、 それがそのすごい特殊な過程を導入することによって、 そのそのテールリスクを移してるだけなので。

有路翔太開始 2:29:39

なるほど。

林央開始 2:29:39

それだとそのテールリスクを仮定しないと、 仮定した方が早いですね。

有路翔太開始 2:29:43

はい。まあ、 まあ何はともあれ、 そういうことをいろいろ考えると、 数十年でサチュレートするという。

林央開始 2:29:55

そうですね、10年、20年だと思います。まあできるだけ短くする。そのどれくらいなのかは、 ちょっとその人類のその期間の努力によるというか、 そこの詳細はあまり見積もる意味ないかなと思っているので。

有路翔太開始 2:30:08

なるほど。

林央開始 2:30:09

その停止できた世界線で人類がどう頑張るかで停止してから考えたらいいので、 あんまりその思考エッセイ、 その思考を投じる価値があるわけじゃないなっていう、 その正確なPドゥーム、Pノットドゥームを6.5パーから6.6%に総合でするために、 その思考時間を使うよりは、 その直接何かをしに行った方が実際のPドゥーム下がるので。

有路翔太開始 2:30:32

まあそうですね。

林央開始 2:30:33

そこにそのあまりシンキングが、 シンキングバジェットを使ってないですね。

有路翔太開始 2:30:42

うーん。まあだから、 そうっすね。うーんと。パーセント。なんか。感、 あ、 もうちょっと待ってくださいね。まず50パー、70パー。割とだから、 うん。短い期間に、 この10年以内に、 まあAIができる可能性が結構7割ぐらいあって。で。そのほとんどは開発停止が今んとこできないだろうって想定してってことですよね。

林央開始 2:31:49

何がですか？

有路翔太開始 2:31:51

そのアキ、 アキラさんが、 まあ二千三十五年までにAGIが七十パーセントぐらいできて、 で、 で、 その期間は、 まあ基本的に、 まあほとんど一年以内の開発停止しか挟み込めないっていう。

林央開始 2:32:13

二千七十年にAGIができるケースですか？

有路翔太開始 2:32:16

あ、 二千三十五年まで。

林央開始 2:32:19

ああ、 そうですね。いや、 まあ十年挟み込める確率も、 だから、 ご、 十年、 五年、 五年長さ以上十パーぐらいあるんで。

有路翔太開始 2:32:27

あ、 なるほど。

林央開始 2:32:29

そこはその僕のその、 なんていうか、 そのAGI見積もりじゃなくて、 そのワシントン見積もりなので。

有路翔太開始 2:32:35

なるほど。

林央開始 2:32:36

僕そのAGIピルは飲んでますけど、 ワシントンピルはそんなに飲めてない感じもあるので、 そこはその影響する可能性があります。

有路翔太開始 2:32:42

でももしこの十年の開発停止見積もりとか五十パーぐらいに上がる可能性も結構全然ある。

林央開始 2:32:50

まあその、 それはその、 例えばなんかそのあれですね、 次にバイオバンミトスが出た瞬間に、 そのほぼ全ての会社がバイオバンハッキングフェイズをやらかした場合ですとか、 とかじゃないですか。

有路翔太開始 2:33:00

あ、 なるほど。

林央開始 2:33:01

とか、 例えばなんかその、 本当に規制条約が、 その、 それぞれの議会で話題に上がって、 指導部ももし可決されたら同意するとかって言った瞬間に、 それはものすごい方針なので。

有路翔太開始 2:33:13

なるほど。

林央開始 2:33:14

あれです。まあその考え詰めるだけで五十パーセントなる可能性もありますけど、 ちょっとそれはちょっと、 その意味がないというか。

有路翔太開始 2:33:22

まあ一旦ここは。

林央開始 2:33:24

いや、 そのガバナンスエフォートを仮定した時の、 その、 ガバナンスエフォートの値を正しくする時間を使ってガバナンスエフォートをした方がいいので、 絶対。

有路翔太開始 2:33:36

まあそうですね。まあだからとにかく、 開発を止めなければほぼ確実に人類は滅亡するというところだけは変わらず持っておいて、 ガバナンスエフォートをするってことですよね。

林央開始 2:34:05

そうですね。まあそこはなんかそのモデルは更新してもいいかもしれないですけど、 その、 そこはそんなに意味、 意味、 意味がないタイプのやつかなと。

有路翔太開始 2:34:16

なるほど。

林央開始 2:34:19

そのそこのガバナンスの予想を一パーセント頭の中で引き下げたところで、 その、 実世界では何したらいいかって何も変わらないですし。

有路翔太開始 2:34:33

まあそうですね。

林央開始 2:34:36

技術的な方じゃないですか、 基本的に。

有路翔太開始 2:34:43

まあだから、 どっちかというと一番の論点はここですね。アラインメント成功確率が。

林央開始 2:34:49

そうですよね。

有路翔太開始 2:34:50

どこまであるのかみたいな。

林央開始 2:34:51

そうですね。まああとタイムラインですよね。多分そのバイオさんのタイムラインはAGIと、 そのASIでやってますけど、 うん、 その正確にやるんだったらそのヒューマニティエンディングAIでやるべきなんで。

有路翔太開始 2:35:04

まあそうですね、 ヒューマニティエンディングAIだと。まあAGI前後のイメージで。まあでもタイムラインは、 あれかな。まあ、 あ、 まあそうですね。だからアキラさんだとタイムラインが別に遅くなっても、 まあ。まあそこまで遅くなるっていうのも考えてないぞと、 まあ考えてないんですけどね。二千四十五年、 例えば二千四十五年にAGIが開発されるとするじゃないですか。で、 そうすると多分今が二十年ぐらい余裕があるじゃないですか、 なんか。

林央開始 2:35:51

そうですね。

有路翔太開始 2:35:53

で、 その二十年ぐらい余裕があると、 二十年ぐらい開発停止してることと同じぐらいのアラインメント研究のエフォートは、 まあ避けるかもしれないですよね。

林央開始 2:36:05

避けるかもしれないですけど、 その、 それは、 あの、 おそらく、 そのちゃんとコアプロブレムに人材が増えるのかとかいう。

有路翔太開始 2:36:13

あ、 なるほど。

林央開始 2:36:13

そこでその、 そこに、 そこに相関していて。

有路翔太開始 2:36:16

はいはいはい。

林央開始 2:36:17

長く止まる世界っていうのは、 そのコアプロブレムの重要性が認識されている世界。なので、 そのコアプログラムにいろんな人が投じられて、 資源も投じられる世界を、 あら - 表してる、 に対応してるわけですよ。

有路翔太開始 2:36:29

まあそうですね。

林央開始 2:36:31

ただタイムラインが長いだけの世界だったら、 そのアラインメント研究が加速しているっていっても、 その表面的なアラインメント問題にいっぱい人材が今みたいに突っ込まれることになるので。

有路翔太開始 2:36:41

な、 なるほど。だから単にAGIタイムラインが長いっていうだけだと、 まああまりコアプロブレムに、 なんかエフォートが投入されてない可能性も結構あるから。

林央開始 2:36:54

そうそうですね。そのコアプロブレムに投じられるエフォートとタレントみたいな全てというか、 まあ全てじゃないですけど、 重要じゃないですか。

有路翔太開始 2:37:04

まあそうですね。

林央開始 2:37:09

そこですよね。そこが、 その、 タイムラインがただ長いだけだったら、 そのみんながコアプロブレムじゃないところにいっぱいアプローチしてくだけになるので。それはそのスピードもあまり下げてくんないですね。

有路翔太開始 2:37:21

なるほど。まあだけど、 まあオーバーオールとしては下がるってことですね、 一応。

林央開始 2:37:28

もちろん下がりますけど。その、 なのでその総合でそんなにすごい下げてくるわけではないです。で、 バイオさんもその引き下げるべきだと思いますね。

有路翔太開始 2:37:38

ああ、 この -

林央開始 2:37:38

多分バイオ、 バイオさん、 ちょっと全体的に、 そのアラインメント成功率を多分修正した方がいいと思いますね、 今。

有路翔太開始 2:37:46

おー、 すげえ。ないね。ないよ。うーん。

林央開始 2:38:20

しばゆーさん、 ちょっと一旦あ、 値を書き直してみてくれますか？総合で。これを経て。

有路翔太開始 2:38:29

そうっすね。

林央開始 2:38:32

ちょっとその間に僕は大谷やってきます。

有路翔太開始 2:39:13

えーっと。なんか薄いな、 字が。うん。

林央開始 2:41:20

iPadの使い方に苦戦してますか？

有路翔太開始 2:41:23

あ、 そう。ちょっとまだ、 そう、 考えてなかった論点として。

林央開始 2:41:29

はい。

有路翔太開始 2:41:31

なんていうんですかね、 もう今日、 今日AGIの、 なんだろうな、 コントロールみたいな、 ので、 ま、 な - なんらかの欺瞞とかハッキングとか、 うん、 っていう振る舞いが見られた後に、 開発停止期間がこう、 まあ大幅に延びるシナリオみたいな。

林央開始 2:42:05

それはそのさっき僕が言ったやつじゃないですか。

林央開始 2:42:13

五番どこに、 どこにあります？

林央開始 2:42:33

どう？もう一回言ってもらっていいですか？

有路翔太開始 2:42:36

あのー、 一、 二、 三、 四ってあるじゃないですか。

林央開始 2:42:39

ああ、 そう、 ありますね。

有路翔太開始 2:42:42

この四の下の四角。

有路翔太開始 2:42:54

あれ？

林央開始 2:42:54

緑色の、 薄い緑色で五って書いてあります。

有路翔太開始 2:42:59

ちょっと。反映されてないだけかもしれないですね。

林央開始 2:43:13

そうだと思いますね。

有路翔太開始 2:43:20

まあいいや。ここに、 まあ今日AGIのコントロールみたいなのも書いたんですけど、 つまり、 まあこのままいくと数ヶ月の開発停止以後、 まあ四ヶ月目ぐらいにこう超知能に行っちゃうわけじゃないですか。

林央開始 2:43:40

そうですね。

有路翔太開始 2:43:41

だから、 まあなんですけど、 こ - このどこかで、 なんか、 なんですかね、 今回のなんかハギングフェイスのハッキングみたいなことを検知して、 あ、 これは結構アドバーサルにmisalignmentしてるっていうことに気づいて、 で、 か、 そのすごいその開発停止っていうのが期間っていうのはなんかすごい大幅に伸びる可能性みたいな。

林央開始 2:44:12

それはさっき言及しませんでしたっけ？最初に自分の方が言及したんですよ。その四ヶ月って数ヶ月ってシナリオだったらあれだけど、 数ヶ月でやってみてやらかす可能性はあるって言いませんでしたっけ？

有路翔太開始 2:44:30

あ、 で、 それでどうなったんでしたっけ？その議論は。

林央開始 2:44:33

いや、 まあそれはそうだねで終わりましたね。

有路翔太開始 2:44:36

ああ、 なるほど。

林央開始 2:44:38

それはわからないですよね、 純粋に。あの、 次デセプションが出てきたら敗北しますし。

有路翔太開始 2:44:44

あ、 なるほど。

林央開始 2:44:46

そのむしろ今次打つ手の強さによると思いますね。

有路翔太開始 2:44:52

なるほど。まあ。その。なんで反映されないの？

林央開始 2:45:04

そうですね。五の、 五の上の線が一本消えましたよ。だからそもそも今コントロールの話は何もしてなくないですか？そのもともとバイオさんのPDPの例もかなりはコントロールによって創設されたと思ったんですけど。

有路翔太開始 2:45:23

あ、 そうですね。だからコントロール。

林央開始 2:45:27

一旦一回先に修正、 いろいろ値を修正してPDM算出してもらって、 その後またコントロール議論をしますか。

有路翔太開始 2:45:35

あ、 でもそのコントロールのそのあれが。

林央開始 2:45:41

これ僕理解してないですけど、 そのバイオさんのモデルだとコントロールがなぜか精度率を下げてるんですけど。

有路翔太開始 2:45:48

まあそうですね。でも一回この数ヶ月前よりは結構そのコントロールへの見積もりは下がってるんですけど。

林央開始 2:45:57

そうなんですけど、 じゃなくて、 そのコントロール項のそのPDーム全体の起用の方式がおかしくないですか？

有路翔太開始 2:46:03

あーっとどこでしたっけ？あ、 この読み方。

林央開始 2:46:06

コントロール、 こ - こ - コントロール調整かける零点九みたいななってますけど。これってまたアラインメントに成功するシナリオの話じゃないですか。アラインメントが成功するシナリオに零点九をかけるとか、 コントロールのせいでアラインメントが十パー失敗してません？

有路翔太開始 2:46:20

ああ、 ここは、 えー、 なんだっけな。あ、 だからこれはあれか。あの、 小弱AGIが人類を滅ぼす可能性を入れたっていうところですね。なんか。

林央開始 2:46:35

ああ、 なるほどなるほど。が九十パーセーブできると。でも弱AGIにあれ解いてもらう話じゃなかったんですか？

有路翔太開始 2:46:41

あ、 そうそう。だからアラインメント解ける可能性がまず二十パーセントありますと。弱。

林央開始 2:46:47

でもバイオさん、 ああ、 えっと、 弱AGIがアドバーサリアにミスられるのが世界線ってことですか？

有路翔太開始 2:46:53

あ、 まあ、 あの。

林央開始 2:46:56

え、 多分そう、 そうなんです。多分零点九の使い方がおかしくないですか？むしろアラインメントができてない世界線に対して適用するやつじゃないんですか？

有路翔太開始 2:47:04

えーと、 できてない。

林央開始 2:47:07

え、 そのアラインメントが成功する世界線に零点九かけると、 そのアラインメントが成功してるけど、 コントロールのせいで成功率が十パーセント減ることになるので。それは多分そのモデルに致命的な計算ミスがあると思いますね。

有路翔太開始 2:47:22

まあそうですね。だからそこは、 だから、 アライメン、 なんかそのアドバーサルな。あ、 まあだからちょっとここがミスってますね。だから。うーんと。アラインメントの成功確率が九十。あ、 まあだから弱AGIが、 まあミスアラインメントしていて、 かつコントロールが不可能になって、 人類を滅ぼす可能性がまあ十パーセントあるって考えて。で、 それ以外の可能性が零点九でかかってるって感じですかね。

林央開始 2:48:08

もう一回言ってもらえますか？

有路翔太開始 2:48:10

まあつまり弱AGIが、 まあ、 えーと、 人類を滅ぼす可能性っていうのがまあ十パーセントあって。まあつまりコントロールを、 なんだかんだ、 今回のミトスの事件みたいに、 ミトスっていうのはオープンエアのハッキング事件みたいにコントロールできなくなる可能性を十パーセントとして見てて。

林央開始 2:48:40

え、 え、 え、 十パーセント？

有路翔太開始 2:48:44

まあそう。

林央開始 2:48:44

コントロール、 こんと、 コントロールできなくなる確率が十パーセントですか？

有路翔太開始 2:48:48

そうですね。

林央開始 2:48:51

え、 ああ、 ああ、 わかりました。

有路翔太開始 2:48:55

で、 もう十、 まあだから、 まあここはすごい粗いですね。十パーセントでコントロールができなくて、 で、 そのまま人類が滅亡するっていう風に考えてたんですけど。で、 まあでもちょっとこれが、 だから、 じゃ - 弱AGIの話なんですよね、 これは。だからその、 今日、 今日AGIの、 えっと、 話は、 あんま、 あんまりコントロールについてね、 かん - 考えられてないんですよ、 このモデルって。

林央開始 2:49:29

そうですね。コントロールの項目がおかしいというか。なるほど。じゃあこれでアラインメントブーストトラップできるかって話は、 本来この小計の次のステップだったってことですか？

有路翔太開始 2:49:40

そう。あ、 いや、 違いますね。これは、 えっと、 アラインメントが成功っていうのが、 まあつまりブーストトラップが成功するって意味なので。

林央開始 2:49:55

そうですよね。

有路翔太開始 2:49:56

で。

林央開始 2:49:58

だ - だ - だとすると、 その世界線でコントロールいらなくないですか？

有路翔太開始 2:50:01

まあいらないんですけど、 その手前、 手前でなんかミスってる可能性ってことですね。なので、 そこまでで掛け算としては最初にあるんですよね。このコントロール失敗っていうのが。

林央開始 2:50:15

え、 それってあれじゃないですか、 あの、 ほぼないんじゃないですか？

有路翔太開始 2:50:21

まああんまりないと思うんで、 ここの方は。

林央開始 2:50:24

バイオさんのシナリオって弱AGIで解決するシナリオが一番多くないですか？

有路翔太開始 2:50:29

まあそうですね。

林央開始 2:50:30

世界線って。そうするとコントロールいらなくないですか？要するにその弱AGIで解決できる世界線しか残ってないんだったら、 弱AGIでアラインメントできてる世界線しか残ってないので。

有路翔太開始 2:50:44

まあそうですね。なので弱AGIがアラインメントされてない世界線をここに書いてるってことなんですけど。

林央開始 2:50:51

じゃあそのモデルへの多分値の適用がおかしいと思いますね。

有路翔太開始 2:50:57

えーと、 あ、 だからその最後に掛けるのは間違ってますね。だからこれ。その、 本来は何ですかね、 最初に何だろうな。まずはアラインメントできてるかできてないかっていうことですよね、 弱AGIが。

林央開始 2:51:16

そうですね。

有路翔太開始 2:51:17

だからそこを、 だからこの、 このダイアグラムでいうと、 この前に書く必要があるんですよ。まあだけどなんかまあ、 もう、 あんまり重要じゃないかもしれないですね。ここは。ほとんど成功するって考えているので。

林央開始 2:51:35

そのコントロールが、 あ、 そう、 ああ、 なるほどなるほど。え、 でももともとアドバーサリーありミスアラインドな可能性のところが多いんじゃないですか？コントロールが必要なとこって。

有路翔太開始 2:51:44

まあそうですね。だからそこ。

林央開始 2:51:47

その今更新されたバイオさんのモデルだと、 その数ヶ月の開発停止で息のアラインメントがブートストラップされる世界の、 ほぼ全ては弱いAGIによってアラインメントがブートストラップで解決されてるわけじゃないですか。

有路翔太開始 2:51:58

ああ、 そうですね。

林央開始 2:51:59

だとすると、 アドバーサリーにミスアラインドな弱AGIがいるっておかしいので。

有路翔太開始 2:52:06

あ、 そうですね。だから。

林央開始 2:52:08

コントロール全く関係ないですよね。

有路翔太開始 2:52:10

そうですね。だから、 だから本来は、 あの、 そ、 その弱AGIが暴走するっていうのが、 その、 この前にあるんですよね、 そのシナリオとして。なんか、 だからそこを書いてないので、 あの、 ちょっとおかしくなってるとこですね、 最後。

林央開始 2:52:29

やっぱそうですね。

有路翔太開始 2:52:30

ここにこう、 だからこのコントロール調整っていうのを、 ここで掛け算してるのがおかしいですね、 だから。本当は手前でやんなきゃいけないことですね。

林央開始 2:52:40

そのコントロールがPドゥームを減らす世界っていうのは、 どこに、 その、 このモデルだとどこにあるんですか？

有路翔太開始 2:52:46

このモデル。

林央開始 2:52:46

コントロールっていう概念が存在しない世界でも、 その、 このモデルだと影響しなそうですけど、 コントロールが概念存在しないのはさすがに良くないと。

有路翔太開始 2:52:55

まあ、 なんていうか。どっちかっていうと、 だからその、 えっと、 本来は、 まあこの数ヶ月の開発停止とかで、 うん、 まあ敵対的な振る舞いを、 まあ検知するってとこですかね、 コントロールとしてできてるってところは。で、 検知した後に、 つまりこの開発の停止期間が延びるっていうところで、 まあ本当は反映したかったんですけど。まあつまり、 まあそれを入れる前にちょっと晃さんに渡しちゃったんで、 これを。

林央開始 2:53:38

なるほど。

有路翔太開始 2:53:39

だからコントロールのあれが入ってないですね、 ここは。あれ。

林央開始 2:53:42

なるほど。

有路翔太開始 2:53:43

本来は、 まあ実質的にこの開発停止期間があるじゃないですか。四六ヶ月、 一年、 三年、 五年、 十年。

林央開始 2:53:50

そうですね。

有路翔太開始 2:53:51

この確率、 だからほんと本来は確率がもうちょい下に下がる、 下に、 つまり、 えっと、 遅くなる方向に行くって感じですかね。開発停止期間が長くなる確率が高くなるって感じですかね、 コントロール項が入ると。

林央開始 2:54:12

なるほど。

有路翔太開始 2:54:13

それはなぜかっていうと、 まあ、 まあ、 あの、 強、 強いAGIがなんか変な敵対的な行動してるのを発見する確率が高くなり、 その結果、 開発停止期間も長くなる可能性が高く、 高くなるっていう感じですかね。

林央開始 2:54:29

なるほどなるほど。それは確かにありますね。それはでもそれに九十パー、 そのアドバーサリーミサランドの世界線で九十パーセント見たってこと。

有路翔太開始 2:54:43

えーと、 だからそれはまだ入れてないんですけど、 このモデルに。

林央開始 2:54:49

そのバヤさんのここで言ってるそのアライン、 コントロール成功の九十パーセントっていうのは何を意味しているんですか？

有路翔太開始 2:54:56

ああ、 これは、 なんか、 えっと、 じゃ、 弱AGIの話で、 ああ、 あの、 コントロールの想定ってのをちょっと書いたんですけど、 ここに。まあ、 だからその弱AGIが、 まあ、 なんだろうな。を、 まあコントロールできる可能性の十パーセント程度って置いて、 まあまあこれは実際期間とかいろいろ考えなきゃいけないですけど、 まあ一旦適当に十パーと置いているんですよね。敵対的にミスアラインメントされたAGI、 つまりこれは強いAGIですけど、 この話で。

林央開始 2:55:39

敵対的にミスアラインドな弱いAGIではなくて。

有路翔太開始 2:55:42

あ、 そうですね、 強い。

林央開始 2:55:43

適度な弱い。いやいや、 じゃなくて、 その九十パー成功するっていうのは、 その強い、 弱いAGIがアドバーサリーありミスアラインドなんじゃなくて、 弱いAGIってだけってことですか？

有路翔太開始 2:55:56

あ、 えっと、 弱いAGIがアドバーサリーミスアラインとだった場合。

林央開始 2:56:01

な時に九十パー成功するんですか？

有路翔太開始 2:56:05

ああ、 まあそういうことですね。

林央開始 2:56:07

なるほどなるほど。だったらちょっとそこについてまた戻ってきましょう。

有路翔太開始 2:56:11

で、 強いAGIだと五十パーで成功して。

林央開始 2:56:15

ほう。

有路翔太開始 2:56:16

で、 超知能なら90%以上で成功するっていう。

林央開始 2:56:21

え、 超知能なら90%失敗するってことですか？

有路翔太開始 2:56:25

90%で成、 成、 えっと、 超知能なら。

林央開始 2:56:29

出すと。

有路翔太開始 2:56:30

成功突破するっていう。

林央開始 2:56:33

あ、 なるほどなるほど。弱AIは10%しか成功しない。

有路翔太開始 2:56:36

あ、 そう。

林央開始 2:56:37

あ、 なるほどなるほど。それは後で詰めたいです。

有路翔太開始 2:56:43

で、 でまあもしこれで、 なんでしょうかね、 多分弱AGIが10%で。っていうかまああれか。まあそのコントロールの封じ込めを突破できなかったら、 まあある程度検知できる可能性もあるんで。で、 そこで政策のオーバーとウィンドが上がって、 さらに開発の停止期間が延びるっていう風にモデルで入れようとしたんですけど。

林央開始 2:57:15

なるほど。つまりそのコントロールができ続けるっていうよりは、 検知ができるってことですか？

有路翔太開始 2:57:21

検知。

林央開始 2:57:22

オーバーとウィンドウ動かして、 既定に動かすほど。

有路翔太開始 2:57:25