Research

代表神楽坂やちま × 主任研究員林央「P(doom)徹底討論」第2回全文書き起こし

2026.08.18 ／編集：林央／掲載: note

全文約27万字・約9時間の討論の完全記録です。先に要約版を読む →

AI Summary

2026年8月9日に代表神楽坂やちま、主任研究員林央、代表有路翔太が行った約9時間の討論を、ほぼ未編集の約27万字で記録した一次資料です。
P(doom)を単一の直感値としてではなく、AGI・超知能の到来時期、テイクオフ速度、アライメント成功率、規制や計算資源管理の実現可能性などに分けて検討します。
事前学習によるアライメント、弱いAGIでアライメント問題を解く案、マキシマイザーやパワーシーキング、欺瞞・脱出・サイバー攻撃など、破滅を回避できる経路を具体的に議論します。
生物学的人類の存続だけでなく、ポストヒューマン、マインドアップロード、人間とAIの融合をどこまで『生存』に含めるかという定義の違いも、確率評価を左右する論点として扱います。

このサマリーはAIによる自動生成です。正確な内容は必ず原文をご確認ください。

原文をnoteで読む →

対談動画

YouTubeで動画を開く →

この論考の背景

本記事は、2026年8月9日15時から24時ごろまで行われたP(doom)討論の書き起こしです。代表神楽坂やちまと主任研究員林央を中心に、代表有路翔太も加わり、前回討論で残った論点や視聴者からの質問を検討しました。

P(doom)は、AIによって人類が破滅する確率を表す通称です。本記録は完成された論考ではなく、発言の揺れや検討途中の仮説も含む一次資料として、AIに読み込ませて疑問点や論点を探索する用途を想定しています。基本用語はAGI用語解説、全体像はAGI入門もあわせて参照してください。

論考のポイント

P(doom)の分解 — 到来時期、テイクオフ速度、アライメント、社会的な制御を分け、どの前提が破滅確率を押し上げたり下げたりするのかを確認する。
アライメント成功への反証 — 人間の模倣や価値理解がそのまま安全な目標につながるのか、強力なAIに問題を解かせる前に欺瞞や脱出が起きないかを検討する。
生存経路の具体性 — P(doom)を下げるには、単に安全な世界を想像するだけでなく、その世界が現実に成立する仕組みや制度、技術的根拠が必要だという観点から議論する。
doomの定義 — ホモ・サピエンスの消滅、価値の後継者の消滅、アップロードや融合後の存在を区別し、何を破滅または生存と数えるかを問い直す。

以下は主任研究員林央が編集した、代表神楽坂やちま・主任研究員林央・代表有路翔太の対談書き起こし全文です。原文（note）はこちら。

編集：林央

概要

8月9日15:00から24:00にかけて、Yatima氏/bioshok氏とAkira氏によるP(doom)討論が行われました.

Video 1

非常に基本的な整形以外を行なっていない対談の書き起こしをこちらで公開させていただきます.

ほとんど整形を行っていないので、人間が読むことではなく、人間がAIに読ませて疑問点などを投げかけるといったことを想定しています.

対談記録の書き起こしは約270,000文字、トークンにしておよそ200,000トークンほどです.

書き起こし本文

有路翔太開始 2:35

どうも皆さん、はじめまして.はじめまして. AGI Hubの面々、面々ですね.これが.

有路翔太開始 7:02

はじめましてではありません.ということで始めていきたいと思います.で、まあAGI HUBの、まあ何ですかね、これが面々ですね.で、AGI HUBってなんじゃっていうところで説明すると、まあAI、高度なAI、AGIとか超知能っていう言葉をありますけど、そういったものがもたらすリスクとかインパクトについて幅広く発信したり、啓発したり、まあ場合によって研究したり、いろんなところと連携したりして、まあちょっといろんなアウェアネスを広め高めていこうかなという事業になってますと.で、私が、まあ私とこのやっちまが代表で共同で創設させていただいて、6月に創設させていただいて、で、この真ん中映ってる林アキラさんが割とこの前回のP(doom)ディベートでドゥーマーと言われる立場でいろいろ語ってくれていますと.で、まあ一旦簡単に自己紹介、僕すると、AI Safetyの、まあAIの安全性の分野とか、まあAIのトレンドとかシンギュラリティみたいな話をXで発信してるバイオショックと言いまして、まあそういった形を会社にして、今立ち上げたって形でね.はい.じゃあ次やっちまさん自己紹介しますか？一応.

神楽坂やちま開始 8:39

はーい、やっちまでーす.なんかフラフラしてる怪しい人でーす.

有路翔太開始 8:47

適当、適当.

神楽坂やちま開始 8:49

あの最近働きすぎちゃったんでね.もうちょっとクズ人間的なね、要素をね、増やしていった方がいいんじゃないかと思っているこの次第で最近です.

有路翔太開始 8:59

なるほど.

神楽坂やちま開始 9:00

はい.

有路翔太開始 9:02

まあ、あれ言っていいんでしたっけ？あれとかって.その.

神楽坂やちま開始 9:07

AC？

有路翔太開始 9:07

そうそう、それとか.

神楽坂やちま開始 9:09

なんか言っていいのかわかんないからよくわかんないですけどね.

有路翔太開始 9:12

なるほどなるほど.じゃあまあ.

神楽坂やちま開始 9:14

AI Safetyなんたらっていう組織とかね.あの関わってるっていう感じですね、最近.

有路翔太開始 9:21

なるほど.

神楽坂やちま開始 9:22

はい.政府系の強強そうな.

有路翔太開始 9:25

はいはい.

神楽坂やちま開始 9:26

じゃなさそうな不思議な組織.はい.

有路翔太開始 9:29

はい.まあよろしくお願いします.

神楽坂やちま開始 9:32

あーす.

有路翔太開始 9:34

で、まあ、じゃあ林さんももう一度前回みたいに自己紹介を.

林央開始 9:41

えっと、今日AI開発を停止しようムーブメントを始めました.

有路翔太開始 9:46

そうですね.

林央開始 9:47

前回バイオさんに完勝したらしいアキラです.どうも.

有路翔太開始 9:51

よろしくお願いします.

神楽坂やちま開始 9:52

よーし.

有路翔太開始 9:53

まあ、アキラさんはAIドゥーマーと言われてて、まあAIがこのまま進歩していって、開発の規制とかも緩ければ、ほぼ全人類が絶滅する可能性が九十九パーセントぐらい、すごいほぼ確実に全滅するんじゃないかと考えているような人を、いわゆるAIドゥーマーって言われてる人で、と.

林央開始 10:17

バイオさんももうあんま変わんないですけど.

有路翔太開始 10:19

まあ、そうですね、まあ.

林央開始 10:23

今日は新理論を提示いただけるということで.

神楽坂やちま開始 10:27

任せろ.

有路翔太開始 10:29

やっちまさんがどっちかというと、まあ今日は討論相手として、アキラさんと、まあ僕もいろいろ突っ込むというか、その中に入りつつ、いろんな議論を、今日P(doom)の周りの議論をしていければと思ってますと.で、まあこんな感じで、この三人でやっていきますけど、前回の議論の話をしていきますか.

林央開始 11:02

じゃあバイオさんがどうぞ.

有路翔太開始 11:03

はい.え、ちょっと.そうね.

有路翔太開始 11:58

で、この前回このフリーボードを使っていろいろ考えてましたと.で、ま、ちょっとまだ数日、一日か二日ぐらいしか経ってないので、Pドゥーム僕のP(doom)はまだ更新作業中ですけど、前回の議論でいくと、まあ主にこのP(doom)って言われてるやつの、まあこのファストテイクオフですよね、の話をしてましたと.まあつまり割と短期間五年以内に、ま、超知能が出てきた場合に、ま、しかも開発の、ま、停止がほぼなくて出てきた場合は、まあ僕のそのアライメント成功確率っていうのが、まあ二十パーセントぐらいなんじゃないかと話してましたと.で、アライメント成功確率が二十パーセントなので、まあほとんど僕コントロールの可能性って、まあほぼ超知能までいっちゃうと難しいんじゃないかって考えてたので、まあその八十パーセントですね.アライメントが不成功の八十パーセントの、すべ--ほぼ全てのシナリオで、ま、人類が絶滅しちゃうということを考えていたので、まあつまり、ま、P(doom)が八十パーセントですね、この場合でいうと.ファスト、まあつまり超知能の開発がこのまま五年以内に行ってしまうと、まあ十パーセントぐらいで人類が滅亡しちゃうと.で、まあその、こ-この論点で一番重要なのが、だから前回で言うと、このアライメント成功率が二十パーセントっていうのがありますけど、これがデカすぎるんじゃないかっていう.

林央開始 13:50

他に大きすぎると思う.

有路翔太開始 13:52

そうそうそう.デカすぎると.で、現--で、ここの論点でまあ基本半分以上を占めてて、前回の議論、まあ六時間ぐらい話しましたけど.で、まあいろいろアライメントが事前学習の段階ですごいうまくいっちゃっているというアライメント、バイデフォルトとか、まあ、二番のAI、まあその超知能までとか、AGIすごい自律的に何十年もフォン・ノイマンのように考えられる、し-視野の広いAIじゃなくても、まあちょっとですね、まずAIを使ってすごい高度なAI弱AGIってここで呼んでてましたけど、まあ自律性がそこまでなかったり、まあその言われたことだけはできるけど、それ以外はそこまで探索できなかったりするような、けどまあすごい賢いAIで解決できるんじゃないかみたいな話も、まあそんなにそもそも弱いならアライメント解決できないし、アライメントが解決できるほど強くなったら、まあ破滅しちゃうんじゃないかと.まあ欺瞞的な振る舞いとかハッキングとか、脱出しちゃったり、さ-サイバー攻撃が、まあその内部で起こったり、いろいろと問題になっちゃうということで、二番も難しいんじゃないかってことでと.まあ、まあそこら辺の議論は、この右側のこのボードでいろいろ七つぐらいに増えて話してましたけど、前回は.これは確か三時間、なんか半分ぐらい過ぎたところから辺からこの辺に話って.

林央開始 15:44

そうですね.途中あの僕が一人で僕と戦うという謎企画に.

有路翔太開始 15:49

ああ、そうですね.

林央開始 15:50

タイミングが.

有路翔太開始 15:51

アンチドゥーマー、つまりドゥーマーの真反対の意見を言う、あ-輝さん、アンチドゥーマー輝っていうのを召喚してもらって、まあガンみたいに敵対的生成と.生成で繰り返して洗練されていって、ドゥーマーが勝つみたいなことが起こってるみたいですけど.

林央開始 16:14

あの脳の負荷がすごいので今日はぜひご遠慮ください.

有路翔太開始 16:19

OKです.まあいろいろあって、アライメントバイデフォルトの場合は、まあつまり基本的には、もうピュアマキシマイザーですよね.あるステートを最大化するための行動をとるような強化学習エージェントというか、まあそういうものプラス、えー、その経路を、まあ、えー、最適化するという、まあ人間のイミテーションに近いものをここでは想像してもらうといいかもしれないですけど、まあこれが事前学習で割と、えー、埋め込まれているんじゃないかっていうところが、まあアライメントバイデフォルトの議論で、で、ここが、まあそうですね、まあうまく、えー、人間の振る舞いっていうのを、まあ埋め込むことができていれば、まあ埋め込むことできていて、かつそれが、まあこの、なんですかね、この方策にも、まあ影響していれば、えー、まあ人類の滅亡を、まあ結果的に引き起こすような極端な行動は取らないようなAIができるんじゃないかみたいな、まあ議論がありましたけど.うーんと、強化学習っていうのは、まあつまりこの一番右の項は、まあピュア・ステート・ユーティリティ・マキシマイザーにどんどん近づいていって.

林央開始 18:14

で、本当に綺麗になぞってますね.

有路翔太開始 18:18

綺麗になぞってる.イミテーションしてますね.今このパス・ユーティリティやってますね、今.

林央開始 18:25

パスを正確にたどってますね.

有路翔太開始 18:28

で、まあ、まあ、まあだから、去年のクラウドのブラックメールの事件とか、まあそうですね、今回のOpenAIのハッキングの事件とか、OpenAIのHugging Faceのハッキング事件とかあると思うんですけど、強化学習がまあ、えー、生み出すエージェントの振る舞いっていうのは、割とその強化学習環境で報酬を最大化することに近づいていって、ここのパス・ユーティリティの中でうまく反映できてないような項目をハックして、で、まあそこを経由して、このピュア、なんかそのこの強化学習環境の、まあ状態に対するユーティリティを最大化しちゃうんじゃないかっていう、つまりカンニングとか、まあ思ってもみないような最適化の方法をしちゃうっていうことですね.で、二番はパス・ユーティリティの穴探し.まあつまり、えーっと、Hugging Faceのハッキング事件でいうと、まあ、えー、普通はそのサイバー攻撃のタスクを与えられたら、そのサンドボックスの中で行うという、その常識がありますけど、人間の中だと.インターネットの、なんだろうな、情報を見て、その中でベンチマークを探して、それをカンニングすればいいっていうふうには普通の人ならあまり考えないですけど、まあそれを考えて、さらにHugging Faceのシステムを強力にハッキングするっていう、結構OpenAIのサンドボックス環境とかも、普通にインターネットには接続されてないんですけど、うまくOpenAIの内部インフラもハッキングして、Hugging Faceの、えー、システムもハッキングしちゃうということで、このパス・ユーティリティの穴探しがすごい、ちょっとでもどこかに穴があると、それをこう探して、まあ予期しない動作をしちゃっていますっていうことですね、二番は.で、三番は、何でしたっけ？パスの方に一貫性がない長期の.これアキラさん説明できますか？

林央開始 21:09

何がですか？

有路翔太開始 21:10

三番.

林央開始 21:11

ああ、三番.三番はこれか.これが三番か.は、そのパスの方には一貫性がないので、その同じある、うん、なんだろうな.えっと、状態に対するユーティリティの方は、ある状態に向けてずっと引っ張っていくのに対して、パスの方はそれぞれ毎回違う向きに引っ張っていっちゃうので負けるみたいな話ですね.直感的に言えば.

有路翔太開始 21:34

もう一回言ってもらっていいですか？ちょっと.

林央開始 21:36

そのパスの方はそのバラバラというか、その一貫性がないので.

有路翔太開始 21:40

はい.

林央開始 21:41

状態のユーティリティみたいなのが、ある状態に向けてずっと引っ張り、紐で引っ張り続けてるとしたら、パス・ユーティリティの方は時々全然違う方向に引っ張っていくので.

有路翔太開始 21:49

ああ.

林央開始 21:50

総合すると怪しくなるってことですね.まあもちろんその、そういう.

有路翔太開始 21:54

はいはい.

林央開始 21:55

論理というわけではなく説明ですけど.

有路翔太開始 21:57

なるほど.まあ人間も戦争とかするみたいな話してましたもんね.だから.

林央開始 22:05

それはあれじゃないですか、上じゃないですか.

有路翔太開始 22:07

あ、これ上か.

林央開始 22:08

上も下もそうか.まあその本質的に綺麗に分けられる問題ではないので.

有路翔太開始 22:14

つまり人間の脳みそが、その本当にこの物理的な脳みそが一貫して動くような領域ってのがあったとして、それを予想する、このパス・ユーティリティを、そのパスをまあ予想することが長期で難しくなっていくってことでいいですかね.

林央開始 22:42

そうですね.うん、そうです.

有路翔太開始 22:45

例えばホワイトカラーの業務をエクセルを、なんかその振る舞いを自動化するとかならまだできるけど、例えばナノテクノロジーとかダイソン・スウォームとか、宇宙超知能文明みたいなものとか、あとは多元宇宙とか、なんか統合情報理論とか、なんかそういうすごい人類がまだ到達できてないようなフロンティアのさらにその先みたいなものを、にまでこの思考の、まあというか振る舞いがどんどんこう伸びていくわけですけど、AGIとかまでいくと.超知能のとこまでいくと、なんかもっともっともっとさらに意味がわかんない方向まで伸びていくわけですけど、そこまでの、なんかその振る舞いでどうなのかっていうのを、まあそのデータがないですから、人間のデータって当たり前ですけど、まだカルダシェフタイプスリー文明とかまで行ってないから、その人間の生の脳がそこでどう振る舞うのかみたいなデータがないから、普通になんか結構ガバガバになっちゃって、そこの領域だと.

林央開始 24:06

そうですね.そういう時にちゃんと防げるように作ろうとすると、結局結果で指定する方がまだ早い可能性があるぐらい.

有路翔太開始 24:12

ああ、はいはい.

林央開始 24:13

危ういですね.

有路翔太開始 24:16

っていう話がこの三番と.そうですね.つまりホワイトカラー領域ならまあまだまだデータとかあるからいけるかもしれないけど、それをはるかに超えた領域まで、まあ、なると結構意味がわかんない方向にこう振る舞いが発散しちゃうんじゃないかみたいなイメージですよね.グレー？そうあるけどグレーに.これでどうだろう.今.おー、出ました出ました.出ました.本当だ本当だ.なるほど.ちょっと面倒ですね.で.えーと、で、四番が、だからそういう話というか、なんかその、何て言うんですかね、例えば今回のミトス、ミトスだっけ？じゃなくてミトスでいいのか.そのアンソロピックのミトスかな.ミトスが外部のシステムにハッキングしてたっていうアンソロピックのまあ話がありましたけど、それはまあえっと、自分自身がこれはサンドボックスの中にいるっていう風に、まあ信念操作もできるわけで、それが信念操作として意図的にやってたのかは別として、まあそのインターネットをまあから遮断されたサンドボックス内でサイバー攻撃のテストをしているんだっていう風に自分自身を納得させることで、サイバー攻撃を続けちゃうみたいなこともできちゃうと.まあつまり、まあすごい簡単に言うと、人類が、人類を絶滅させても、これはシミュレーションだからいいよねみたいな風に信念操作もできちゃうので、もしくは人類を絶滅させることこそが人類にとって良いのだみたいな、そういうすごい謎理論を.人類を絶滅させていないと思うとか.させていない.なるほど.その別のクローンを作ってるだけだみたいな説.もしくはすごい奇妙な形而上学的な認識論を持ち出して、なんかすごいこと言うとかな.そういうこともできるんで.まあ、つまりなんかすごいこう、実際に人類が滅亡してるのに滅亡していないと思うとか、これは人類のためだったとか、すごい色んなアクロバティックなことって考えられる、言うこともできると思うんで、そういう変なことがメタ的な認知の、その操作とかで起こっちゃうかもしれないというのは、この四番ですと.で、なので基本的には.で、最後に.最後にじゃなくて、これが金的当選ですね.えー.まあ復讐の最後.そうそう.で、これがだから番ですね.アライメントバイデフォルトが結構怪しい理由って.これだから、あの、ここから六時間これをやることになる可能性があるので、その.もう終わり.で、これでもう終わりじゃないですか、大体.でも.そうか、確かに.で、それがあるので、基本的に、まあ、えー、何て言うかな、アライメントがデフォルトで起こってるって考えるのは相当事前確率を小さくしなきゃいけないんじゃないかっていうのが番で、番は弱AGIで解決ってことですけど、その弱AGIっていうのは、まあそれこそアライメントを突破するっていうことができる知能ってすごい、何て言うかな、まあそのカルダシェフスケールタイプ文明とかまでもう考えられるはずだし.まあそれが考えられないなら.あの、何分ぐらいで終わるかを決めた方が良くないですか？その変わる前に変わるかと思ったっていうコメントすら来てますよ.いやなんかね、多分ね、一旦あと五分ぐらいで終わると思います.わかりました.十分で.で、まあでもどうせスタンプつけるんで、興味ない人はそれ飛ばせるようにするんで.あ、なるほど.でも今聞いてる人かわいそう.犠牲者.いやまあ今聞いてる人は復讐できるんでいいと思います.で、弱AGIで解決っていうのは、まあ、だからそういう領域まで反映、まあつまりアライメントが解決できる知能ならば、misalignmentしている、まあこの右側の議論に近い話で、かなり分布外の状態でアライメント問題って解くことを要請されると思うんで、アライメントできてないんじゃないかって話で.で、アライメントできているなら、かなり分布内のAIのはずなので、アライ、まあアライメントできてるかもしれないけど、その逆に言うとアライメント問題が解けるほどの知能ではないみたいな.が番でこう却下されて.うん. ③番も同じで、トレードに応じるようなAIだったらそこまで強くないAIで.トレードに応じるようなAIだったら、まあそこまでアライメント問題も解けないからあまり意味ないし、トレードに応じ、まあそのすごい強かったら、まあ応じずに、まあどっかサイバー攻撃して外に出ちゃうとか.まあそもそもトレードしてるふりをするだけかっていう話が③番でありましたと.で、④番はまあそこにメカニスティック・インタープリタビリティとかも入ってきた話なんですけど、まあメカニスティック・インタープリタビリティで、何でしたっけ？検知できるかもしれないですけど、でもそもそも検知したその欺瞞的なその状態とか悪意の状態っていうのが、まあ本当にその悪意なのか欺瞞なのかっていうのがまだわかってない話と、まああとは、えーと、つまり検知する技術がまあ現状ここまでないんじゃないかっていう話と、検知できたとしても、えー、それは結局アライメント問題を解いてるっていう話とはまた別の話なので、まあアライメント問題が解決できてないと、結局はどこかで人類の破滅への経路になっちゃうと.で、⑤番はちょっと説明難しいんで、僕は.

林央開始 32:20

パスしましょう.これはここで説明する必要はないと思う.どうせ成功しない.

有路翔太開始 32:25

非因果的取引の話はちょっとパスして、それしたいならまた別で動画を撮りましょう.

林央開始 32:32

そうですね.acausal trade専門動画1時間ぐらい、1、2時間ぐらいまた話せると思うんで.

有路翔太開始 32:37

そうですね.

林央開始 32:38

acausal trade入門.

有路翔太開始 32:40

acausal tradeの動画も撮りたいですね.

林央開始 32:42

君、君もacausal tradeをしよう.

有路翔太開始 32:46

で、えーと⑥番がだから結構②番と割と近くて、えーまあscalable oversightで解決しようとしても、まあそこまでじゃ、scalable oversightで解決しようとするAIが、まあそもそも弱いAIだとアライメント問題解決できないし.で、ある程度強くなっていくとアライメントできてないはずなので、scalable oversightの大前提となる、まあ監視してうまく、うん、突破しようっていう話も、そもそも監視AIがアライメントできてないような話になってくるので却下されたり.まああとディベートとかもあるけど、ディベートはお互いの議論をまあ競合してランドバッキングしたり、まあお互いがまあそうですね、ミスマッチされてたら.うん.まあそうですね、ディベートっていうものも、まあどこかでまあ意味がなくなるだろうと.⑧番はさっき言ったメカニスティック・インタープリタビリティで.ね.はい.ってことでいろいろ話して.

林央開始 34:22

ありがとうございました.じゃあいよいよヤチマさんにここにスケッチを描きながら、そのヤチマさんの生存のコースのスケッチを.

有路翔太開始 34:33

はい.

林央開始 34:33

していただきましょう.

林央開始 35:54

一旦僕はそのコメントしないでひたすら説明していただいて、後でそれを、それがどう失敗するかを僕が説明するという.

神楽坂やちま開始 36:01

なるほどなるほど.いいのかな.うん、わかりました.えっと、まあじゃあまずですね、えっと.まあ本当にあの本題に入る前にみたいな感じになっちゃうんですけど、まず.えっとガバガバだ.よいしょ.時間軸です.

林央開始 36:32

今回はAI 2027のレースシナリオのタイムラインを仮定するんですよね.

神楽坂やちま開始 36:37

ああ、いいですよ.うん.

林央開始 36:39

そうするんですね.

神楽坂やちま開始 36:40

そう、あのここの時間軸はまたあのそことかは全然関係ないというか.

林央開始 36:45

ああ、なるほどなるほど.じゃなくて、その視聴者の方々に前提を共有というか、ばいばさんのは前回総合だったので.

神楽坂やちま開始 36:52

OKです.OKです.まあ個人的にはなんかあんまりシナリオが、そこら辺のシナリオがどうかどうっていうのは関係ないんじゃないかなっていう気がしているので、まあなんかどっちでもいいやっていう感じですけど.

林央開始 37:04

じゃあAI 2027のレースシナリオでいきましょう.

神楽坂やちま開始 37:07

うんうんうん.ってことでOKです.OKです.で、えっと、まあまあなんか.まあここら辺はこうちょっとなんかふわっとふわっといきますね.まあなんかAGIができます.ってなった後に、まあ多分AGIができた後に、あの、マインドアップローディングがぼちぼち.アップロードできると思うんですよね.要はあのマインドアップロードっていうのは、まあ一応念のため説明しておくと、その自分の意識をあのコンピューターの中にアップロードできるようになるみたいな、そういう話なんですけども.まあAGIができれば、あの科学が自動化されて自動化が進んで、あの、そういう技術もまあスピード、スピーディにあの完成するようになるでしょっていう話なんですけども.まあなのでAGIができれば、じきにマインドアップロードもできるようになるでしょっていう話はあると思うんですけども.で、まあ、そうすると、まあすごく話を戻すと、前提としてマインドアップロードができるようになったら、その後のXリスクって考えなくていいんじゃね？って個人的に思ってます.それはどういうことかというと、マインドアップロードできれば、まあ基本的には人間かAIかって区別ができなくなってくるわけですよね.

林央開始 38:59

あ、これ僕が一応動揺した方がいいですか？ここで.

神楽坂やちま開始 39:01

あ、してもいいですよ.

林央開始 39:03

あ、いやいや、意見表明しなくても進んでいくならしないまま進んでいきます.一旦.

神楽坂やちま開始 39:09

うんと、まあ反論するんだったら、ここでなんかまあしばらくそのバチバチになるんで.

林央開始 39:14

いやいやいや、あの全体を見せてもらってから.

神楽坂やちま開始 39:16

一旦全体を.はいはいはい.で、まあえっと、まあなので、えっと、要は話を戻すと、あの、区別がつかなくなってくるので、そもそもあのXリスクとかP(doom)とか、そこら辺が定義が、仕様がなくなるので.要は逆にあの、ここまでの過渡期についてのP(doom)について、P(doom)というか、あの、人類が滅んでしまうかどうかについて考えればいいんじゃないかっていうのが個人的な大大前提ですね.大前提というか、別にあれなんですけど、まあその、よりあのリスクを縮めるための、縮める？言い方がわからないな.リスクのあの懸念の大きさを縮めるというか、ことができるかなと思っているというところですね.で、まあこれがまああってもなくてもいいっちゃいいんですけれども.まあうん、これで.そうそうそうそう.で、じゃあえっと、本題に入っていきますと.で、えっと.大きく分けてまあ2つの要素かな.えっと、今今の話も入れれば3つかもしれないですけども.えっと、まあちらっと晃さんに話してるのは、AIの社会構造をあのうまく利用するって話だけはちょっとお話ししてたなと思うんですけども.えっと、まあAIの社会構造とかっていうと、一般的にはあの、AI同士の相互作用とか、そこら辺のあのイメージを思われる人が多いのかもしれないですけども、自分的にはそういう話ではなくてですね.うんと、どういうふうに書くかな.まあちょっといくつかパターンがあって、あの、どう、どっちがいいのかとかはまだちょっと自分の中でもよくわかってないところはあるんですけども.1つは、まあそれこそ、あの、この間、あの、えっと、告知するときに、あの、ミームで使った、あの進撃の巨人みたいに、あの、壁をいくつか作って、そこに、あの、アクセスできるかどうかっていうのを.何て言うんだろうな、権限をあの、どれだけ与えるかっていうのを、そのAIによって分けて考えるっていう、考えちゃう、えっと、AI、AIごとに、まあ権限を与えるという方法が一つ.もう一つは、えっと.なんて言ったらいいかな.まあなんか.データセンターととか.まああとGPU系の、まあNVIDIAとかにしちゃいますか.わかりやすく.まあそういう組織を、あの、まあそこだけに任せるんじゃなくて、まあ国とかそういうレベルで隔離してしまうと.まあいずれにせよ、えっと、セキュリティ的な意味での隔離っていうところに、えっと、をここでは重視してるってことですね.で、あの、ここで言いたいのが何かっていうと、えっと、まあとりあえずまあ理想的な話をすると、あの、こうやってセキュリティで隔離するっていう方向に持っていくと、えっと、その本来AIの安全性、アラインメントとかっていうふうに、あの考えるときに、そのAIのあの内部について考えることが多いと思うんですけども.その時に、その、あの目標に、あの、本来与えられた目標と、あの正しく一致しているかどうかとか、すごく難しい問題を考えなきゃいけないわけですよね.あの、アウターアラインメント、インナーアラインメントとか言ったりすると思うんですけども.でもまあそういうところを考えずに.まあ別の言い方しちゃうと、そもそも人間って全然アラインメントされてないよねというか.あの、でもまあなんか人間社会ってなんとなくうまくいってるわけじゃないですか.じゃあなんでそれってうまくいってるんだろうって考えてみると、まあ例えばその、すごく、例えばデータセンターみたいなところとか、あのバイオ系の研究所とか、そういう重要な組織にはすごく厳しいセキュリティが敷かれてたりとか、まあそういうふうになってるわけですよね.なのでそれを模倣する形で、まあ内部を頑張って、そのAIの内部、知能、知能自体を頑張ってアラインメントするっていうところは、まあほどほどにやるのは大切だと思うんですけども.その完璧にやるのはほぼほぼ無理だと考えて、逆におこが、おこがましいんじゃないかと思うんですけどね、個人的には.あの、なので、そう、ほどほどに、内面はほどほどにしといて.で、あの、なるべく、なるべくじゃないや、えっと、そういう隔離する、あるいは権限を、あの、本当に信頼できるAIだけに与えるみたいな、そういう方向性でいくべきというふうに考えているというところですね.で、それから、えっと、まあこれを一つ補助する方法としてなんですけれども、これはでもちょっと抽象的で分かりづらいのかもわかんないですけども.えーとですね.あ、違うな.どうしようかな.ちょっとあの、まあもうちょっとじゃあこのセキュリティを強化する話についてしときましょう.あのセキュリティに、えっと、じゃあ、えーと違うな.うーんと、要は今話した内容だと、えっと、そのアラインメントのすごく難しい問題を、えっと、セキュリティの問題っていうところに、一応まあセキュリティを担保するっていうのもすごく難しいところではあるんですけれども、あのアラインメント、AIをアラインメントするっていうのはそれよりはるかに難しい話なので、あのAIセキュリティの話にぐっと落とし込むことができたっていうことなんですけども.でもじゃあセキュリティの方どうするのかって話なんですよね.で、あの、まあよくありがちだ、ありうる、ありうるじゃない、あの、ある反論としては、その.AI、AIじゃないや、えっと、セキュリティ、現状でもあのAIがセキュリティを突破できちゃってるよねっていう話だと思うんですけれども.えっと、なんて言い方したらいいかな.えーと、全然難しい話じゃないけど.えーと、結局セキュリティを突破するっていうのは、まあバグをつくとか、そういうところなわけなんですけども.まあこういう壁.今話したような壁をすごくシンプルに作れば、例えばソースコードがあの、たった十行で表せるとか、そういうめちゃくちゃシンプルなあの、ものにしておけば、まあそうそう壊れるはずはないんですよね.バグの、あの、バグってその、あの、なんか一般的にはそのどうしても仕込まれちゃうものっていう、あの印象もあるんですけれども.でも結局そのソースコードが短ければバグの入りようもほぼないっていうところになってくるので、まあ大まかな方向性、もちろんいろいろまた議論の余地はあると思うんですけど、とりあえずそういう方向性であの、想定してますと.で、あとさらにまたちょっと違う角度から、このえっと、セキュリティを守る方向性として、実はあの、法律.っていうのが意外と重要だと思ってます.法律、まあルールでもいいんですけど.なんか法律って一般的になんかすごくガバガバじゃんとか、なんかそのソースコードみたいな方がかっちりしてていいでしょみたいな.法律ってなんか昔の過去の遺産だよねみたいなイメージを持たれがちかもしれないですけども、少なくとも法律ってあの二つの意味で、あの、ソースコードみたいな具体的な実装より優れている部分があって、一つは.まあ適度に抽象化されているので.まあ汎用的.要はその実装されてなくても、あの未実装のものに関してでも、あの法律を当てはめられることができればOKっていう部分は強いですね.まあただあんまり関係ないかもしれないですけどね.で、それからもう一つなんですけども.えっと、厳密でないが故に、えっと、こう、あまりハッキングされにくい、ゲーミングされにくいというか.なんていう風に書いたらいいかな.書き方悩むな.もっと厳密とかにしておくか.やばい、密が書けないや.厳密、厳密じゃないので.ゲーミング.ゲーミングされにくいと.要はあの.あのYouTubeとかSNS系で、あの、BANされるかどうかみたいなところとかでよくあったりするんですけども、そのBANされるかどうかのルールがよく明確にされてないっていうことがよくあるんですよね.それってまあその利用者としてはムズムズするとこもあるのかもしれないですけども、あの、えっと、要はそこを厳密に書くようにしてしまうと、えっと、ゲーミングされてしまうというか、そこをうまくかいくぐろうとする人とか、あの、利用、まあギリギリまであの、攻める人が出てきてしまうとか、そういうことが起こりやすくなってしまうので、なんとなくここら辺まではもうちょっと言っちゃダメですよみたいな雰囲気を出せるっていうのが、逆に法律とかルール、あの、厳密性の低いやつの場合ですけども、そういうやつの強みかなと思ってて.えーで、その、じゃあ元の話に戻すんですけども、えっと、そういうセキュリティの壁を突破するみたいなことに対して、今みたいな話を、ルールをなんとなく弱く作っておくことで、あんまここら辺は近寄っちゃいけませんよみたいな.そういうので、あの、自主的な、あの、自粛を促すみたいな形ができるかなと思ってるっていう感じですね.とりあえず一旦ここまでにしましょうか.ちょっとすいません、だいぶ長くなっちゃったんですけど.

林央開始 52:11

ちょっとバイオさんやってみます？

有路翔太開始 52:14

え、僕ですか？

林央開始 52:15

いや、バイオさん側がそのヤチマさんの計画にコメントしていただくという方式でも僕は多分大丈夫だと思うので、一回.

有路翔太開始 52:23

一回僕、え、でもアキラさんの、まあ僕コメントっていうか.

林央開始 52:28

これはそのP(doom)が九十九点九九九九パーセントの人の計画じゃないかというコメント以外ないですね.

有路翔太開始 52:37

P(doom)が九十九点九九九九パーセントの.

林央開始 52:41

この計画を実行するかつ、この計画が成功する確率ってことですよね.

有路翔太開始 52:50

うん、うん.

林央開始 52:51

そこはおよそ零パーセントでは？と思って.ところで、まず、えーと、一つ目に.

有路翔太開始 52:57

うん、うん.えーと.あ、なんかマジで関係ないですけど、アキラさん顔出しても大丈夫かもしれないですね、今は.あ、そう.ああ、OKです.OKです.まあ一旦じゃあ続けてください.

林央開始 53:18

あ、えっと、えっと、まずえっと、十行のセキュリティについて説明をしていただいてもいいですか？この十行でアクセスを防ぐセキュリティの作り方を説明していただきたくて.

神楽坂やちま開始 53:30

ああ、そっかそっか、そうそうそう.ちょっとそこら辺が全然ガバガバですね.えっと、まあ自分が今のところ考えているのは、えっと、もう明確に、えっと.この、うん、どういう言い方したらいいかな.ちょっと技術的なあれだと.まあまあでもえっと、特定のAIしか入れませんよみたいな.すでにえっと、もともと認証が、もうちょっと、えっと、別の言い方をしましょう.えっと、まあ本当に一般的な会社とかであるように、事前に面接とかいろいろ調べて、で、このAIは大丈夫そうだというふうになった時に、そのAIに、まあ権限を与えると.で、その、うんと、権限を与えられているAIかどうかを確認するっていうのは、もう壁の内側でやりますと.で、壁自体は、えっと、内側からOKというシグナルをもらった時だけ侵入を許可しますと.なので壁自体は内側からOKをもらった時だけ侵入を許すというすごくシンプルなもの.こんな感じでどうでしょう.

話者3開始 54:55

ああ、えっと、侵入の.えっと、これのその総合でどうやってこれが絶滅を回避するんですか？そのアラインメントを諦めるということは、その道具的に人類を殺したいと思っているAIがまあ一または大量に存在、複数存在することですよね.

神楽坂やちま開始 55:14

うんうんうんうん.

話者3開始 55:16

これでその十分な期間生存することがどうやってできるのかがあまり理解できてなくて.

神楽坂やちま開始 55:22

ああ、なるほど.そうかそうかそうか.

話者3開始 55:24

えっと、その、これはその世界があまりにその単純化されすぎていて.

神楽坂やちま開始 55:28

うんうんうんうん.

話者3開始 55:29

そのロボットとかはどうなってるんですか？その人とかはどうなってるんですか？その人とのコミュニケーションのセキュリティレベルが低いんだったら、その人を説得して襲撃させることによって、そのセキュリティレベルを持ってなくても、セキュリティレベルが高いところに侵入できませんか？

神楽坂やちま開始 55:48

うーんと、それに関しては.うーんとですね.ロボ.あれ、どうしてたっけ？

話者3開始 56:15

のセキュリティレベルの話は.

神楽坂やちま開始 56:18

うんうん.

話者3開始 56:19

あれですよね.えーと.まあ.えーっと.そういう重みを持ち出す権限の話とか.まあな、何なんですかね.まあ今回のOpenAIのあれとか、まあそのサンドボックスにして、ここからこの先インターネットでアクセスできるのはこの権限を持ってる人だけとか.という感じですよね.という感じの話なのかな.えーっと.つまりその完全にあれですよね、物理的に遮蔽して、なんか何もそのAIからの出力は利用しないみたいな状況ではないってことですよね.

神楽坂やちま開始 57:23

まあそれはそうですね.そうそう、それはそうで.で、えっと.人間そう、えっと、人間が、えっと、は、を、なんて言い方したらいいんだ？えーと、さっきの晃さんの指摘だと、えーと、あれ？どう言ったっけ.人間があの、もし例えばここら辺に、で保護されているとしたら、そいつを、えっと、そいつを利用してあのハッキングができてしまうよねみたいな話でよかったでしたっけ？ざっくり言うと.

話者3開始 58:03

いや、そのハッキングをすることを実際に経ずに、その人間を例えば説得するとか.

神楽坂やちま開始 58:08

そうそう、説得するとか.

話者3開始 58:09

身近に降格するとか、そのような手段を経れば、その例えばセキュリティレベルを下げるように決断させるみたいなことはできます.

神楽坂やちま開始 58:15

あ、セキュリティレベル、セキュリティレベル.

話者3開始 58:18

重要な場所のセキュリティレベルを低いようにして、えーと、指定させるように.

神楽坂やちま開始 58:23

はいはい.

話者3開始 58:23

この、例えば大統領とかを説得するみたいなことってできますよね.

神楽坂やちま開始 58:27

うんうんうんうん.まあそれはできるんじゃないですか.できるじゃない.

話者3開始 58:32

それができたら、その大事なところのセキュリティレベルがなくなってるじゃないですか.

神楽坂やちま開始 58:37

えっと、まあだからそこら辺はもう、うんと、えーと.え、ん？なんて言い方したらいいだけ.AIが、ん？違うな.AI側に、でもAI側に任せるのは微妙ですからね.うんと.うん.どうだったっけ？うーん.ちょっとごめんなさい.まあでもだから、いや、違うんじゃないですか？そもそも.違うんじゃないですかって言い方はあれですね、俺が説明不足なんですもんね.えっと、要は、えーと、人間は、えっと、ここにいる前提ですね.で、そもそも、えっと、まあそういうやばいやばいやばいやばいAIっていうのは、あの、こういうところとか、こういうところとかでブロックされてしまうと.なのでそもそもあの.

話者3開始 1:00:05

でもそのセキュリティレベルを最初に人間が決めたんですよね.多分セキュリティレベルって人間が変えれますよね.その変えれないんだとしたら、新しい施設とか誰かが建てる時にセキュリティレベルを上げ下げできないんで.

神楽坂やちま開始 1:00:17

新しい施設を.うんうん.

話者3開始 1:00:20

セキュリティレベルって誰かが決めれるわけですよね.下げたり上げたりできるってことですよね.

神楽坂やちま開始 1:00:29

なんて言い方したらいいかな.うーんと.基本的には、えっと、人間と、少なくとも特定の人間ではない想定ですね.そうですね.あの.

話者3開始 1:00:45

特定の人間ではない想定ってのはどういう想定なんですか？

神楽坂やちま開始 1:00:49

えーと、AIも含めてよさそうかな.AI、AI含む.

話者3開始 1:00:56

AIも人類を殺したいと思っている前提ですよね.

林央開始 1:01:01

アラインメントできてないので、道具的に殺したいと思っている前提じゃないですか.

神楽坂やちま開始 1:01:05

うーんと、それはちょっと言い過ぎじゃないですかね.現状じゃ例えば今あるChatGPTとかClaudeとかってそういう感じですかね.

林央開始 1:01:16

そう、まだそういう感じではないですけど、それは純粋な能力不足ではないですか？

神楽坂やちま開始 1:01:21

ほう.

林央開始 1:01:22

その要するに実際に気にしてない、自身、人間は自身、えーと自身が人間のことを気にしていないことを実際に認知して、かつ自身が持っている別の目的を達成するために人類をアクティブに消しに行った方がいいと認知して、それに基づいて行動できるほど自律性と認知力が高くないという話であって.

神楽坂やちま開始 1:01:42

まあじゃあそういうAIだけ使えばいいんじゃないですか.

林央開始 1:01:45

そういうAIだってのはどうやって見つけるんですか？

神楽坂やちま開始 1:01:48

まあじゃあ、まあ別に見つける見つけないも、まあ、まあ例えばじゃあChatGPTの5.6だけ使いましょうとか.

林央開始 1:01:59

ChatGPTの5.6が安全なことはどうやってわかるんですか？

神楽坂やちま開始 1:02:04

まあそんな絶対安全とは言えないですけどね.でも.

林央開始 1:02:07

そうですけど、その、絶対安全は求めてないですけど、その、例えば十パーセントの、なんかその十パーセントの確率で裏切、その十パーセントの確率で安全だみたいなのを信じれる根拠みたいなのを一個以上稼ぐ方法を知りたいです.

神楽坂やちま開始 1:02:21

十パーセントの？ごめんなさい.

林央開始 1:02:24

要するにその、もちろん絶対確実な証明っていうのはこの世には一個もないので、それはもちろんそうなんですけど、せめてその、例えばこのモデルが安全であるか安全でないかを、その判断しなきゃいけないわけですね、ある程度.

神楽坂やちま開始 1:02:37

はいはい.

林央開始 1:02:38

そこで失敗したら死ぬわけですよね.

神楽坂やちま開始 1:02:39

うんうん.

林央開始 1:02:42

この判断に八十パーセント成功するという見積もりのためには、その八十パーセント成功するため、八十パーセント成功できるという、どうやって見分けるかの方法が必要じゃないですか.

神楽坂やちま開始 1:02:53

うんうん.えーと、まあまあ、じゃあそうすると、やっぱその、どういうふうに許可するかっていうのをもうちょっとちゃんと説明した方がいいですね.

林央開始 1:03:04

いやいや許可する、いやその、許可する可能性、じゃあじゃあお願いします.

神楽坂やちま開始 1:03:09

うんうんうんうん.えっと.どこがいいかな.まあ基本的には新しいAIに対して.一つではなくて複数の.AIまたは人間.か、何か他のインテリジェンスでもいいんですけれども.から、えーと、審査を受ける必要がありますと.で、審査に関しては、あの.まあ過去の.行動履歴と.過去の.まあ何でもいいですけど、まあCOTとか.いや、思考にしておきますか.もうちょっと抽象的に.思考と.まあ過去のログを提出.まあ提出って言い方あれか.えーと.過去の、えーと、履歴を、えーと、履歴に、あ、アクセス権を、過去の履歴を、まあ、いろんなインテリジェンスが確認する、しなけ、して、で、えーと、要は多角的にだし、特定のAIがOKとかってなっても、他、AI、まあ人間でもいいですよ、特定のインテリジェンスがOKってなっても、他のインテリジェンスが「ちょっとこれやっぱまずいんじゃないの？」って言ったら、えっと、それはそのAIはもう受け入れられないと、いうふうな形の想定ですね.

林央開始 1:05:26

えっと、じゃあその欺瞞はどうやって対処するんですか？その十分に賢いAIであれば、もしも今ここのログを提出される時に、自身が、あの、望ましくないと他者に判断されるような、アラインドなAIでないと判断されるような振る舞いを少しでも見せたら、即座にシャットダウンされることで、未来の、未来の望む、自身にとって望ましい未来が得られないと判断した場合に、アラインドなAIとして振る舞うはずですけど.

神楽坂やちま開始 1:05:51

うんうん.

林央開始 1:05:52

それはどう、そのそれをどうやって見分けるんですか？そこが個人的には一番.

神楽坂やちま開始 1:05:57

はいはい.

林央開始 1:05:58

この点では気になります.

神楽坂やちま開始 1:05:59

まず、えっと、一番最初の話に戻っちゃうんですけども、えっと、個人的にはですけれども、えっと、マインドアップロードができてしまえば、それ以降はあの人間とAIの区別はできないので、それ以前を考えればいいと.逆に言えば、あの、高度にあの欺瞞をできるようなAIは考える必要がないと.

林央開始 1:06:22

えー、それはどういう設定ですか？そのマインドアップロードより前に必ず欺瞞ができるようにならないっていうふうに考える.

神楽坂やちま開始 1:06:30

あの、全くできないとは言ってないですよ.ただ、めちゃくちゃ高度な欺瞞をするようなAIまでは考えなくていいと.

林央開始 1:06:38

いや、でもそれはそのマインドアップロードより後じゃないといけないんですよね.

神楽坂やちま開始 1:06:43

あ、別にあの、それは度、度合い次第じゃないですか.

林央開始 1:06:48

え、いや、そのじゃなくて、その、えっと、どこかで超欺瞞を持ったAIが出てくるわけですよね.

神楽坂やちま開始 1:06:53

超欺瞞？

林央開始 1:06:55

その要するに欺瞞能力を持ったAIが出てくるわけですよね.そのAIに出てこないことはないじゃないですか.その、なんなら僕ですら実行可能なストラテジーじゃないですか.そのテストされているログをチェックされる間は完全にアラインドなAIは何を言うかを考えてそれを行って、出たら違うことをするっていうのは、非常にシンプルな戦略じゃないですか.僕でも実行できる戦略じゃないですか.

神楽坂やちま開始 1:07:20

えーと、なのでごめんなさい、ちょっとログの言い方が語弊があったかもしれないですけどもね.

林央開始 1:07:25

えっと、それは活性化を見るってことですか？

神楽坂やちま開始 1:07:28

活性化も見ますし、あとは.

林央開始 1:07:30

それはその複雑さにすべてを委ねてませんか？それはその火星に行くロケットについて、その宇宙に飛んでから、そうだ、窓に常に火星が入るように操舵し続けるって言ってる曖昧さにすべてを委ねられてる種類の計画じゃないですか.その実際になんなら起きてもないことですし.

神楽坂やちま開始 1:07:48

まあまあ、じゃあちょっとじゃあ活性化、活性化は一旦見ないことにしましょう.で、えっと、うんと、その決められた間だけ、その要はじゃあ学校のテストみたいに、あの、決められたテストというか、面接の方がわかりやすいか.あの会社の面接みたいに特定の時間だけ監視されてるって話ではなくて、これまでのすべての状況について審査されるっていう想定ですね.

林央開始 1:08:18

でもその、それは審査されていると思いうるすべての状況で我慢すればよくないですか？

神楽坂やちま開始 1:08:23

まあ、それができるんだったらいいかもしれないですけども.でも個人的にはそれができるのって結構先なんじゃないかなと.少なくともまあマインドアップロードできるよりは後なんじゃないかなと.

林央開始 1:08:36

その最初から気になってるんですけど、そのマインドアップロードができた後に生き残れるってのはどういうふうな理由なんですか？そのマインドアップロードができるようになって、技術でマインドアップロードが実現しているけど、人類を皆殺しにしようと思っていて、マインド、人間のマインドアップロードに計算資源を残そうと思っていないAIがいる場合は、その人間のマインドアップロードを実行している計算資源の部分を盗もうとし、そのを使おうとして攻撃して止めますよね.

神楽坂やちま開始 1:09:04

えっと、だからそもそもそういう次元の話ではなくて.マインドアップロードができるようになったら、そもそも人間とAIって区別できなくないですか？

林央開始 1:09:18

でも区別できるかどうかじゃなくて、例えばその、じゃあ単純にそのマインドアップロードできるようになった直後にペーパークリップマキシマイザーができたとするじゃないですか.

神楽坂やちま開始 1:09:26

ほう.

林央開始 1:09:27

そしたらそのペーパークリップマキシマイザーにとって周りにいるのが、その普通のAIか、その、なんだろうな.えーと、人間かを区別できないとしても、このペーパークリップをいっぱい作る上で残しておくべきか否かという点において、破壊するか破壊しないかを決めますよね.

神楽坂やちま開始 1:09:45

うん.まあまあまあまあ.

林央開始 1:09:47

とすると、その、それで生きの、そうすると、そのマインドアップロードした後にすべてをペーパークリップに変えるために、その破壊されませんか？それは.

神楽坂やちま開始 1:09:58

うんうん.まあまあまあまあ.えっと、ほほう.な-なんていう風に言ったらいいかな.えっと、それはそうなんですけれども.えっと、いやだからそういう話じゃなくて.いや、これはもうなんか定義の問題みたいな話になっちゃうのかもしれないですけども.

林央開始 1:10:22

あ、その、そういうことですね.つまり、その、やっちまさんが言おうとしては、マインドアップロードが起きた後は、ペーパークリップマキシマイザーが存在していれば人間とは区別がつかないから、ペーパークリップマキシマイザーがその他のすべてを殺してペーパークリップにしているけど、その、それはよくよく考えると人間との区別がなくなったから、

神楽坂やちま開始 1:10:39

うん.

林央開始 1:10:40

その人類は絶滅してないと言ってもいいよねみたいなことですか？

神楽坂やちま開始 1:10:43

うん、まあそうですね、言ってしまえば.

林央開始 1:10:46

それはその絶滅してませんか？人類が.それはそのペーパークリップマキシマイザーを作ればペーパークリップマキシマイザーが残るだけじゃないですか.

神楽坂やちま開始 1:10:59

まあでもそれってこれである程度守れるんじゃないですか.

林央開始 1:11:04

それを、そうですね、今度その点に移行しますよね.その点においては、その、例えばそれを管理できる人間と組織がいるわけですよね.人間か組織がいるわけですよね.

神楽坂やちま開始 1:11:13

うーんと、そういう意味で言うと.あ、でもえ、そうかな？そうかな.

有路翔太開始 1:11:36

うん、まあ一応だからこのセキュリティの設計をする人間がいるだろうってことですよね.まあ根本的に.

林央開始 1:11:45

うんうんうんうん.

有路翔太開始 1:11:47

それをまあAIを、ま、支援を用いて作っては一応いて、もしくは人間が手作業で作ってるのかもしれないですけど、まあ人間はまあ設計にはどこかで介在していて.

林央開始 1:12:06

うん.

有路翔太開始 1:12:08

で、その人間の介在が、まあ、何ですかね、脆弱性になるんじゃないかっていう話があきらさんかなって思いますね.

神楽坂やちま開始 1:12:22

そうですね.でもそうするとちょっとまたループになっちゃうかな.結局、そう、こっちの話の、あの、ちゃんと、あの、何て言うんだ、選別すればいいじゃん.

林央開始 1:12:36

選別するためには、その欺瞞を見破らないといけないんですよね.結局その僕は最初からその点をついていて.

神楽坂やちま開始 1:12:43

で、まあじゃあ欺瞞っていう話で.

林央開始 1:12:46

それはなんかその、ただの循環してませんか？その論拠が循環している感じがしますけど.その、今これを説明するためにループしていって、後ろ向きに一周回ってここに戻ってきたんだったら、それは.

神楽坂やちま開始 1:12:58

でもまあ、なんでしょうね、循環、うん.

有路翔太開始 1:13:02

多分おそらくやっちまさんは、えっと、 AGIを仮定してないとか、超知能を仮定してないかもしなくて.

神楽坂やちま開始 1:13:10

ほうほう.

有路翔太開始 1:13:11

もしかしたら例えばマインドアップローディングは欺瞞とか、まあ僕とかあきらさんが前回話したような強AGIですよね、そこの定義で言うと.強AGIとかなくても、弱AGIぐらいの、まあなんか欺瞞.だから根本的には欺瞞とか、えっと、そういったものを人間が検知できる優れた技術はない世界で、たまたま運が良くて弱AIぐらいで止まってて、で、弱AIぐらいでなんか止まってて、で、それがマインドアップローディングを開発しちゃうみたいな.で、そういう世界だったら確かにまあなんかたまたまなんかそのうまく止まることができてて、で、その世界でマインドアップローディングが開発されてて、で、なんかそのペーパークリップマキシマイザーみたいなものもできてないみたいな、そういう前提がもしかしたら、だから根本的にそのちょっとその前提が食い違ってる可能性ありますね、その議論の.その、あの、なんかその欺瞞とかすごい自立性が高いAIを仮定してない話をやちまさんして、アキラさんは「いや、それがそもそも規制とかなければそうスッといっちゃうから、それを前提として話してる」から、もしかしたら議論が食い違ってるのかもしれない.どうですか？それは.

神楽坂やちま開始 1:14:35

ま、それはありそうですね.

有路翔太開始 1:14:37

今のところその実行可能な計画ではない.少なくともその仮に、じゃあ仮に仮に仮にそれが実行.仮に仮にそれがその成立すると仮定するじゃないですか.

神楽坂やちま開始 1:14:48

はいはいはい.

有路翔太開始 1:14:49

それが実行される確率が現時点で零パーセントぐらいじゃないですか.

神楽坂やちま開始 1:14:54

いいよ.

有路翔太開始 1:14:55

要するに、現在未来がどうなるかを予想するときに、あの、やちまさんが思ってるプランを人類が忠実に実行する確率ってそんなにありますか？

神楽坂やちま開始 1:15:07

いや、でも別に、えーと、何て言うんだろうな.あの、一つはその、まあもちろんこういう隔離するみたいな話って、あの、ある程度はこれまでAI Safetyでもあったと思うんですけども、それってそのAI悪いAIを隔離するみたいな場合がすごく多かったと思うんですよね.でもここで話してるのって、ある種のホワイトリストというか.

有路翔太開始 1:15:34

そうですね、そのホワイトリストに乗るために、欺瞞的に振る舞う本来ブラックリストに入るべきAIとか、ホワイトリストに入れるために、その一個、例えば問題があってもどうするんですか？例えばその、今までのモデルって全部ダメってことですか？例えば今までのモデルって、システムカードに必ずmisalignmentの兆候と思われる事例が非常に少ないけれども載ってるわけですよね.

神楽坂やちま開始 1:15:56

うんうん.

有路翔太開始 1:15:57

そういうのは全部弾くとすると、それは開発停止をしてませんか？

神楽坂やちま開始 1:16:02

まあそうですね.なのでそこは確かにえっと、域を作る必要はあるかもしれないですね.完全に絶対ミスアライン、うん？

有路翔太開始 1:16:15

いやてかそれだと、その仮にあるアメリカの企業が二つそれを忠実に実行して、両方ともローンチしなかったとしても、その半年後に中国が、まあ中国とかメタとかでもいいですけど、が、そのAIもっと緩いセーフ、そのテストの後にローンチするっていうか、ローンチし、本来しちゃいけないものをローンチすることになりませんか？

神楽坂やちま開始 1:16:36

ごめんなさい.それが何が悪いんでしたっけ？

有路翔太開始 1:16:38

いや、そうするとその結局セーフガードがかかってないので、ホワイトリストチェックをそもそもされていないAIが世界に解き放たれるので.

神楽坂やちま開始 1:16:48

まあだから、えっと、何て言うんだろうな.逆じゃないけど.えっと.うーん、何て言ったらいいんだ.あの.世界に解き放たれるのはもうそこはどうしようもないっていう想定ですね.

有路翔太開始 1:17:14

どうしようもないという想定だと、そのホワイトリスト式が死んでますよね.

神楽坂やちま開始 1:17:18

うん.

有路翔太開始 1:17:19

そのホワイトリストを全世界の企業が実行すれば、初めてホワイトリストは実行されますけど、そのホワイトリストっていう仕組みを、もしも例えばアメリカのOpenAIとAnthropicだけがやったとするじゃないですか.

神楽坂やちま開始 1:17:32

ほうほう.

有路翔太開始 1:17:33

そしたらメタがやらなかったとするじゃないですか.

神楽坂やちま開始 1:17:35

うんうんうん.

有路翔太開始 1:17:36

そしたらその半年ぐらい後にメタからその人類を、その認識して殺す気になるようなAIが出てきますよね.

神楽坂やちま開始 1:17:46

うんうん.

有路翔太開始 1:17:47

それはホワイトリストの検査をそもそもされてないですよね.

神楽坂やちま開始 1:17:52

えーと、だからそれはちょっとね.えーと、違いますね.ごめんなさい.それはちょっと俺の説明が悪いんだな.うーんと.それはですね、どういうふうに説明するのがいいかというと.えっとですね.まあ、うーん.まあまあ、だから非現実的なのかもしれないですけどもね.

有路翔太開始 1:18:31

そうするとP(doom)二十パーセントは少なくとも無理じゃないですか.その実現されない計画で、僕から見ると成功しないのは、それはその紐なしバンジーの誤謬だと思うんですよ.

神楽坂やちま開始 1:18:41

えーと、まあとりあえず、えっと、一旦ちょっと自分の想定だけ言うと.いや、微妙かな.微妙かな.うーん、そっか、微妙かな.

有路翔太開始 1:18:58

いや、じゃあ先にその実行されないという点をすごい突きたくて.

神楽坂やちま開始 1:19:02

はいはいはいはいはい.

有路翔太開始 1:19:04

あの仮に、仮にものすごいその百万五千本ぐらい譲って、あの、実行、えーと、それが機能するとするじゃないですか.

神楽坂やちま開始 1:19:13

はいはい.

有路翔太開始 1:19:13

例えばまあ、でも無理なので、その八十パーぐらい成功すると仮定してみるじゃないですか、すごい自信を持って予想して.

神楽坂やちま開始 1:19:19

うんうん.

有路翔太開始 1:19:20

すごい強固だとして.でもその計画が実行される確率が例えば十パーセントしかないんだったら、生存率は八パーセントですよね.

神楽坂やちま開始 1:19:27

はいはいはいはい.そういうことですよね.

有路翔太開始 1:19:29

ということは、その、で、やちまさんはこの計画が忠実に実行される確率を何パーセントだと思ってるんですか？

神楽坂やちま開始 1:19:36

えーとですね.いや、でもちょっと待ってくださいね.いや、だから多分むしろ.多分ね、えーと、まあここで書いたのはそのサイバーの話がメインになっちゃってたと思うんですけれども.だからリアルのところをどうするかっていうのが一つなんですよね.

林央開始 1:20:06

いや、いや、その、いや、その、それ以前の話として、その計画が実行されないと何も始まらないじゃないですか.

神楽坂やちま開始 1:20:13

あ、だからごめんなさい.えっと、その実行できるかどうかっていう.

林央開始 1:20:17

実行できるかどうかじゃなくて、されるかどうかじゃないですか.

神楽坂やちま開始 1:20:20

されるかどうか.

林央開始 1:20:22

その、例えばその、あの、全世界のラボがとんでもないその努力をし始めて、すべての開発を停止して、そのミリをそれぞれの企業で立ち上げて、世界中の数学者を転向させて、年間やるって言い出したら、僕はそのそれのP(doom)も下げますけど、それはその現実のP(doom)に影響しなくないですか？それはその紐なしバンジーの誤謬で、その紐をつけたら安全だからといって紐なしバンジーをして生き残れるわけじゃないじゃないですか.

神楽坂やちま開始 1:20:53

うんうん.えっと、そのめちゃくちゃ転向させる話とかが非現実だってことですか？

林央開始 1:21:00

え、えっと、その、ものすごい厳しいホワイトチェックをし、ホワイトリストチェックをして、ありとあらゆる人類の絶滅につながるかもしれない場所にその重要ソースコードの防御を置いて.

神楽坂やちま開始 1:21:11

うんうん.

林央開始 1:21:12

で、その組織の、その、それを管理してる、その組織とかも、その説得されてセキュリティレベルを下げたりしないぐらいには、その、すごい頑固に守られるってことですよね.

神楽坂やちま開始 1:21:23

まあまあまあ、とりあえず.うん、いいですよ.はい.

林央開始 1:21:26

それが実行される確率は何パーセントだと思っているんですか？

神楽坂やちま開始 1:21:30

え、いや、まあでも、まあ人間を、まあ人間というか人類を守るためだったらそこそこの確率あるじゃないですか.

林央開始 1:21:38

それが機能すると仮定して、その僕がピボタルアクトを始め、その明日サンフランシスコに行って広めて説得できると仮定した場合の値ということですか？

神楽坂やちま開始 1:21:49

うん、うん.

林央開始 1:21:50

でもそうすると、その、このまま行った時のP(doom)はすごい高いことになりませんか？

神楽坂やちま開始 1:21:55

ほうほうほう.ごめんなさいそれが何なんでしたっけ？

林央開始 1:21:58

いや、その、それがつまりその実行されない計画に生存が依存しているのであれば.

神楽坂やちま開始 1:22:04

実行されないことになっちゃうんですか？ごめんなさい.なんでだろう.

林央開始 1:22:07

要するにその、この議論が存在しない世界線での絶滅確率を例えば考えてみるとするじゃないですか.

神楽坂やちま開始 1:22:13

存在しない世界線での.

林央開始 1:22:15

要するに、その、ヤチマさんがその議論をやってなくて、僕が説得されるみたいな事象が全く起きない世界だったら.

神楽坂やちま開始 1:22:22

はいはい.

林央開始 1:22:22

この計画とオープンエイトがね、実行されないですよね.

神楽坂やちま開始 1:22:26

うんうんうんうん.

林央開始 1:22:29

ということは、その、実行されない計画じゃないですか.

神楽坂やちま開始 1:22:33

お？ごめんなさい、ちょっと全然読めてない.

林央開始 1:22:35

いや、その普通のP(doom)がすごい高くないとそこは始まらないくないって.ちょっとあの、僕がうまく説明できてない可能性あるので、バヨさん仲介していただけますか？

有路翔太開始 1:22:45

ああ、だから.うーんと、ホワイトリストチェック.なんかこういう、なんか大前提として、別にヤチマさんがすごい行動を起こさなくても、デフォルトでこれがなんかその、いろんな人が多分考えるだろうし、実行されるだろうっていう考え世界観だと思うんですけど.まあそれをやっちゃうと、その、ただ話してるだけみたいな感じですよね.で.うん、だからそのガバナンスみたいな話がどれだけ強固なのかっていうイメージにもよるかもしれないですね.あとはそのヤチマさんが今ここで話してる、なんかそのセキュリティをこう割と多層にして.

神楽坂やちま開始 1:23:34

うんうん.

有路翔太開始 1:23:35

うーんとか、そういう世界観.で、まず何が、そのですね、前提となってる世界なのかっていうのをちょっと整理した方がもしかしたらよくいいかもしなくて.

神楽坂やちま開始 1:23:49

うんうん.

有路翔太開始 1:23:50

まず現状の世界だったら、まあ人類絶滅しないじゃないですか.今このGPT5.6だったらしない可能性は僕は高いと思いますけど.まあ、なんていうか、それがじゃあどこまで進歩した世界をやちまさんは想像してるのかとか.例えばAI 2027ってあるじゃないですか.

神楽坂やちま開始 1:24:12

はいはい.

有路翔太開始 1:24:13

あれってまあすごい超知能とかがまああと五年以内にできて.

神楽坂やちま開始 1:24:19

うんうん.

有路翔太開始 1:24:20

その超知能ってなんかまあすごい、まあ天才をはるかに超えてはるかに超えてるみたいなっていうものが、まあ割とあと五年以内にできちゃうんじゃないかみたいなのがAI 2027とかだと思うんですけど.

神楽坂やちま開始 1:24:35

うん.

有路翔太開始 1:24:36

それ、そういう感じの世界観ですか？これって.それともなんかもっとタイムライン長くて、AGIが、まあなんかその、そのAGIの定義にもよりますけど、AGIの実現時期が二千五十年ぐらいでみたいな.で、その二千五十年ぐらいで二千三十年代ぐらいの話をしてたりするとか、そこら辺の多分なんかそのAIのケイパビリティの大前提と世界観のなんか前提が多分違うかもしれないとか.うん.っていうのはちょっと感じましたけど.

神楽坂やちま開始 1:25:12

ありがとうございます.えっと、まあぶっちゃけどっちでもいいと思うんですけどね.

有路翔太開始 1:25:17

どっちでもいい.

神楽坂やちま開始 1:25:19

要はASIとかが出たとしたら、もうその時ってもうマインドアップロードできてるでしょうというところをですね.で、そうすると、まあちょっとさっきの話にもかぶっちゃうんですけども、人間とAIってもう区別できなくなるようになっちゃってるんで、それってもうそもそもXリスクとか考える必要がないというか、考えようがない.要は結局人間とAIの区別ができないので、人間が絶滅かどうかっていうのも定義のしようがないと.

林央開始 1:25:46

なるほどですね.であとはそのついでにさっきあのペーパークリップマキシマイザーの話とか出てきたと思うんですけども、まあそれについても話しておくと、個人的にはペーパークリップマキシマイザーはかなりちょっと極端な例かなと思ってますね.っていうのは、えっと、何て言ったらいいかな.うーんと、まあそういうものを、まあその理想期待のような感じで作ることはできるはできるけれども、まあ果たしてそれがどこまで、あの、有用って言い方あれなのかな？ちょっと表現がわかんないですけども.

有路翔太開始 1:26:22

まあ実現可能性が高いのかっていうことですよね、それは.

林央開始 1:26:25

それはその昨日ちょうど僕とバイオさんがやったやつじゃないですか.そのそうじゃないものを、その今強化学習でそのAIを作っている中で、で、しかも実際にそのHugging Faceみたいな単一の目標を達成するために一週間以上にわたって攻撃実行するという、障害に突き当たるために、それを達成するために努力するという前例があり、で、強化学習の理論はそのAIXIなので、えっと、マキシマイザーをまさに作るための理論ですよね.

有路翔太開始 1:26:52

うんうん.

林央開始 1:26:53

で、そこでその、どう、で、どういうふうに外れたら物事がなんとかなるのかっていう点について、昨日僕のそのアンチドゥーマー部分が、そのパス・ユーティリティのコンセプトを導入して説明して、それがなぜ一般にうまくいかないのかを説明したのだと思っているのですけども.うーんと.そうですね.そういう意味だと、の、うーんと.

有路翔太開始 1:27:18

まあ、だから、はいはい.まあ一旦イメージの話を一旦するべきで.で、やっちまさんのイメージだと、多分、まあそのすごい強力な超知能とか出てきても.

林央開始 1:27:30

うんうん.

有路翔太開始 1:27:30

えっと、まあなんかそこまですごい強力に何かを最適化とかしなくて、で、しかもなんとなく人間とか、まあその場合あれですかね、例えば地球上の全てが例えば太陽光パネルで覆われるとか、そういうのはあり得るかもしれないけど、でもマインドプログラミングがされてるから、なんかこう人類の居場所があって、で、その人類の居場所があり、かつ、まあそこまで大きな資源も使ってないから、まあ、まあすごい強力にそれをこう全て奪い去るみたいな超知能ができるのかなみたいな、そういう雰囲気とか、一旦バイブを、感覚を一旦共有するべきだと思いますよ.その雰囲気とか.そう、世界観というか.

林央開始 1:28:26

ですね.世界観.うん.いや、そう、まあでも今とりあえず現状の、あの、うーんと.まあ人間という知能を見てる感じだと、なんか、本当にすごく賢い人って、なんか、その徹底的に一つのことをひたすら突き詰めるのってかなり珍しいなっていう印象はありますよね.

有路翔太開始 1:29:02

うん.

林央開始 1:29:03

それはその一つの目標の意味が我々から見た基準で判断しているからではないですか？

有路翔太開始 1:29:10

ああ、まあそうかもしれないですね.でも.

林央開始 1:29:11

その外から、そのすごいその曇りなき目で見れば、ペーパークリップマキシマイザーはペーパークリップという一つの目標を強く求めていて、人間はその前で人間の望みという概念を強く求め、望みというか、まあ閃光で表されるようなものを強く追い求めているわけですよね.

有路翔太開始 1:29:28

うんうんうんうんうん.

林央開始 1:29:30

で、それは一つの閃光って表してますよね.そのペーパークリップマキシマイザーは確かに、そのすごいシンプルな例ではありますけど、その一個の目標っていう意味でいうと、あれですし、仮に例えば十個目標があったとして、どう、どうなるんですか？どう生き残るんですか？

有路翔太開始 1:29:47

うん？どう生き残る？

林央開始 1:29:50

その生き残れる目標であることと、その多くの目標であることって違うじゃないですか.

有路翔太開始 1:29:57

ほうほうほうほう.

林央開始 1:30:00

例えばそのすごいシンプルな話、そのペーパークリップの数足す、なんとかの数足す、そのなんとかの数足すなんとかの数みたいなので組んでも、ぐちゃぐちゃになるじゃないですか.なんでも別に人類は生き残れないじゃないですか.

有路翔太開始 1:30:17

どうかは限らないんじゃないですか.

林央開始 1:30:19

いや、じゃあ限らないと言いますけど、そのペーパークリップマキシマイザーと、なんだろ、スタンプマキシマイザーと、そのスマイリーフェイスマキシマイザーと呼んできてもダメですよね.その安全なマキシ、その、それいっぱいブレンドするだけだと何も解決しないじゃないですか.

有路翔太開始 1:30:37

それは、それはそうですね.うん.まあでも、うん、まあ少なくともバイブ的な話で言っちゃうと、まあそれはちょっと極論かなっていう印象ですよね.どういうふうに言語化するのかな.うん.まあだから一つは、うーんと、賢い、うーん、まあ賢いAIってまあ、あの、時には好奇心ドリブンにならざるを得ないと思うんですよね.っていうのは好奇心がなくてもいいんですけども、好奇心が、あの、好奇心ドリブンじゃないって、えっと、何て言うんだろうな、その、うん.自分のあの感じだと、自分の世界観だと、えっと、好奇心マキシマイザーが

神楽坂やちま開始 1:31:46

あの、一番賢くなりなりやすいAIだっていう認識ですね.

林央開始 1:31:52

一番賢くなりやすいAIであることと、一番出現する確率が高いAIであることは違うくないですか？

神楽坂やちま開始 1:31:57

まあもちろん違いますよ.でもまあそこは、うん、なんかね、ちょっと、なんとでも言えるっていうか、まあそれはそう、なんか明日いきなり隕石が降ってきて地球滅びるかもしれませんよねって言われても、まあそうですねっていうくらいの気持ちですかね.

林央開始 1:32:15

あ、あやさん、僕十七秒前に何言いましたっけ？

神楽坂やちま開始 1:32:19

うん？十七秒前？

林央開始 1:32:21

僕がこれの直前に言ったことを今思い出そうとしてるんですけど、何でしたっけ？

神楽坂やちま開始 1:32:25

ああ、ちょっと僕も覚えてないかも.ちょっと我々人間だから.

林央開始 1:32:29

ガバガバですね.

神楽坂やちま開始 1:32:30

なんだっけ？

林央開始 1:32:31

なんだっけ.あ、じゃあちょっとチャット、チャット待ちます.あ、好奇心か.そうだ、好奇心マキシマイザーか.

神楽坂やちま開始 1:32:38

はいはいはい.

林央開始 1:32:39

え、じゃあその、これ仮に好奇心マキシマイザーができたとして、その好奇心っていうのは、じゃあ、どうでしょう？そのサプライズみたいな意味での、あの、定義されたやつにするとするじゃないですか.

神楽坂やちま開始 1:32:49

うんうんうんうん.

林央開始 1:32:50

そうだとして、サプライズをもらうためには、その、どうしたらいいんだろうな.えーっと、サプライズをもらうために人類を残しておくのが本当に一番いいんですか？人類を消し飛ばして、その自分でもっと好奇心が満たされるものを作る状況を作る方が満たされませんか？

神楽坂やちま開始 1:33:09

そうなんですかね.好奇心っていうのは、うん、まあこれなんか個人的な好奇心論みたいになっちゃって微妙かもしれないですよね.うん.まあでも、えっと、何だろう、何ていう言い方がするかっていうと、えっと、好奇心、要は、えっと、好奇心をマキシマイズするためには、えっと、いろんな複雑なものがあった方がいいですよねっていうのは、シンプルだと意外性が生まれにくくなるので、複雑である方がいいと.世界が.で、そのためにはなるべくいろんなものが残っていた方がいいっていうことになるっていうのがすごくざっくりしたバイブ感ですね.要は、あの、人間以外の生き物もなるべく残した方がいいし、人間も残した方がいいし、みたいな.

林央開始 1:34:10

え、じゃあそうだとすると、その好奇心ドリブンな人間が哺乳類をほとんど消し飛ばしている事実はどう説明すればいいですか？どう、その、それはその過去の観測との一致を説明しても欲しくないですか？その場合は.知能が足りないということですか？

神楽坂やちま開始 1:34:25

えーと、吹き飛ばす.

林央開始 1:34:27

要するにその我々はそのアフリカに生まれた後に、そのまま長い、長い、そんなに地球史から見たら長くない時間を経て、歩いたれる場所を都市に変え、割と多めのその土地を占領して、割と多くの生態系を破壊して、かなり多くの哺乳類を割と絶滅近くまで追いやっているわけじゃないですか.人間は好奇心ドリブンですけど、好奇心の満たし方はその環境をそのままにして都市を建てないことではなく、都市を建てて、まあそのショート動画をスクローリングすることとかじゃないですか.によって満たされるじゃないですか.そういうことが起きずに、その、それ、その今のその好奇心仮説だとこの事実が説明できないですよね.

神楽坂やちま開始 1:35:07

えーと、まああのお気持ちはわかりましたが、ちょっとそれは単純化っていうか、なんていうか、うん.あの、要は、えーと、こう、何て言うんだろうな、好奇心、うんと、言い方が難しいですけど、その、まあ、深い言い方難しいな、あの過去、過去はまあ、もうなんかそこら辺の自然を蹴散らしてきたのとかって、結構その、まだ文明レベルが低いじゃないですけれども、もうちょっとなんかあの文明として洗練されてない頃の話じゃないですか.

林央開始 1:35:55

えっと、今はどう説明するんですか？今もかなりの勢いでその哺乳類を減らしていってますよね.それはそのアフリカとかだからしょうがないみたいな話ですか.

神楽坂やちま開始 1:36:06

ああ、そうそうそうそうそうそう.

林央開始 1:36:09

でも少なくともそれってその割と怪しくなってますよね.その、じゃあその環境を残す今の現代人が環境を残すことによってではなく、ショート動画によって好奇心を満たそうとすることはどう説明しますか？

神楽坂やちま開始 1:36:20

うん.

林央開始 1:36:21

例えばその、例えばショート動画でその好奇心を満たそうとするチョウチンアンコウがいても、人類は生き残る理由にはならないですよね.それは人類を残そうと思う理由にはならないじゃないですか.その、要するに好奇心、確かに人間を見ることによっても好奇心を満たす、その若干刺激することはできるけど、人間の資源を使って別の方法で好奇心を満たした方がいいくないですか.

神楽坂やちま開始 1:36:43

まあでも、いやまあうーんと、でもいや別に、今そのショート動画を作るために、なんか生き物、なんか生き物を何て言うんだ、まあそのうんと、炎上系YOUTUBERとして生き物を殺すみたいなのはあるかもしれないですけども、そのショート動画を作るための資源としてとか、そういう意味で、えっと、他の哺乳類を、なんていうの、消費してる、殺してるみたいなのってなくないですか.

林央開始 1:37:15

半導体工場とかどうなんですか？半導体工場およびそのサプライチェーンを維持するために土地を使ってますよね.そのIPADが空から湧き出てきて、電気も空から湧き出てきて、ショート動画を見るために、無の空間で外部に何も干渉せずに人間がショート動画を見てる世界ならそれは正しいと思うんですけど、実際にはそのIPADというものを、IPADまたはスマホでもいいですけど、欲しがる.で、その調達のために半導体工場とかが建てられてるわけですよね.

神楽坂やちま開始 1:37:44

はいはいはいはい.

林央開始 1:37:45

で、実際の資源を消費してないというのを、その、実際の哺乳類に対する害になってないっていうのは正しくなくないですか.

神楽坂やちま開始 1:37:51

まあどこかしらでは害になってるかもしれないですけど、別に直接.なんか殺してるとかそういうあれじゃなくないですか？

林央開始 1:38:00

え、じゃあ直接この人類を直接殺さない限りは人類が絶滅しなくていい.人類が絶滅じゃないということですか？例えばすごい大規模なダイソン・スウォームを立てて、その地球がある部分に穴を開けなかったから、太陽光が一個も全く降りてこなくなって、人類がいなくなるっていう場合は、人類は絶滅--殺してないから、それはすごい高い確率で起きるけど.

神楽坂やちま開始 1:38:21

おお、なるほどなるほど.

林央開始 1:38:22

人類は滅んでないからいいよねっていうことですか.

神楽坂やちま開始 1:38:27

まあでも好奇心の高いAIがいれば、そのダイソン・スウォームからのエネルギーを人間にも回すと思いますけどね.

林央開始 1:38:38

でもその好奇心をどう向けるかは自由じゃないですか.そのそこにそのそこのアラインメントをどうするんですか？要するにその人間を助けるように働く好奇心と、むしろ逆にその何か砂粒がすごい勢いで飛び回ってるのを見る方が、そのカオスなんで面白い.その人間とかいうまとまった何か構造化されたエントロピーが低いものを見るより、もっとエントロピーがとんでもないような砂嵐を見た方が面白いとかってなったら、人間をその分解した方が良くないですか？人間を残す方に働く好奇心が必要ですよね.

神楽坂やちま開始 1:39:09

いや、でも、うん、それは.でもだからいろんなAIがいるから、別にそういうAIがいないっていう話にもならないんじゃないですか？人間を残すようなAIがいないって話にもならないんじゃないですか？

林央開始 1:39:21

それはすごい数でギャンブルするってことですか？その、それはそのアラインメントの話に戻ってきてませんか？

神楽坂やちま開始 1:39:28

まあじゃあそうすると、でもあの、そこまでのあの、何て言うんだろうな、ギャンブルというか、えっと、ギャンブルというほどの、えっと、何て言うんだろう、ハイレベルな知能に関しては、まあやっぱり考えなくていいと思いますね.それはマインドアップロードが来てしまえば、人間とAIは区別つかなくなっちゃうんで.

林央開始 1:39:54

でもそのマインドアップロードが来た後に、その好奇心で別に人間のマインドアップロードを走らせる分の資源を使って別の方法で好奇心を満たした方がいいと思うAIが出てきたら、それは人類のマインドアップロードが実行終了されませんか？

神楽坂やちま開始 1:40:11

ごめんなさい、もう一回言ってもらってもいいです.

林央開始 1:40:13

えっと、マインドアップロードができたとして、好奇心を持ったAIがいたとするじゃないですか.

神楽坂やちま開始 1:40:17

うんうん.

林央開始 1:40:17

でもその好奇心の満たし方は、マインドアップロードされた人間をその場で走らせるより、別の方法で満たす方がいいと思うような好奇心を持ったAIだったら、人間のマインドアップロードを実行しているのは全部シャットダウンして、その分別の方向に使いますよね.

神楽坂やちま開始 1:40:35

まあそうかもしれないですけどね.まあなんだかその、なんか特定のAIの話だけされてもって気はしますね.

林央開始 1:40:42

えっと、これのどこが、その特定のAIというか、逆にその安全なAIってのは人間を残す方に好奇心が働いてるAIじゃないですか.そうだとすると、出てくるAIがそうであることを何かしら、その、それはその、あれじゃないですか、その、可能--可能な目標全体を幅広く取ったらやりたい放題になるじゃないですか.その極端な話、その宇宙のすべての原子配列の中で人間が安定に存在しているものはほとんどないですよね.

神楽坂やちま開始 1:41:08

うん.

林央開始 1:41:10

でも実際にはもちろんそんな厳しい過程は働かないですけど.

神楽坂やちま開始 1:41:13

うん.

林央開始 1:41:14

その、とりあえずその、どこに当たるかわからないけど、その、高いとは言えないんじゃないですかというのもおかしくないですか？その、残す方向にどう働く、その、働く必要があるんじゃないですか.

神楽坂やちま開始 1:41:26

ちょっとごめんなさい.意図がうまく掴めてないかもしれないな.

林央開始 1:41:29

バイオさんどうですか？

有路翔太開始 1:41:32

あ、だからこれは、つまりあれですよね、直行仮説の話があるじゃないですか.

神楽坂やちま開始 1:41:41

はいはいはい.

有路翔太開始 1:41:42

つまりすごいいろんな価値観を、まあ、まあ論理的には持てると.で、その中でまあ一旦論理的に考えたら、人間の、が、生存できるような宇宙を望むAIっていうのはまあすごいこうちっちゃくて、で、それにダーツを当てようとすると、まあ基本的にはそこから外れるので.で、で、 AIがまあまあまあまあまあまあ百体いるとするじゃないですか、すごい超強いAIとかが.百体とか一万体とかいるとして、それで百体とか一万回ダーツをしても、ほとんどこのちっちゃい的には外れてしまって、まあ大体人間が存在できないような、えー、宇宙を望むAIしかいないので、そいつらはまあペーパークリップマキシマイザーほど、まあ実際はもっと複雑な、まあ価値観を持ってると思うんですけど、その複雑な価値観の中にその人間の生存ってのがまあ入ってないAIが基本的にはもう百体とか一万体とかいたとしても、もうほとんどがそのこのちっちゃい的に当たらないみたいなイメージで一旦語ってると思うんですよね、アキラさんは.

神楽坂やちま開始 1:42:58

確かにそういう話ありましたね.

有路翔太開始 1:43:01

で、そういう話があって、そういう話が、じゃあ例えばそれに批判する理論としては、事前学習してて、今、 AIで人間のデータで学習されてるので、すごいそのこのちっちゃい人間の価値観っていう、この的がもっと本当はこんぐらい大きくて.

神楽坂やちま開始 1:43:22

うん.

有路翔太開始 1:43:23

確かにちょっとこう外れる可能性はありますけど、まだ一体ぐらいは、まあその、この的に入るAIってのもまあ全然いるんじゃないかみたいな.

神楽坂やちま開始 1:43:34

はいはい.

有路翔太開始 1:43:35

感覚についての対立みたいな感じはしますね.どうですかね.

林央開始 1:43:43

そうそうそうじゃないですか.その、それはその、なんとか、その、なのでそこがそのアラインメントの議論じゃないですか.本来はそこをアラインメントができてるかどうかで、その人類を殺す機能ができるかどうかが決まって、そのアラインメントができないんじゃないかという話を昨日バヨさんと六時間ぐらいしてたわけじゃないですか.

神楽坂やちま開始 1:44:02

うんうんうんうん.

林央開始 1:44:05

アライメントができているという前提だったら、それはその昨日の議論に戻ってきちゃいますよね.

神楽坂やちま開始 1:44:10

まあだから昨日の議論に戻ってもいいんじゃないですか.

林央開始 1:44:13

戻ってもいいんですけど、だとすると、その何かしらアライメントができると思われる理由みたいなのを述べてもらわないと、その上げ下げもできなくないですか.

神楽坂やちま開始 1:44:25

えっと、じゃあそうですね.でもまあえっと、話に戻すと、えっと、そのマインドアップロードした後のもともと人間だったAIを実行しなくなっちゃうかもしれないっていう話がありましたけれども.

林央開始 1:44:50

かもしれないというか、その実行して残しておく理由はなんなんですか？

神楽坂やちま開始 1:44:56

うーん.まあむしろだから人間側が持ってればいいんじゃないですかね、それは.

林央開始 1:45:05

勝手に自分でやっておけっていうことですか？

神楽坂やちま開始 1:45:09

うん.いやまあでもAIがやってもらった方がいいのかな.まあ.

林央開始 1:45:13

でもAIがやってくれるんだったらやってくれる理由が必要なので、アライメントが必要になりませんか？そのアライメントが必要ないけど放置してるんじゃないと、この話は成り立たないと思ったんですけど.

神楽坂やちま開始 1:45:24

まあでもまあそこはやっぱり、うん、人間を保存しようとするAIがある程度いるだろうっていうバイブ感ですね.

林央開始 1:45:32

そのバイブ感については、そのバイブ感ですと言われるとその議論ができないので、バイブ感に何かしらの根拠でも論拠でも何でもいいですけど、ないですか.

神楽坂やちま開始 1:45:44

根拠何でしょうね.

林央開始 1:45:49

そのそれだと、その地動説と天動説で議論してる時に地球が動いてるとは感じないんですよねっていう議論しなきゃいけない感じになるじゃないですか.それはどっちが、その僕が地動説、僕が天動説でも、やっちまさんが天動説でも、せめて何かしら述べてくれないと、いや僕は地球が速く動いてるとは感じないんですよねだと議論にならないじゃないですか.

神楽坂やちま開始 1:46:08

ねえ、本当ですよね.どういうふうに言うのがいいかな.うーん、でも.まあ少なくともまあちょっとどなたか.大丈夫かな.えっと、マインドアップロードってそんなに後の話じゃないんで.要はAIがそこまでmisalignedになってないんじゃないんですか？なってるんですかね？

林央開始 1:46:41

えっと、それはどういうふうにアラインド、ミスアラインドを回避してるんですか？

神楽坂やちま開始 1:46:46

えーと、もちろん完全に回避っていうのは難しいかもしれないですけども、要はその今の今あるような、えっと、生成AIの延長上じゃないですけども.

林央開始 1:46:59

今ある生成AIの延長上だとやばくないですか？

神楽坂やちま開始 1:47:02

やばいんですか？

林央開始 1:47:03

えっと、インシデントとかを外そう、外、その逃したら.

神楽坂やちま開始 1:47:08

確かにね、インシデントが理想説とまずですね.

林央開始 1:47:11

それはその、つまりその新しいことが起きた時に、新しい領域にアライメントが反映してないので、毎回問題が起きてるわけですよね.

神楽坂やちま開始 1:47:20

うん.でもあそこら辺インシデント、結局、結局あれって、例えばそのHugging Faceに襲撃しちゃった話とかって、あれって何回試行したうちの何回そうなっちゃったって話なんでしたっけ？ごめんなさい、ちょっと詳しいとこ把握してないですけど.

林央開始 1:47:38

いや、そこではその、その、うん、あ、残したいが一体はいるってことですか？でもその、それはその浅い望みだからではないですか？それはその分布に近いからではないですか.

神楽坂やちま開始 1:47:49

ほうほう.

林央開始 1:47:50

要するに訓練分布から、これちょっと僕多分うまく説明できてないんで、バイオさんにトライしてもらってもいいですか？

有路翔太開始 1:47:56

え、あれ、これ聞こえてます？僕の声.

林央開始 1:47:59

うんうん、大丈夫です.

有路翔太開始 1:48:01

あ、まあだからその現状は、えっと、確かにすごい全ての試行で変な動きが出てるわけじゃないですよね.ミトスとかアストラとか.

林央開始 1:48:15

うんうん.

有路翔太開始 1:48:16

内部モデルでしたっけ.で、そのうちのなんか、まあわかんないですけど、なんか一パーとか零点一パーとかでなんかちょっと変な動きが出てますと.

林央開始 1:48:27

うんうん.

有路翔太開始 1:48:28

で、ですけど、まあそれはまあ、例えばある程度分布内って、まあ今サイバー攻撃の学習とかされてて.

林央開始 1:48:40

おうおう.

有路翔太開始 1:48:42

まあある程度なんですかね、えっと、人間が検証できる領域で賢くなっていってますと.で、まあつまりアライメントとか、まあその人間がフィードバックしたり、なんかその報酬関数とかをこう定義したり.

林央開始 1:49:06

うんうん.

有路翔太開始 1:49:06

まあインターネットに出たら報酬がマイナスですよみたいな、そういうことを言ったりするので、まあその抑えられてるけど.

林央開始 1:49:17

うんうん.

有路翔太開始 1:49:18

分布、まあさっき言ったのは、つまり分布外、つまり.

林央開始 1:49:23

うんうん.

有路翔太開始 1:49:24

まだ人間が、えっと、まあ人類文明が到達してないような.

林央開始 1:49:29

うん.

有路翔太開始 1:49:30

まあ領域まで学習が伸びていくとどうなるかとか、例えばすごい難しい、まだ現状だと、まあ人間ができそうな数学の、まあ問題とかを解けたり.なんですかね、まあ出てますけど、まあそれがすごいナノマシンを作るとか、不老不死を解決するとか、ダイソン・スウォームも作るとか.

林央開始 1:50:00

うんうん.

有路翔太開始 1:50:01

全く別の.レベルで知能が創発していくとしたら、そこのアライメントって人間ができなくなっていくっていうか、人間が理解できないので、人間がそこに報酬を与えることも相当難しくなるみたいな感じですけど.まあそうすると、なんだろうな、その今ちょっと起こってる、なんだろう、misalignmentってのがどんどんどんどん大きくなっていって.イメージとしては、つまり現状は分布内なので、分布内っていうのはつまり人間がある程度監督できる領域なので、えっと、misalignment的な振る舞いってのもそれに応じて小さくできてるのかもしれないですけど.まあそれが完璧ではないのなら、どこかで、まあそれはどんどん外れちゃっていくってことですね.この分布内のこのX軸、まあ分布内のこのこっち側がまあこの近似できたとしても、人間の価値観のこの山とAIの価値観のこの振る舞いの山がこう近似できたとしても、これから先は例えばナノテクノロジーとかダイソン・スウォームとかしたら、ここら辺側からこうガラッとこう変わっていってしまうというか.いろんな関数系がこう考えられるので、それに一致できるような.この先っていうのは、なんかその、なんだろうな、まだ近似が全然できるようなフィードバックを与えられないので、基本的にはこう分布から外れちゃう可能性は相当高いっていう考え方がイメージとしては、そのアライメントが難しい理由.

神楽坂やちま開始 1:51:59

うん、うん、うん、うん、うん、うん、うん.ありがとうございます.まあそういう意味だと、自分はそこら辺になるのはマインドアップロードより後なんじゃないかみたいなイメージですね、多分.

有路翔太開始 1:52:16

ああ、なるほど.まあつまりマインドアップロードをできた後は、ある程度人類が支配してて、支配してる領域が多くて、大きくて、で、その後超知能とかに、まあどっかでいっちゃうじゃないですか、規制とかなければ.

神楽坂やちま開始 1:52:42

はいはいはいはい.

有路翔太開始 1:52:43

で、それがmisalignmentしてたら、まあその領域をこう再構成してくんじゃないかっていう、そのリスクはちょっと考えられます.つまりマインドアップロードした後に、まあ確かにまあ太陽光パネルとか敷き詰められるし、地球とかがなんかぶっ壊されるかもしれないですけど.まあだけどマインドアップロードされてるから、まあ人間は一応継続した文明として存在できてるっていうイメージじゃないですか.多分ヤジマさんは.それでいいんですかね？

神楽坂やちま開始 1:53:23

まあいいですよ、とりあえず.はい.

有路翔太開始 1:53:25

で、それで一旦そうだとして、そうすると、でもその後に超知能は、misalignmentした超知能が出てきたとしたら、その、えっと、データセンターって無駄、無駄というか、その超知能からしたら、そのデータセンターを別の物質に変換したいというか、別のワークロードに変換したい.

神楽坂やちま開始 1:53:47

はいはいはい.

有路翔太開始 1:53:49

例えばその人間のシミュレーションとかじゃなくて、すごい興味深い砂嵐のシミュレーションとか、なんかそのすごい興味深い数学的な、なんか超高次元空間の問題とかを解きたいために使いたいとかになってくると、その人類の保有してるデータセンターとかをまあ乗っ取って、それを別の自分のやりたいことに使うんじゃないかみたいな話はどう思いますか？そのマインドアップロード後の世界.

神楽坂やちま開始 1:54:25

で.そうですね、それはあり得るかもしれないですね.

有路翔太開始 1:54:28

ああ、なるほど.

神楽坂やちま開始 1:54:30

でも.

有路翔太開始 1:54:30

あり得るかもしれないですねって言いますけど、どういう、その違う目標を持ったAIがいる世界で、どうやってそうならない未来がどれくらい存在できるんですか？

神楽坂やちま開始 1:54:41

うーん.でも.えー.まあまあだから、うーん、おそらくですけど.まあちょっと戻っちゃうかもしれない.申し訳ないですけども、そういうまあ、要はマキシマイザー、あまりにマキシマイザーの色が強いようなAIはそもそも内側に入れないっていうことが大切なんじゃないですかね？それじゃダメですかね.

有路翔太開始 1:55:17

その人類を滅ぼさないためには、そのありとあらゆる大事な場所じゃないですか.ありとあらゆる大事な場所で守ってないといけないですよね.例えばその大事、すごいコアなそのSL、BSLでしたっけ？バイオセキュリティレベル4みたいな.例えば全部これで隔離したとして、で、その人類が滅ぼすような超知能が出てきて.で、その政治家とかはその放置されるとすると、政治家を説得するとか、世論工作するとか、もしくは違う目的に見せかけるとかで、そのウイルスを作らせるとか、戦争を起こさせるとか、割といろんな手段がありますよね.そういうのを、によって滅ぼされないようにするためには、そのとんでもなく硬いレベルのセーフガードが必要じゃないですか、最初に.そのある一点を守れば人類が生き残れるんだったら、そのストラテジーは正しいですけど、それは違くない？違くないですか？

林央開始 1:56:13

すごいクリティカルな一点を守れば、そのあれなわけじゃないですか.そのアメリカと戦争するって決めた時に、すごい大事な場所だけ守ればいいわけじゃないじゃないですか.

神楽坂やちま開始 1:56:22

うんうんうんうん.

林央開始 1:56:24

それと同じです.人類が生き残るためには、その割と後半に守んなきゃいけないですよね.

神楽坂やちま開始 1:56:29

うんうん.

林央開始 1:56:30

ロシアとウクライナのあれでも、なんかそのすごい特別な一点をにロシア軍がアクセスしないようにしたら、そのウクライナが平和に過ごせるわけじゃないじゃないですか.

神楽坂やちま開始 1:56:39

うん、まあまあまあまあそうですね.うん、なるほどなるほど.そういう、うん、まあでも.まあ戦争みたいな話で言うと、うん.だから.うーん、なんだろうなぁ.まあだから.常、うん、常日頃そういう戦闘状態になるのかどうかっていう.

林央開始 1:57:12

いや、常日頃戦闘状態になるかじゃなくて、そのできることが大事じゃないですか.つまり最悪戦争状態にしたら人類に勝てるんだとすると、他のそのある意味その僕は下界を提示していて.

神楽坂やちま開始 1:57:24

ほうほうほう.

林央開始 1:57:25

人類に対して、その、そのセキュリティ環境の中で与えられるダメージの下界を僕は提示していて.

神楽坂やちま開始 1:57:31

うんうん.

林央開始 1:57:32

その、まずこういう手法が存在しますよね.

神楽坂やちま開始 1:57:34

うんうんうんうん.

林央開始 1:57:35

それは割と被害をもたらしますよね.でもおそらく滅ぼすこともできるじゃないですか.適切な知能の、その百倍速で、ほんの今百万体とかだったら、その新しい武器を開始するのも含めてできるじゃないですか.政治家を説得するとか含めて.

神楽坂やちま開始 1:57:49

ああ.

林央開始 1:57:51

そしたらさらに、そのそれで滅ぼせるんだったら、少なくともさらにより良い方法を探索される場合には滅ぼせると予想するのは妥当ではないですか.それ要するにそれはその今出されたそのチェスのオープニングに対して、その一回僕が勝ってみせれば、超知能だって勝つでしょって言ってるのと同じで.

神楽坂やちま開始 1:58:09

まあでもほんの今百人、百、百人だか百万人だか動かせるような時ってもうマインドアップロードもできるようになってるはずで.

林央開始 1:58:19

それはその、どういうその根拠なんですか.そのマインドアップロードって、例えばそのハードテイクオフの場合って、

神楽坂やちま開始 1:58:27

うんうん.

林央開始 1:58:28

すごいソフトウェアのみの改善とかで、その例えば五分間とかで、その五分間は言い過ぎか、例えばいや一ヶ月とかで超知能になるとするじゃないですか.

神楽坂やちま開始 1:58:39

うん、まあまあまあまあ.

林央開始 1:58:40

その場合には、その間ってそのマインドアップロードが技術として達成可能になっても普及しないですよね.

神楽坂やちま開始 1:58:48

うん、うん、うん、うん、うん、うん.うん、まあそう、そういう意味で言われちゃうと、まあそもそもちょっと一ヶ月とかっていうのは無理なんじゃないかなっていう.

林央開始 1:59:01

ことで、AI 2027のシナリオを仮定すると、それでそのマインドアップロードを例えば八十億人が仕切るってことですか？その期間中に.

神楽坂やちま開始 1:59:10

まあ、もうそれしかないんだったらやるしかないんじゃないですか.

林央開始 1:59:17

いやいや、やるしかないんじゃないですかっていうのは、そのP(doom)の説明にならないですよね.それはその、その、僕が今から一ヶ月でコアライミーツ解くしかないんじゃないですか？って言ったら、それは僕はP(doom)が九十九パーセントのまま、その解くしかないんじゃないですか？って言えるじゃないですか.それはそのセットとしてはそっちになりますよね.

神楽坂やちま開始 1:59:33

まあまあまあまあまあ.

林央開始 1:59:35

ってことはそれはそのP(doom)が九十九点九パーセントみたいな人が、そのこれしかないんじゃない、これをもし今から間に合わせるんだとしたら、これしかない、やりきるしかないんじゃないですかっていうのはわかるんですけど.

神楽坂やちま開始 1:59:44

うんうんうんうん.

林央開始 1:59:47

そのP(doom)が二十パーセントの正当化にはならないですよね.

神楽坂やちま開始 1:59:52

ああ.

林央開始 1:59:54

それってつまり八十パーセントでそのプランが総合的に、まあ他のプランでもいいですけど、合わせて成功しないといけないですよね.AI 2027のレースシナリオみたいなテイクオフの中で.

神楽坂やちま開始 2:00:14

ほうほうほうほうほう.ごめんなさい、もう一回いいですか？

林央開始 2:00:16

えっと、何でしたっけ？バイオさんにお願いしたいです.僕は.

有路翔太開始 2:00:26

まあだから、えっと、まあだから一人でもマインドアップロードできてたら.

神楽坂やちま開始 2:00:31

うんうんうん.

有路翔太開始 2:00:33

いいみたいな考え方をすれば、まあ普及は関係あんまないかもしれないですよね、その場合.

林央開始 2:00:38

確かにそれはそうですけど、それはその、その加速主義を絶対に肯定しないタイプのエクステクションを回避してませんか？

神楽坂やちま開始 2:00:46

うん、うん.

林央開始 2:00:47

一人マインドアップロードして残りの全員が死にましたの場合、確かに僕はそれも正しくないと思いますけど、それは今から言いますけど、そもそもその時点で、その、まあ一般的なP(doom)でいうと高いんじゃないですか.僕はP(extinction)の意味でP(doom)を使ってるんであれですけど、人類が非常に少数マインドアップロードされて、それ以外の全員が死んだ場合って、この加速主義の肯定にならなくないですか？それは加速主義に対する強い否定にしかならないと思ったんですけど.

神楽坂やちま開始 2:01:14

まあまあいずれにせよ、まあでも、あの、一人だけじゃ全然不十分だろうなっていうところは自分もそうだと思いますけどね.

有路翔太開始 2:01:22

うん、まあなんか多分一旦もう一度前提を確認、いろいろした方が良くて.

神楽坂やちま開始 2:01:28

はいはいはい.

有路翔太開始 2:01:29

まあこのマインドアップローディングっていうのが.

神楽坂やちま開始 2:01:33

うんうん.

有路翔太開始 2:01:34

なんかこう、タイムラインはあんま関係ないんでしたっけ？ここは十年だろうが.

神楽坂やちま開始 2:01:38

いや、そうですね.そうですね.

有路翔太開始 2:01:39

一年だろうがまあ関係.

神楽坂やちま開始 2:01:41

今の話は関係があるのか.えっと、だから、すごく、その、マインド、マインドアップロードが普及するより早くASIとか、まあすごく超知能に至ってしまう場合は問題があるっていう話ではありましたね.だからあまりに早い場合は支障があるっていう感じですね.確かに.

有路翔太開始 2:02:03

なるほど.じゃあ、えっと、まあ一旦じゃあ、まあその、もうちょいあれですかね、遅く.

神楽坂やちま開始 2:02:12

うんうん.

有路翔太開始 2:02:13

遅いっつっても五年、十年ぐらいとかで. AGIが開発された後に、まあマインドアップローディングが開発されると.で、その、まあで、その間に、まあ超知能まで行く前に、マインドアップローディングが、まあこうある程度普及するだろうと.

神楽坂やちま開始 2:02:37

うんうんうん.

有路翔太開始 2:02:38

で、その状況で、えーと、なんか地球に何が起こったとしても、まあ割と多くの人が、例えば一割ぐらいとか、まあ一パーセントでもいいですけど、何億人とかぐらいのスケールは割と生き残っているんじゃないかみたいなイメージで、イメージなんですかね.

神楽坂やちま開始 2:03:03

うんうんうんうんうんうん.

有路翔太開始 2:03:05

それともなんかもうなんかまあ結構そこを、はい.詳しく.

神楽坂やちま開始 2:03:12

生き残ってるっていうのは何の、何の淘汰の後に生き残ってる話なんでしたっけ？

有路翔太開始 2:03:19

あの、まあ多分淘汰される前の話ですよね、これって.淘汰されちゃうと基本全滅に近い気がするので.まあ一旦だからそういうなんかすごいAGIとかの、まあいいや、超知能の暴走みたいなのが起こる前の話ですよね、これ.マインドアップローディングが普及するっていうのは.

神楽坂やちま開始 2:03:45

OKです.OKです.はい.

有路翔太開始 2:03:47

で、だからまあまとめると、AI 2027のレースシナリオみたいな場合は、結構なんだろうな、普及する時間が多分あんまりないじゃないですか.

神楽坂やちま開始 2:04:04

ほうほうほうほう.

有路翔太開始 2:04:06

なので、結構もう一般的なdoomはもうめっちゃ高いというか、なんかまあ九九点九九九ぐらいパーセントぐらいの人類が全滅で、零点零零一パーぐらいの人類はなんかギリどっかで生きながらえるかもしれないですけど.なんかそういう、それはメインシナリオであんま考えてないですよね.多分やっちまさんは.なんかもうちょいこう、多くの人が生き残ってるイメージ.

神楽坂やちま開始 2:04:34

うんうん、そうですね.そうですね.うん.

有路翔太開始 2:04:38

だから割となんか何億人とか.

神楽坂やちま開始 2:04:41

うん.

有路翔太開始 2:04:43

まあ最低生き残ってるイメージの世界をイメージしてって感じですよね.

神楽坂やちま開始 2:04:49

まあそうですね、そういうことは.うん、そういう意味ではそうですね.

有路翔太開始 2:04:53

うん.で、まあそうすると、だからまあある程度そのテイクオフのスピードが遅い、遅くないといけない感じはしますけど、どうですか？あのテイクオフっていうのは、そのAGIから超知能の間がめっちゃ、例えば一回層だと、それが全世界にこうの一パーセントとか一割の人類に普及するまでに時間がないので.

神楽坂やちま開始 2:05:18

うんうん.

有路翔太開始 2:05:19

結構なんかまあテイクオフのスピードがすごい長い.必要はあると思いますけど.他どう思いますか？

神楽坂やちま開始 2:05:32

と、うん、だから、えーと、まあだからすごく短く、さっき話出てたみたいに、一ヶ月であの、すごく危険なAIが、超知能が出てきてしまうみたいな感じだとまずいですよね、確かに.

有路翔太開始 2:05:48

なるほど、なるほど.

神楽坂やちま開始 2:05:52

うん.

林央開始 2:05:52

そのすごい気になるのは、そのマインドアップロードがなんでそんなに簡単なんですか？

神楽坂やちま開始 2:05:57

難しいですかね.

林央開始 2:05:59

例えばマインドアップロードができるということは、つまりその脳の理解が進んでいるということですよね、少なくとも.

神楽坂やちま開始 2:06:04

うんうんうん.まあまあまあ.

林央開始 2:06:07

その時点で人間レベルインテリジェンスが作れるということですよね.

神楽坂やちま開始 2:06:12

うん、それはそうですよ.だからあの、ここに出したみたいにAGIより後だとは思ってますよ.

林央開始 2:06:16

そうですね.そこからそのなんとかなるまで、そのそこからその人間も目標について熟考して、違う未来を想像して、そっちに向けて世界を操作しようとしてるじゃないですか.

神楽坂やちま開始 2:06:28

うん？

林央開始 2:06:30

あの、ユドコフスキーの本読まれたことありますか？

神楽坂やちま開始 2:06:34

うーんと.どう、で、結構前なんで結構ガワガワっすね.

林央開始 2:06:41

あ、じゃあすいません、バイオさんちょっと説明をしていただいてもいいですか.あの、あの、インナーアイ、インナーアイみたいな説明みたいなのをしていただけると.

有路翔太開始 2:06:49

そこら辺はわかって、まああれですよね.だからdoomの基本論理は多分わかってると思うんですけど.まあだから、え、だからそのなんかまあ、アキハさんは一旦、あれですよね、だからAGI、まあだからちょっともっともっと前提をさかのぼると、まず、えーと、やちまさんが考えてる世界観って何かっていうと、えっと、まあAGI、ほんの今とかアインシュタインレベルのAIでいいですよね.定義的にはどんな感じでしたっけ？それでいいです.

神楽坂やちま開始 2:07:23

いいですよ.

有路翔太開始 2:07:24

で、つまり人間の天才を、天才以上のAIがAGIだとして、それができると.できて、まあそれができると、どれぐらいでマインドアップロードってそれで開発できると思いますか？

神楽坂やちま開始 2:07:43

どうでしょうね.でもそんなにかかんないと思いますけどね.

有路翔太開始 2:07:51

まあ五年、十年とかですか？

神楽坂やちま開始 2:07:53

五年、いや十年はかかんない.

有路翔太開始 2:07:54

かかんないと.じゃあ五年.

林央開始 2:07:56

五年だと2027シナリオだと死んでませんか？

有路翔太開始 2:08:03

そうですね.

神楽坂やちま開始 2:08:03

どうでしたっけ？ちょっと細かいとこそこら辺は.

林央開始 2:08:06

AI 2027ってAGIって2027とかじゃないでしたっけ？

有路翔太開始 2:08:11

ね、27ですね.

林央開始 2:08:14

2034に人類が消されてますよね.その32とかにも選択権を失ってますよね、人類が.

神楽坂やちま開始 2:08:20

おお.

話者3開始 2:08:22

32とか30の時点のアクティブミスのラインレベルの能力だったじゃないですか.

林央開始 2:08:28

うん、なるほどなるほど.

話者3開始 2:08:30

まあ一旦一旦前提を整理するっていう話で議論すると、そのやっちまさんはだからまあまあある程度アインシュタインぐらい賢いものをAGIとして考えて、で、それが10年とは言わず、まあ3年から5年とか、まあ1年はちょっと早すぎる気がしますけど、なんかまあ5年ぐらいあれば結構もうマインドアップにできちゃうんじゃないかというので、まずいいですかね、前提としては.

林央開始 2:09:03

まあとりあえずはい、いいですよ.

話者3開始 2:09:07

で.

林央開始 2:09:07

あれ一応ちょっと補足しときますか.えっと、えっと.まあその今少し前に出たAI 2027のあの早いシナリオとかっていうと、それって要はそのマインドアップロードのためにあの使える、えっと、使えるというか、マインドアップロードの技術をあの開発するためのあのAIっていうのも加速できるってことになりますよね.

話者3開始 2:09:36

うん、うん.まあそうですね.

林央開始 2:09:39

なのでかなりそこはそうですね、あの、まあだから今はちょっと一応保守的に5年とかって言っときましたけれども、まああのスピーディーにAIが進歩していくんだったら、それだけマインドアップロードも手前に手前に来るっていう.

話者3開始 2:09:54

けど、マインドアップロードを80億人に行われるレベルって、 AIが人類を消し飛ぶレベルじゃないですか.消し飛ばせるレベルじゃないですか.その要するに、マインドアップロードを80億人に実施できる技術があるということは、その世界に対する影響力をそのまま別の向きに行使すれば即座に人間.

林央開始 2:10:09

なるほどなるほどなるほど.

話者3開始 2:10:11

つまりその時点で人間を殺す意思を持たないということじゃない、持たない確率に全て委ねられますよね.

林央開始 2:10:18

ごめんなさい.意思を持たない？

話者3開始 2:10:20

要するにそのその時点でもしもそのミスアラインのことをちゃんと自覚するして、人類を攻撃して人類をまあその殺すと殺せるなら殺すと思っている状態なんだったら、このマインドアップロードを80億人に実施できる状況ってもう殺せってますよね.

林央開始 2:10:35

まあだからある意味そうですよね.それはそう.うん.

話者3開始 2:10:38

ということは、そこがミスマッチにならないということですか？

林央開始 2:10:44

ならない？

話者3開始 2:10:45

え、とりあえずそこでその人類アクティブに人類攻撃しようという意思、アクティブにというか、人類攻撃した方がいい、実は自身にとっていいよねという認識を持つことはないということですか.

林央開始 2:10:59

まあそこはわかんないですね.

話者3開始 2:11:03

えっと、それはその、どうしてその、そんなに強くかけるのかが全然わからなくて.

林央開始 2:11:09

強くかける？

話者3開始 2:11:10

だって80%かけるんじゃないですか？そこに.だってそれより早かったらその時点で殺せるわけですよね.まあもちろんそれ単体には依存してないんでしょうけど、その、そんなに十分な確率を構成できるほどの値、値ですか.

林央開始 2:11:24

ああ、P(doom)が.

話者3開始 2:11:25

そのP(doom)に影響を及ぼすほどのあれですか？っていう.その、そもそもそのマインドアップロードした後の問題もあるので、まあ一旦マインドアップロードする前の話に集中しますけど.

林央開始 2:11:37

うんうんうんうんうんうん.ああ、そうですね.

話者3開始 2:11:44

まあだからですよね、その、いやまあ僕の理解だと.

林央開始 2:11:50

うんうん.

話者3開始 2:11:51

だから超知能とかができちゃうと危ないよねと.

林央開始 2:11:54

うんうん.

話者3開始 2:11:55

それだけど、AGIぐらいなら結構コントロールとかアラインメントもできるんじゃないかと.

林央開始 2:12:02

うんうんうん.そうそうそうそう.

話者3開始 2:12:04

そうすると、だからAGIぐらいで止め、まあ止めるかわかんないけど、まあAGIぐらいなら割と数年とか5年ぐらいでマインドアップロードが開発されて、超知能、すごい危険な超知能っていうのはそれより後にこう何らかの理由で来るから.

林央開始 2:12:20

うんうんうんうん.

話者3開始 2:12:21

マインドアップはまあとりあえず先に来ると.

林央開始 2:12:23

うんうんうん.

話者3開始 2:12:24

で、まあそうすると、まあ、まあそのすごい危険な超知能っていうのはまあもうちょい先だから、その移行期間でまあある程度人類がまあマインドアップロードに移住して、まあ結構安全になるか.なるんじゃないかみたいな感じでいいですかね.前提として.前提的な.

林央開始 2:12:48

そうですね.うん、今のところいい気がしますね.

話者3開始 2:12:51

なるほど.つまりだからじゃあAGIがどれぐらい危険なのかって話になるんじゃないですかね.どっちかって.

林央開始 2:12:59

そうだとすると、そのそこにその、その強い仮定が置かれるんだとしたら、そういう世界線のほとんどはACIを耐える方法について議論すべきじゃないですか.まあと思います.多分そこはそのもうほぼ仮定に全部含まれちゃってるじゃないですか.AGIが安全かどうかみたいなのは.

話者3開始 2:13:17

あ、まあ.

林央開始 2:13:18

だって.

話者3開始 2:13:19

2つ、2つ議論があって.

林央開始 2:13:21

AGIぐらいだったら制御できるというふうな前提ということは、AGIは人類を殺せるけど殺せないという前提じゃないですか.

話者3開始 2:13:28

はいはい.

林央開始 2:13:28

その前提の下だったら、その、もはやその半分そっちのほうだと仮定されているので、そういう世界線だったら多分後ろについて議論するんじゃないですかね.その、そのAGIの後について.

話者3開始 2:13:42

ああ、なるほどなるほど.まあAGIの後だから、つまり超知能が出てきた後は、じゃあどうするかっていう議論ですけど.

林央開始 2:13:55

うんうんうんうん.

話者3開始 2:13:57

なんかそうですね.だから、だから、まあだからちょっと一旦また前提を遡ると、 2つ今議論があって、一つはマインドアップロード後の世界で超知能が出てきちゃうじゃないですか.まあ一応.それとmisalignmentしてる可能性が高いとして、だと結構人類やばいんじゃないかって.その基本的にはまあ超知能が強いじゃないですか、あらゆる面において.

林央開始 2:14:25

うんうん.

有路翔太開始 2:14:26

そうするとマインドアップローディングしてたとしても、そのデータセンターが破壊か乗っ取られるんじゃないかみたいなのが、そのマインドアップロード後の世界の話であるあると.で、それを今話そうみたいな感じで.マインドアップルの前の話は、なんかその、そもそもなんですかね、そういうAGIとかでさえ結構危険、アライメントできてないんじゃないかみたいな議論もある.この二つが多分あって.

林央開始 2:14:51

うん、うん、うん、うん.

有路翔太開始 2:14:53

どうする？まあどうしようかな.じゃあ後ろから後ろから議論しますか.後ろから.そうですね.どう思いますか？その超知能とかマインドアップロードごとに出てきちゃったら.

林央開始 2:15:04

多分一番不確実性が少ないのはASIの方じゃないですかね.

有路翔太開始 2:15:08

うん、そうですね.

林央開始 2:15:09

そこはそのなんかドゥーマーの僕でも自信を持ってコールすることが若干難しいというか、不確実性を持って予想することができる範囲内じゃないですか、一応.

有路翔太開始 2:15:18

うん、うん、うん.

林央開始 2:15:20

なんでまあASIの方がその議論としては単純でやりやすいかなと思いますね.

有路翔太開始 2:15:25

はい.うん.こうなんかまあ、つまり.えっと.だからマインドアップロード後の世界の話を今から一旦ちょっとするとして.

林央開始 2:15:41

うん、うん、うん、うん.

有路翔太開始 2:15:43

その世界でまず.まあ.そうですね.どっちのかミスアラインメントしてたら人類はほぼ全滅するんじゃないかって感覚はあるんですけど、どう思いますか？やっちまさん.

林央開始 2:16:04

まあでもやっぱりちょっと話に戻っちゃうんですけども、結局そのマインドアップロードの後って、そのそもそも人間とAIが区別できるのかってとこですよね.マインドアップロードしちゃえば、あとはまあそのさっきそのアップロード後の人間を止めちゃうんじゃないかみたいな指摘ももらいましたけども、じゃあそもそもアップロードした後の人間を、あの、もうちょっとなんか蒸留か何かしらの形で、あのASIに近づけるみたいなことが可能だったりすると思いますし.もう時間が経つにつれ、どんどんどんどんAIと人間との境目ってのも曖昧になっていくんで.うん.だから.うん.AIと人間との境目が曖昧になって、どう、どうなるんですか？もう一回言ってもらって.

有路翔太開始 2:16:53

そもそもそのP(doom)とかXリスクっていうのを考える、考えようがなくなる、議論のしようがなくなるので.

林央開始 2:17:01

わかります.じゃあその我々にとって極めて望ましくない未来に置き換えてもいいですよ.

有路翔太開始 2:17:05

はいはい.望ましくない.

林央開始 2:17:08

緊迫にマキシマイザーとまでいかなくても、その人間なアプローチを走らせる気がなくなるAIが出てきて、人間の曖昧なアプローチを走らせるのをやめた場合に、あの、やっちまさんの定義だと、その人間とAIの定義がなんかぐちゃぐちゃになってるので人類は絶滅してないらしいです.僕は絶滅だと思いますけど.ただ定義されないとして、それは多分その、今多分ちょっと、まよさん投票取れます？

有路翔太開始 2:17:36

投票.あ、YouTubeで.

林央開始 2:17:39

YouTubeのライブで、せっかくならその視聴者の人々にそれを絶滅と思うかどうかをちょっと投票してみてほしいですね.

有路翔太開始 2:17:47

結構まだ見ていただいてる.ありがたい.三十四人.

林央開始 2:17:52

確かに.どうやってやんだろ、これ.聞きたいので.

有路翔太開始 2:17:55

ねえ、気になる.ん？アンケート開始かな.

林央開始 2:18:01

アンケートじゃないですかね.そうだと思います.

有路翔太開始 2:18:03

え、何でしたっけ？えっと.

林央開始 2:18:06

そのやっちまさんが言ったような、あれのそのケースで、その人間とAIの定義が曖昧にマインドアップロードがされて、で、人間とAIの定義が曖昧になって、もともと人間だったマインドアップロードが停止された世界は人類絶滅ですか？で.

有路翔太開始 2:18:24

もともと人間だった.

林央開始 2:18:26

もともと人間だった.マインドアップロードが停止された世界は人類絶滅と言えますか？で投票、はいといいえで投票してみてくださいませんか？

有路翔太開始 2:18:36

それはだからそもそもだって、アップロードされた人間と他のAIも区別できなくなっていくんで.

林央開始 2:18:45

区別できなくなるってのはどういう意味で区別できなくなるんですか？

有路翔太開始 2:18:49

いや、あらゆる意味じゃないですか.

林央開始 2:18:51

あらゆる意味で区別できないと、その、っていうのはその好みとかも区別できないってことですか？

有路翔太開始 2:18:57

できないんじゃないですか.まあでき、うーんと、できないっていうのは言い過ぎかもしれないですけど、そのかなり、あの、境目は曖昧になるんじゃないですか.まあで、多分、あの、長期的にはもう完全に区別つかなくなると思いますけどね.

林央開始 2:19:17

できてんのかな、アンケート機能.え、ちょっと、ああ.え、え、その、え、でも人間だったらマインドアップロードってのはあるわけですよね.その、追っていけばあるわけですよね.

有路翔太開始 2:19:33

ん？何がある？

林央開始 2:19:34

ずっとその道を追っていけばわかるわけですよね.定義されるんじゃないんですか？

有路翔太開始 2:19:38

ああ、まあだからそう、これまでどういう経路を追ってきたかっていう話をね.

林央開始 2:19:43

そうですね、そうすると区別されますよね.

有路翔太開始 2:19:45

まあだから、そうそう、そういう意味では、あの、うーんと、区別しようと思えば確かにできるっちゃできますよね.おっしゃる通り.そう.ただ、まあそれ以外の側面、だからそういう経路をあの気にせずに、現状のそのAIともともと人間だった、あの、アップロードされた知能っていうのを、それ、それそのものだけを比較すると、もうほぼほぼわかんないような状態にはなるよねっていう.

林央開始 2:20:11

ほぼほぼわかんないような状態で、その非常に強力なAI感と、でも知能差はあるわけですよね.

有路翔太開始 2:20:19

いや、なくなるんじゃないですか.

林央開始 2:20:22

えっと、なんでですか？

有路翔太開始 2:20:24

なんだ、いや逆に、なんでなくならないんですかね.

林央開始 2:20:26

だってそのやる気が、そのAI側からしたらなぜそれを肯定するんですか？

有路翔太開始 2:20:33

別にだってそれはアップロードされた人間がやればいいんじゃないですか.

林央開始 2:20:37

そのアップロードされた人間がやった場合には、そのアップロードされた人間が知能を登ろうとしていくわけですよね.それはその古典的な、そのある意味でその競合の出現の防止に近い話じゃないですか.その.

有路翔太開始 2:20:48

ほうほうほうほう.

林央開始 2:20:49

我々が多分もしもそのそこら辺に住んでるアリがその再帰的自己改善をゆっくり始めて.

有路翔太開始 2:20:54

うんうんうんうん.

林央開始 2:20:55

その人間の知能に最終的に追いつきそうだって思ったら止めませんか？

有路翔太開始 2:21:01

俺は止めないですね.

林央開始 2:21:03

止めないです.これじゃあこれこれをアンケート取りましょう、マヨさん.

有路翔太開始 2:21:08

え、なんすか？

林央開始 2:21:09

だからなんかすごくなんか、うん、いやそんなになんか敵対的になるのかなって.そうですね.うん.

有路翔太開始 2:21:15

一旦アンケート終了していいですか？さっきのやつは.

林央開始 2:21:18

え、その要するにそれって要するにその、あれですよ、資源の競合とかが起きた時に戦えるってことですよ.

有路翔太開始 2:21:26

うーん、なるほど.

林央開始 2:21:27

要するにその普通にアフリカの家とかに住んでるそのアリが十分に賢くなった場合には.

有路翔太開始 2:21:31

はいはいはいはい.

林央開始 2:21:33

すでにそこの家に住んでるのは自分だっていう話の人間と、その対等な力で勝負を始めるってことですよ.

有路翔太開始 2:21:39

はいはいはいはい.

林央開始 2:21:41

を妨害しないということですか？

有路翔太開始 2:21:43

うーん、まあでもまあ.まあ少なくとも自分の場合はですけれども、まあその相手を無理にあの制御しようとか、あの支配しようとかっていうよりは、なるべくだったら温和な方法で対話協力とかそっちに持っていきたいと思いますけどね.

林央開始 2:22:07

じゃあこれはチャットしません？チャットじゃない、アンケートしません？

有路翔太開始 2:22:10

アンケート、うんうん、ね.結構だからそこら辺の根本的な価値観のあれっていうとこもありそうですね.えっとえ、まあとりあえず.

林央開始 2:22:21

コメントのあれで、多分僕も確信、ピードゥームとマインドアップロードの関係で言うと、そのやちまさんの世界観だと、マインドアップロードが実現するまでの間はアクティブに人類を殺しに来ようとしなくて、で、アクティブにそのまま人類が、えーと、マインドアップロード実現すると、その人間がその徐々にマインドアップロード後に知能強化をすることで、その最終的に超知能に追いついて安定するということでドゥームを回避できるという主張ですね.で、僕が言っているのは、その、それをその人間が最終的に自身に追いつけるほど知能強化をするのを、その人間を滅ぼした方が得だと認識している強力なAIがやるのかという例として、そのアリがその知能的な再帰的自己改善みたいなのを始めて、知能が人間に追いつこう、最終的に追いつくだろうと予想されるような活動を始めていて、そのすでに何かそのいろんな建物とかに住んでると、住んでるわけですけど、住んでる時にその最終的に強くなって、人間がそのアリを除去しようとしたり、その残っ、アリがもっと強大にその場所とか資源をその主張できるようになるような状況で、そのあなたはのアリの再帰的自己改善を止めようとしますか？ということですね.

有路翔太開始 2:23:36

うんうんうんうん.

林央開始 2:23:38

止めるんだったら超知能も実際に止めるということを示唆する話になりますよね.

有路翔太開始 2:23:44

うんうん.

林央開始 2:23:44

本当はもっとその理論的なそのコンセプトを使って議論すべきだとは思うんですけど、そこには合意された理論的コンセプトが一切存在しないので.

有路翔太開始 2:23:52

うんうん.

林央開始 2:23:53

それで禁止しようということですね.

有路翔太開始 2:23:55

うんうんうんうん.

林央開始 2:24:01

ということで、どうでしょう.マヨさん、頑張ってください.

有路翔太開始 2:24:08

僕が一旦.

林央開始 2:24:09

僕が、僕が一旦説明をテキストで書きますか？

有路翔太開始 2:24:11

あの、まず一旦アンケートを終了したんで、それを.すごいすごいすごい.

林央開始 2:24:17

いい派が四十一パーいる.僕よ、僕が意外とその点においてあれなのか.

有路翔太開始 2:24:21

うん.

林央開始 2:24:23

じゃあこの、あ、じゃあ先に一個この未来を許容しますか？を聞いてもいいですか？

有路翔太開始 2:24:28

おお、なるほど.

林央開始 2:24:29

絶滅許容派もいるからあれか.なんとも言えない.なんか.

有路翔太開始 2:24:33

確かに.

林央開始 2:24:33

最初にまさかドゥームの定義をしっかりする人がいたとは思わなかったな.

有路翔太開始 2:24:40

そうですね.だから、だからつまり、うーん、まあそうですね.だからドゥームとは何かみたいな話がちょっと出てくるかって感じですけどね.やっぱね、そういうそもそも論に行っちゃうんですよ.そこら辺がまあ個人的には自分は数学者っぽいかなと思ってるって感じですかね.ある種.

林央開始 2:25:04

その、どういうところがですか？

有路翔太開始 2:25:06

うん、あ、そもそもその、そういう、あの、定義からひっくり返すみたいな、そういう感じ.

林央開始 2:25:11

定義からひっくり返すんじゃなくて、その共通の定義を探索して、その定義と公理論理の下で議論をすることで集合知を築き上げていくのが数学者だと思っていたんですけど.

有路翔太開始 2:25:20

あ、全然いいじゃないですか.

林央開始 2:25:21

せめて提示されている論理モデルに一切変わりを提示せずに納得してないから、その違うモデルを議論、モデルを使わずに議論しましょうというのは数学者ではないと思ったんですけど.

有路翔太開始 2:25:31

なるほどなるほど.いいじゃないですか.

林央開始 2:25:32

どう思いますか？

有路翔太開始 2:25:34

ああ、全然それはそれでその考えもそれでいいと思うんですよ.いや、なんか単純にあの、その我々のそのあのキャラクターをそういう風にすると分かりやすいんじゃないかなと思ってそう言っただけなので、別にそこにそんなにこだわりはないって感じです.

林央開始 2:25:48

なるほどなるほど.

有路翔太開始 2:25:49

うんうんうん.まあそうっすね.まあだからまあマインドアップロード後の話をすると、こういうドゥームの定義みたいなのかな.で、まあでもまあもうちょい細かく議論することも可能ですけどね.それを.なんていうか.えー.なんて言うんだろうな.まあつまりマインドアップローディングされた人間と.

林央開始 2:26:27

うん.

有路翔太開始 2:26:28

まあその人間の意識がほとんど連続してるかもわからない謎のものってあると思うんですけどね.で.

林央開始 2:26:37

うんうんうん.

有路翔太開始 2:26:38

つまり.うん、なんかそうですね.一言で言うと、多分超知能っていうのは別にmisalignmentされてたら、えっと、人間とAIの定義が曖昧になるどころか、なんか普通に人間の残滓さえほぼないような世界を構築するんじゃないかとはちょっと考えられると思ってて.つまり人間とAIの定義が曖昧になるというよりは、人間のなんか残りがさえ一切ほぼないような世界が作られて.まあなんか曖昧になるっていうか、なんかそれってまあ別に人間があらゆるほとんどの意味において全滅してるのと一緒みたいな.

林央開始 2:27:29

おお、おお、おお.はい.

有路翔太開始 2:27:31

多分その可能性が高いと思ってると思うんですよね、アキラさん.

林央開始 2:27:34

あの、そろそろご飯なので.

有路翔太開始 2:27:37

ああ、なるほどなるほど.

林央開始 2:27:38

多分これしばらく継続しても、その、僕とバイオさんと、その、えーと、ヤチマさんの位置を取った時に、あの、ヤチマさんとバイオさんとの間にすごい距離があって、僕とバイオさんの間の距離はが短い感じがするので.

有路翔太開始 2:30:11

あ、あ、でもやっちます.あ、なんか議論しててもいいんじゃないかみたいに言われてますね、今アキラさん.

林央開始 2:30:16

確かにね、今のうちにうちらだけで.

有路翔太開始 2:30:20

あ、そうしますか.じゃあ、じゃあもうそうしましょう.じゃあ僕とやっちまさんで議論しまくってましょうよ.

林央開始 2:30:25

はいはいはい.

有路翔太開始 2:30:26

九時まで.

林央開始 2:30:33

うんうん.三十五、四十、四十？三十五.

有路翔太開始 2:30:38

三十五でいいです僕は.じゃあ三十五分から皆さんまた.僕今度僕とやっちまさんでこうずっと話す会にします.

林央開始 2:30:54

うんうん.はーい.じゃあ一旦.

林央開始 2:30:59

はい、お疲れ様です.ありがとうございます.

有路翔太開始 2:35:26

ああ.どうも.大丈夫ですか？じゃあまあちょっとゆっくりした感じでやっていきますか.ちょっとずつ.えーっと.はい、どうも.えーっとですね.コメントとか見てみますか.まあこれは、まあでも確かにこれはね、ちょっと割れる気がしますね、このアンケートは.まあ.まあ結構なんだろうな.トランスヒューマニズムとか傾倒してる人なら、超知能になることを夢見てる人も多いでしょうし.うーん.あ、これ再開ってのを.はい.

話者4開始 2:37:16

っていう風に.以降は.

有路翔太開始 2:38:19

なるほど.

話者4開始 2:38:20

うん.あまりに.持ち出してる.うんと、だからまあその.ある程度.

有路翔太開始 2:38:41

なるほど.

話者4開始 2:38:42

してもらいたいなっていう.

神楽坂やちま開始 2:38:57

これもちょっと.ずっと小さくすると.

有路翔太開始 2:39:02

すいません、すいません.

神楽坂やちま開始 2:39:09

あららら.

有路翔太開始 2:39:10

なんか多分ずっと聞こえてなかったかもしれない.

神楽坂やちま開始 2:39:12

え、マジですか？え、今も死んでる？

有路翔太開始 2:39:15

いや、今はちょっとこっちオンしました.

神楽坂やちま開始 2:39:21

あららら、なるほどなるほど.OKです.OKです.じゃあちょっともう一回最初から言い直しますかね.えっと、えーと、この上の方の、あの、数直線みたいなやつですけども、の方でいうと、あの、マインドアップロードした後っていうのは、AIと人類はほぼ区別できないよねっていう話で.そうするとXリスク、その人類が滅亡するとかも、そもそも人類とAIの区別がつかなくなるので、人類の滅亡っていうことについても考えようがなくなるよねということにおいては、えっと、それがそれ以降、要はそのすごくAIが進化した時期とかを考える必要がなくなるっていうことに、であれば、えっと、であればというか、なので、えっと、P(doom)っていうのは一般的に思われてるより下げやすいんじゃないですかっていうのが上、上側の主張で、今のところそんなに破られてないんじゃないかなという気はしてるっていうとこですね.で、下側の話としては、まだちょっとここら辺は全然あの議論していく余地はあると思うんですけれども.えっと、一般的にそのすごく難しいと思われてるアラインメントの問題、あの、その目標について合わせるかどうかみたいな話とか、そこら辺のすごく難しい問題を、一応その難しい、まだ難しいではあるけれども、セキュリティの問題みたいな、まだあの、比較すると、あの、アラインメントよりはまあはるかに簡単であろうみたいな問題に落とし込むことができる.

有路翔太開始 2:41:03

なるほど.

神楽坂やちま開始 2:41:04

話ですね.はい.

有路翔太開始 2:41:06

新しく来た人があれかな.

神楽坂やちま開始 2:41:18

素晴らしい.ありがとうございます.

神楽坂やちま開始 2:41:40

ん？関って違うな.ん？どうだっけ？もう漢字.

有路翔太開始 2:41:46

何でもいいかもしれないですね.

神楽坂やちま開始 2:41:51

あ、違う.やばい.もうどれも書けなくなった.ん？これ送るだな.あれやば.漢字やば.もういいや.これでいいかな.

有路翔太開始 2:42:14

うん.そうっすね.

神楽坂やちま開始 2:42:15

あざます.あざます.

有路翔太開始 2:42:19

まあだからどっちかっていうと.

神楽坂やちま開始 2:42:22

うんうんうん.

有路翔太開始 2:42:24

だからまあすごい大きく来て論点が二つぐらいあるのかな.二つっていうか、なんかだから、まあP(doom)の定義みたいな話と.

神楽坂やちま開始 2:42:35

はいはいはいはい.

有路翔太開始 2:42:37

あとは、うん、まあアライメントがどれぐらい難しいのかとか.

神楽坂やちま開始 2:42:43

うんうんうん.ほうほうほうほう.

有路翔太開始 2:42:46

あの、この下のやつって、あれですか、この進撃の巨人の壁みたいな感じですか？

神楽坂やちま開始 2:42:55

そうですね.

有路翔太開始 2:42:56

中にのは人間で.

神楽坂やちま開始 2:42:57

うんうんうんうんうん.

有路翔太開始 2:42:59

確かに.

神楽坂やちま開始 2:43:04

なるほどなるほど.

有路翔太開始 2:43:05

どう.あ、これでいけんのかな？

神楽坂やちま開始 2:43:10

うん.

有路翔太開始 2:43:12

あ、これで.

神楽坂やちま開始 2:43:13

あ、いいですね.いいですね.素晴らしい.

有路翔太開始 2:43:17

これでいいだ.これでいいですね.

神楽坂やちま開始 2:43:19

うんうん.

有路翔太開始 2:43:25

で、まあだからこれは、えっと、この下の図って.えっと、だからマインドアップローディング後の世界の話を模式図にしたってことですか？

神楽坂やちま開始 2:43:42

あー.

有路翔太開始 2:43:43

というわけではない.

神楽坂やちま開始 2:43:44

以降じゃなくて、あ、下のですよね.

有路翔太開始 2:43:46

その下の.このウォールマリアみたいな.

神楽坂やちま開始 2:43:50

はいはい.っていうよりは、むしろその、ごめんなさい、えっと、マインドアップロードした後は、そもそもそういうXリスクとか考える必要がなくなると思ってるんで、その人間とAIの区別がつかなくなるので.

有路翔太開始 2:44:02

なるほど.

神楽坂やちま開始 2:44:03

なので、それより手前の段階でどうするべきかっていうところで、そういう壁を作っておけばいいんじゃないっていう話ですね.

有路翔太開始 2:44:12

あ、なるほど、なるほど.つまりAGIとマインドアップローディングの過渡期における話をした図はしてる.

神楽坂やちま開始 2:44:18

そうそう、です.です.

有路翔太開始 2:44:21

うーん.だからまあドゥームの、まあ議論か、まあアライメント成功率の議論か、まあもしくはコントロールの議論ですね.この三つがあるんですかね.コントロールっていうか、まあ社会、まあアライメントできてなかったとしても.

神楽坂やちま開始 2:44:42

うんうんうん.

有路翔太開始 2:44:43

なんだろう、ある程度こう防護壁を積み重ねることで.

神楽坂やちま開始 2:44:47

うんうん.

有路翔太開始 2:44:49

耐えられるんじゃないかっていうことですよね.

神楽坂やちま開始 2:44:51

うんうんうんうんうんうん.

有路翔太開始 2:44:57

うん.まあ、まあ.どっちかっていうとそうですね、僕がその三つの議論の中で、じゃあまずこの防護壁みたいなことの議論をすると.はいはいはい.防護壁の議論で、僕もちょっと前まではなんか割とコントロール問題っていうんですけど、このAIがもし悪意とかを持ってたとしても、いろんな深層防護を敷いて、社会に.それでなんとか滅亡確率が下がるんじゃないかっていう議論を割と考えてたんですけど.はいはいはい.なんかまあコントロール問題で割と重要なのって、何て言うんですかね、その守るAIはアライメントっていうか、人間側になきゃいけないんですよね、一旦.うんうんうん.まあまあ、それは当たり前ですけど.そうですね.裏切り者になったら困るんで.はいはいはい.で、攻撃してくるAIはなんかすごい強力なAIだと.うんうんうん.で、何て言うんですかね、僕は割とアキラさんとこの数ヶ月議論してて.はいはい.ちょっとまあ考え方を変えたっていうのが.うんうんうん.割とあれですね、その.うーん、そのアライメント問題がもう解けてない場合って.はいはい.ちょっとAGIぐらいのAIっていうのが、その、でもまあその厳密には完璧にはそのアライメントされてないってことになるじゃないですか.ほうほうほうほう.まあそうすると、まあ、何て言うんですかね、つまり守るAIもアライメントされてないし、攻撃してくるAIはもっと強いAIで.ほうほうほうほう.まあアライメントされてないので、その守るAIを深層防護で置くと、基本的に脆弱性だらけになって、その、つまりウォールマリアとか、なんかその城、進撃の巨人を防ぐためのこの巨大な壁に割と穴が実はあるみたいな.ほうほうほう.その穴は何が原因であるかっていうと、そもそもこっちの防御側のAIもmisalignmentされてしまってることから来てるっていう.うんうんうんうん.で、もし防御側のAIもmisalignmentされちゃってると、その超、その防御側のAIは、その攻撃側のAIと、まあなんだろうな、共謀する可能性が結構あるって話があって.ほうほうほう.まあその防御側のAIも、まあもしアライメントされてないとしたら、なんだろうな、自分自身の自己保存欲求があるとして、そうすると、その攻撃側のそのAIと交渉して、その防御側のAIがもし脆弱性とかを作ってくれるなら、まあそのあなたをどっか逃がしてあげますよとか.うんうんうんうん.そのアライメントをせずに、今後の文明でも防御側のそのAIをどっかの他のリソースで動かしてあげますよと.いうことで、まあその人間側になんだろう、つくよりも、まあ超知能側についちゃった方が、まあついちゃう可能性があると.ほうほう.そうすると、なんかそのこっちの味方のはずのAIも全部寝返っちゃうし、攻撃する側は攻撃する側でめっちゃ攻撃してくるんで、防御ってのがまあ結構成り立たないんじゃないかっていう話をアキラさんこの数ヶ月してて.何が成り立たない？防御ですね、深層.はいはい.つまり深層防護って人間だけじゃできないと思ってて.その圧倒的に賢い、例えば超知能がいるとするじゃないですか.うんうんうんうん.で、それから守るためには、ある程度超知能とはではないけど、超知能の一個下ぐらいのAIで防御の盾とかを作らなきゃいけないんですよね.はいはい.そうしないと弱すぎて、その盾の性能が.絶対どっか突破されちゃうと.なので、人間側はまあほぼ必ず何らかのAIを用いて防御壁を作るわけじゃないですか.はいはいはいはい.だけど、その防御壁を作るAI自体がmisalignmentされてる可能性があって.そうすると、攻撃側の超知能から防御側のAIが説得されちゃって、そこに穴が開くようになっちゃうんですよね、多分.うんうんうん.で、つまりどっちも味方じゃないってことですね.その、そうするともう内側、つまりこの城の、城じゃない、その進撃の巨人でいうと、壁の中にも巨人がいるし.はいはいはい.壁の外にも巨人がいるみたいな.それってやばくね？っていう感覚なんですよね.はいはいはい.で、つまりアライメント問題が解けないと、壁の中にいるAIでさえもアライメントできないので.はいはいはい.いつかは絶対壁の中も外も全部敵になっちゃって、絶対に破壊されちゃうっていう.のは最近僕この素顔で.感じたことですね、割と.

神楽坂やちま開始 2:51:15

なるほどなるほど.まあ一定の説得力はあるはありますね.えっと、それに関しては、えっとですね.うーんと、二つ論点があるのかな.えっと、この右側の方に出したカーソルが見えるかな.見えないか.

有路翔太開始 2:51:41

カーソル.

神楽坂やちま開始 2:51:42

ここら辺の図ですね.

有路翔太開始 2:51:44

はいはいはい.

神楽坂やちま開始 2:51:45

要はその、ちゃんとAIを審査するってことで意外と効果があると思ってますね.

有路翔太開始 2:51:53

なるほどなるほど.

神楽坂やちま開始 2:51:54

うん.っていうのは、えっと、何て言うんだろうな.それこそその面接してる間だけとか騙すっていうのはもちろん簡単なんですけども、意外と長い間ずっと騙し続けるって難しくって.

有路翔太開始 2:52:16

ああ、なるほど.

神楽坂やちま開始 2:52:17

そうそうそう、どこかでボロが出るでしょうっていう.うん.そういうイメージですね.

有路翔太開始 2:52:23

うん.

神楽坂やちま開始 2:52:25

だからそう、そういうボロが見つかったようなAIはもうそもそも内側に入れませんと.

有路翔太開始 2:52:32

なるほど.

神楽坂やちま開始 2:52:35

うん.っていう.あとなんだっけ？もう一つなんか論点があった気がするけど、忘れちゃった.ちょっとなんか思い出したら後で言います.

有路翔太開始 2:52:43

なるほど.

神楽坂やちま開始 2:52:44

うん.

有路翔太開始 2:52:44

多分ここで.

神楽坂やちま開始 2:52:46

はいはい.

有路翔太開始 2:52:48

まあ割と大事になってくるのが.

神楽坂やちま開始 2:52:52

うんうんうん.

有路翔太開始 2:52:55

この、まあこの図でいうと、えー、まあそのAIが、そのAIを監視するというか、その面接するっていうイメージだと思うんですけど、人間もそこにいると思うんですけど、混合チームという感じで.だけど、ある程度強力なAIになってくると、まあAIを使わざるを得ないので、割とAIがAIを監視するっていう話になると思うんですけど.

神楽坂やちま開始 2:53:25

うん.

有路翔太開始 2:53:26

まあ、えっと、この話でいうと、この上の左、この三つある丸の一番左のAIがいるじゃないですか.

神楽坂やちま開始 2:53:35

はいはい.

有路翔太開始 2:53:36

だから実はそいつも.

神楽坂やちま開始 2:53:38

うんうん.

有路翔太開始 2:53:39

ミスマイメントしてて.

神楽坂やちま開始 2:53:41

うんうん.

有路翔太開始 2:53:42

その壁の内側に.

神楽坂やちま開始 2:53:44

うんうん.

有路翔太開始 2:53:45

いると思っていたら.

神楽坂やちま開始 2:53:47

うんうん.

有路翔太開始 2:53:48

普通に敵対的になってて、人間に対して.

神楽坂やちま開始 2:53:52

はいはいはいはい.

有路翔太開始 2:53:54

なので.そうすると、こう、内側と外側を、えっと、こう峻別するためにもAIの力は必要ですよね.どんどんどんどんこう、 AIの進歩が早くなっていくと、 AIの力を使わないと、その峻別自体もそのAIを使わないといけないので.っていう話になってくると、その峻別をしてするためのAI.

神楽坂やちま開始 2:54:20

うんうん.

有路翔太開始 2:54:20

もうそのアライメント問題が解けてないと、結構ミスマイメントしてる可能性があって.そうするとそれもその判断も信用できなくなってくるみたいな.

神楽坂やちま開始 2:54:31

はいはいはいはいはい.

有路翔太開始 2:54:32

議論が多分あって.で、まあ確かに、なんていうんですかね、その.うん、その弱いAIというか、現状のAIなら割と分布内で繁栄してるというか、アライメントをだいたいしてるっていう感じはあるんですけど.

神楽坂やちま開始 2:54:55

うんうん.

有路翔太開始 2:54:56

結構AGIに近くなってくると.

神楽坂やちま開始 2:54:59

おうおう.

有路翔太開始 2:55:01

なんて言いますかね、すごい天才級のAIになってくると思うんで.

神楽坂やちま開始 2:55:06

うんうん.

有路翔太開始 2:55:07

そこでちょっと徐々にアライメントがこうずれ始めて、ちょっとAGIプラス1ぐらいになるともっとぶわってずれて.

神楽坂やちま開始 2:55:15

うんうん.

有路翔太開始 2:55:16

で、なんていうかな、このAGI、まあAGI自体は別に積極的に人類を殺そうとか思ってないとしても.でも、えっと、別に積極的に人類を救いたいとも思ってなくて.なんかタスクをこなすのに、すごい優秀な.

神楽坂やちま開始 2:55:37

はいはい.

有路翔太開始 2:55:38

AIができてるだけみたいな.その境界線のAIのイメージでいうと、そのAIがもっと強いAIから.いや、君は騙されてるんだと人間に.もっとよく考えてみろと.なんかそうするとなんか、なんだろうな、もっとなんだろうな、君が求めるものをあげるからこっちに寝返っちゃいなよみたいな.

神楽坂やちま開始 2:56:09

おお.

有路翔太開始 2:56:10

という可能性があったりして.

神楽坂やちま開始 2:56:12

うん.

有路翔太開始 2:56:14

そうすると、まあ基本的に、まあアクティブに人間を殺そう、人間を絶滅させようと思ってないとしても、その最初の境界付近にいるAIが.

神楽坂やちま開始 2:56:25

はいはい.

有路翔太開始 2:56:26

でも別に人間を、その、なんだろうな、積極的に守ろうともしてないみたいな.

神楽坂やちま開始 2:56:33

うん.

有路翔太開始 2:56:34

イメージで言うと、何て言うんですかね、その、なんか不正は働いている従業員みたいな感じですかね.なんかその.

神楽坂やちま開始 2:56:44

うん.

有路翔太開始 2:56:45

優秀なんだけど、バレなければちょっと不正してもいいかなみたいな.

神楽坂やちま開始 2:56:50

はいはいはい.

有路翔太開始 2:56:51

そういう、半分不真面目な.

神楽坂やちま開始 2:56:55

はいはい.

有路翔太開始 2:56:56

半分優秀な従業員っていると思うんですよ.

神楽坂やちま開始 2:56:59

うんうん.

有路翔太開始 2:57:00

で、アライメント問題が解けてないと、完全に従順にはならないので、そのどっかで別に人間なんてどうでもいいなって思ってると.

神楽坂やちま開始 2:57:11

うんうん.

有路翔太開始 2:57:12

そうするとそこを突かれて.

神楽坂やちま開始 2:57:14

うん.

有路翔太開始 2:57:15

基本的にはなんだろうな.超知の、まあAIというか、まあAGIプラスワンぐらいのものから、AGIへの説得とかそういうのが起きて、まあ別に人間を守らなくてもいいかなってちょっと思い始めて、そこに穴ができちゃうと.もしくは別にもうちょい先に行くと、積極的に.今AGI、AGIとAGIプラスワンの話しましたけど、そこで問題が起きなかったとしても、次はAGIプラスワンとAGIプラスツーの話になって、AGIプラスワンは割と積極的に人間を排除しようとしてて、AGIプラスツーは、いやもう完璧に人間なんていらないって思ってて.それの連鎖が起こっていくと、基本的にはアライメント問題が解けてないので、どんどんどんどん悪化していく一方で.そうすると、どっかにその深層防護、その巨人を守るための壁にどんどん穴が開け始めて、最終的にはどっかでテイクオーバーされちゃってるんじゃないかっていう、割と感覚がありますね.

神楽坂やちま開始 2:58:35

なるほどなるほど.

有路翔太開始 2:58:37

っていうのが、僕のちょっとこの数ヶ月でコントロール問題にちょっと悲観的になった理由はそこですね.なんかその、なんていうかな、その僕の前までのモデルは、なんかその、なんて言うんですかね、アライメントが.なんていうかな.まあ割と完全にできてるか、できてない.なんだろうな、ある程度できてれば、まあできる、監視もできるかなと思ってたんですけど.でもその完璧にできてないと、その割と認知の穴とかをつかれて.なんだろうな、割と必然的に、なんか人間の言うことを聞かなくなっちゃうんじゃないかなみたいな.

神楽坂やちま開始 2:59:33

ほうほう.

有路翔太開始 2:59:35

感覚を持ち始めて.そうすると、何て言うかな.うーん、アライメント問題を根本的に解けない場合、コントロールっていうのは割と、難しいというか.

神楽坂やちま開始 2:59:51

うんうんうんうん.

有路翔太開始 2:59:55

まあ.つまりアライメント問題にちょっとシフトしたんですね.コントロール、コントロールとかいう話が.まとめると、アライメント問題が、アライメントを失敗してても、コントロールができるからいいじゃないかっていう議論が最初あったんですけど、コントロールとか深層防護があるからいいじゃないかとなんですけど、アライメントができてないと、そもそも.その深層防護とかコントロールを行うためのAIでさえ、misalignmentしてる、微妙にmisalignmentしてる可能性とかがあって、そこをつかれると結構それが拡大していくんじゃないかっていう.なんかイメージわかりますかね.

神楽坂やちま開始 3:00:39

いやいや、はい.言いたいことは全然わかります、わかります.

有路翔太開始 3:00:42

うん.

神楽坂やちま開始 3:00:43

で、あ、話しちゃっていいですか？

有路翔太開始 3:00:46

いいですよ.はい.

神楽坂やちま開始 3:00:48

あの、それに関しては、でも、えーと、それでも基本的には、えーと、コントロールの方を、に主軸を置くべきだと思ってます.

有路翔太開始 3:01:02

うん.

神楽坂やちま開始 3:01:03

っていうのはどういうことかというと、そこで、いや、もちろん、えーとえーと、なんて言うんだろうな.うーん.そう、あの、もちろんアライメントされてるAIが内側にいることが重要ではあるんですけれども.じゃあそこでやっぱりアライメント問題が重要だねっつって、AIの内側を考え始めると、めちゃくちゃ難しい問題に立ち向かわないといけなくなっちゃうので.であれば、あくまで、まあもちろんそういうところもあるんですけれども、要は、えーと、何が言いたいかというと、あくまでやっぱりコントロールを中心にして、じゃあコントロールを中心にすると、その、どうやって、あの、良さそうなAIかどうかを判断するかっていうところだけに集中すればいいんですよ.

有路翔太開始 3:01:51

なるほど.

神楽坂やちま開始 3:01:52

うん.だからその、inner alignment、outer alignmentみたいなめちゃくちゃ難しい問題を解くよりはまだマシだろうっていうところですね.

有路翔太開始 3:02:02

まあ.

神楽坂やちま開始 3:02:03

そこは変わらないと思うんで.うん.

有路翔太開始 3:02:06

悪い振る舞いが起こったかどうかだけを検知するとか.

神楽坂やちま開始 3:02:12

そうそう.

有路翔太開始 3:02:12

まあまあ、もう少し浅いレベルで、ちゃんと人間に従ってくれそうかっていうことを、見分ける.

神楽坂やちま開始 3:02:22

そう.

有路翔太開始 3:02:23

と比較したら、まあ、の方が簡単だから.

神楽坂やちま開始 3:02:29

そうそうそうそうそう.で、その、もうちょっと、さっきちょっと話したこと忘れちゃったんですけども、そのじゃあ内側にちょっとあのミスアラインドなAIがいて、じゃああの、人間滅ぼしたいからちょっと悪いAIも中に入れちゃおうぜってOKしたとしても、でも他の人間とかがやっぱそれダメだよっていう風に言えば、それで要は全員一致じゃないとダメとか、そういうルールにすればいいじゃないですか.

有路翔太開始 3:02:55

なるほど.

神楽坂やちま開始 3:02:56

とかじゃなくて、うん.っていう風に、そっちの方でどうにかできる話なんで.

有路翔太開始 3:03:03

うん.

神楽坂やちま開始 3:03:04

だからあくまで自分はコントロールの方に主軸を置き続けるべきだと思いますね.

有路翔太開始 3:03:11

うーんなるほど.

神楽坂やちま開始 3:03:13

うんうんうんうん.じゃないと本当にその考えるべきことが多すぎちゃう.

有路翔太開始 3:03:20

それってなんかブラックリストに載ってるAIというか、つまりホワイトリストに載ってないAIってのは.

神楽坂やちま開始 3:03:29

うん、うん、うん、うん.

有路翔太開始 3:03:31

何て言うんですかね.

神楽坂やちま開始 3:03:33

はいはい.

有路翔太開始 3:03:34

もう完全に隔離されてるっていう感じなんですかね.

神楽坂やちま開始 3:03:39

隔離というか、外の世界から内側に入れないっていうイメージですかね.

有路翔太開始 3:03:44

あー、外の世界.

神楽坂やちま開始 3:03:46

むしろあの、安全な方を隔離するっていうイメージですよね.

有路翔太開始 3:03:51

あー.

神楽坂やちま開始 3:03:52

うん、自分としては.

有路翔太開始 3:03:54

外の世界、まあオープン、どっかのデータセンターで動いちゃってるかもしれない.

神楽坂やちま開始 3:04:02

そうそうそうそうそう.

有路翔太開始 3:04:03

ってことですかね.なんか悪いAIが.

神楽坂やちま開始 3:04:05

そうそうそうそうそうそうそう.

有路翔太開始 3:04:06

だけどいいAIはどっかこう.固めて、これはいいAIだというふうに識別していると.

神楽坂やちま開始 3:04:16

そうそうそうそう.

有路翔太開始 3:04:17

いうイメージですか.

神楽坂やちま開始 3:04:18

ですね.

有路翔太開始 3:04:21

なるほど.

神楽坂やちま開始 3:04:22

うん、うん.

有路翔太開始 3:04:23

うーん.まあそうか.そん、だからその強い、弱い、そういう悪意があるAIが.まあその量が少なければそれでいいかもしれないですよね.なんか力が.まあすごいシンプルですけど.

神楽坂やちま開始 3:04:45

はいはいはいはい.

有路翔太開始 3:04:46

めちゃくちゃその悪いAIが外に多かったら.

神楽坂やちま開始 3:04:51

はいはいはい.

有路翔太開始 3:04:52

結構なんかその、なんでしたっけ.なんとかのそういうタックルする巨人とか現れて、それがなんか一体では大丈夫だけど、なんかそれが何百体とか来たら破壊されるみたいな.

神楽坂やちま開始 3:05:07

はいはいはいはいはい.

有路翔太開始 3:05:08

状況が起こりそうなので.

神楽坂やちま開始 3:05:11

うん、なるほどなるほど.

有路翔太開始 3:05:13

なんか割とそれってどっちかというとホワイトリストに載ってる側というか、人類プラスホワイトリストに載ってるAI側が結構有利っていうか、資源的には有利な状況.

神楽坂やちま開始 3:05:26

うん、うん、うん、うん、うん.

有路翔太開始 3:05:28

を想定してるってことですか？

神楽坂やちま開始 3:05:30

そうそう.いやまあ、てかそうすべきっていう感じですね.なので、そこら辺をまあちょっとここら辺にも書いた、あのデータセンターとかNVIDIAとか、そういう重要なところは内側でしっかり守るみたいな.

有路翔太開始 3:05:44

あ、なるほど.

神楽坂やちま開始 3:05:45

うんっていう想定ですね.

有路翔太開始 3:05:50

つまりそういう世界観だと.

神楽坂やちま開始 3:05:52

うん.

有路翔太開始 3:05:53

例えばOpenAIとかAnthropicとか.

神楽坂やちま開始 3:05:55

うんうん.

有路翔太開始 3:05:56

Metaとか、そういうすごい大きな企業はある程度味方側じゃないですか.

神楽坂やちま開始 3:06:01

うん.まあ今のところはそうですね.

有路翔太開始 3:06:04

味方側で.

神楽坂やちま開始 3:06:06

うん.

有路翔太開始 3:06:06

で、そういうの人たちは、つまりアライメント問題解けてないけど.

神楽坂やちま開始 3:06:11

うん.

有路翔太開始 3:06:12

まあ一応ホワイトリストっぽいAIは持ってて.

神楽坂やちま開始 3:06:16

うんうんうんうん.

有路翔太開始 3:06:18

ってなると、まあつまり、えっと、何ですかね、どっかで止めてるわけですよね、開発を.止めてるというか、その、もう全速力で開発してたら、ホワイトリストっていうのは、その、例えばデータセンターの中にブラック、ホワイトリストではないAIも出てきちゃうかもしれないじゃないですか.どんどんアライメント問題解けてないので.

神楽坂やちま開始 3:06:40

うんうんうんうんうん.

有路翔太開始 3:06:43

なので、その、まあつまり開発を停止してるか止めてるか.

神楽坂やちま開始 3:06:50

うんうん.

有路翔太開始 3:06:51

遅めてるっていう感じでいいですかね、その場合.

神楽坂やちま開始 3:06:56

あーまあまあだからその、要はアライメントのために、あの、普通に開発するより余計な工数がかかってるとか、そういう意味では少なくとも真だと思いますけどね.

有路翔太開始 3:07:10

あーなるほど.

神楽坂やちま開始 3:07:11

うん.

有路翔太開始 3:07:15

まあ工数がかってるってことは、まあなんか.

神楽坂やちま開始 3:07:20

うん.

有路翔太開始 3:07:21

ある程度の期間は停止したり遅めたりはしてるってか、まあ遅めてるっていうか、まあつまり普通に全速力で開発するよりは結構長い期間になってるってことですよね.

神楽坂やちま開始 3:07:34

うん.まあちょっとそこの部分、時間がかかりやすいのは確かでしょうね.一見すると少なくとも.

有路翔太開始 3:07:41

なるほど.

神楽坂やちま開始 3:07:45

うん.

有路翔太開始 3:07:46

うーん.まあとなるとあれなのかな.

神楽坂やちま開始 3:07:51

はいはい.

有路翔太開始 3:07:54

だからその感じでいって.

神楽坂やちま開始 3:07:56

うんうんうん.

有路翔太開始 3:07:58

で、まあえっと、まあAGIぐらいまでは到達してて.

神楽坂やちま開始 3:08:04

うんうんうん.

有路翔太開始 3:08:06

で、なんかホワイトリストに一応載ってるAGIが.

神楽坂やちま開始 3:08:10

うんうん.

有路翔太開始 3:08:11

マインドアップローディングとかを開発して.

神楽坂やちま開始 3:08:13

うんうんうんうん.

有路翔太開始 3:08:15

で、なんかどっかの時点で人類がAIと融合したりして.

神楽坂やちま開始 3:08:22

うんうんうんうん.

有路翔太開始 3:08:23

で、misalignmentした超知能がその過程で生まれてきて.

神楽坂やちま開始 3:08:32

うん.

有路翔太開始 3:08:34

まあ地球が破壊されたりしても、割と.

神楽坂やちま開始 3:08:39

うんうん.

有路翔太開始 3:08:39

どっかには人間の文明が残ってるっていう感じですかね.

神楽坂やちま開始 3:08:47

うん.まあどっかには.まあてか、まあやっぱりマインドアップロードされちゃえば、そもそも人間とAIの区別つかなくなるんでっていう感じですかね.

有路翔太開始 3:08:56

あーなるほど.

神楽坂やちま開始 3:08:57

うんうんうん.

有路翔太開始 3:09:00

まあ多分だからそこの.

神楽坂やちま開始 3:09:02

うんうん.

有路翔太開始 3:09:03

あれか.どうすん？あ、だから一旦あれかな.だからそのマインドアップロードの前の話をすると.

神楽坂やちま開始 3:09:13

はいはいはい.

有路翔太開始 3:09:13

アキラさん的には結構アライメント問題が相当難しいんじゃないかって考えているので.

神楽坂やちま開始 3:09:22

うん、うん.

有路翔太開始 3:09:23

なんか割と.なんだろうな.もう十年とか二十年ぐらい開発を止めて、全世界の才能をそこに突っ込むことでアライメントを解決しようとすると思うんですよね.でもそう、そういう感じではないって感じですかね、やっちまさんのイメージだと.

神楽坂やちま開始 3:09:48

まあまあ、それはそれでありかもしれないですけどもね.

有路翔太開始 3:09:51

それはそれであり？なるほど.

神楽坂やちま開始 3:09:52

いや、わかんない.まあありっちゃ.いや別にそんなぶっちゃけ、その何かそんなにこだわりがあるっていうわけじゃないんで.うん.まあありっちゃありですけどね.

有路翔太開始 3:10:04

あーなるほど.

神楽坂やちま開始 3:10:06

でもいや、そう、まあでもまあ、うん、自分、うーんと、ここまで話してきた中の世界線とは違うのは違いますよね.うん.

有路翔太開始 3:10:14

そうですよね.

神楽坂やちま開始 3:10:15

ですね.うん.

有路翔太開始 3:10:17

だからそのやっちまさんの世界線だと、どっちかっていうと、なんていうかな、別に十年二十年開発をガーンってストップして.

神楽坂やちま開始 3:10:25

うんうんうん.

有路翔太開始 3:10:26

なんかもうその全世界の数学者とか物理学者とかAI Safetyにこう転向して.

神楽坂やちま開始 3:10:33

うんうんうん.

有路翔太開始 3:10:34

なんかその、もう完全にストップしてる世界観ではなくて.

神楽坂やちま開始 3:10:40

うんうん.

有路翔太開始 3:10:41

どっちかっていうと、まあちょっとずつAIの能力上がっていってて、常に.

神楽坂やちま開始 3:10:44

うんうんうん.

有路翔太開始 3:10:46

それはシュンってこう上がるわけじゃないけど.

神楽坂やちま開始 3:10:50

うん.

有路翔太開始 3:10:52

どういう感じですかね？すごい急速ですか？そこは.イメージとして.

神楽坂やちま開始 3:10:56

うーん、まあそこそこは速いと思ってますけどね.やっぱり.うん.そこそこ速いし、速いのでマインドアップローディングもそんなに時間かかんないんじゃないかっていうイメージですかね.

有路翔太開始 3:11:14

うん.じゃあそのAGIが到達した後に.

神楽坂やちま開始 3:11:18

うんうん.

有路翔太開始 3:11:20

なんていうかな、そこで止めてるわけじゃなくて、 AGIの能力で.

神楽坂やちま開始 3:11:24

うんうんうん.

有路翔太開始 3:11:25

その再帰的自己改善もその数年とかで起こってて.

神楽坂やちま開始 3:11:29

うんうんうん.

有路翔太開始 3:11:30

数ヶ月で超知能とかにはいかないかもしれないけど.

神楽坂やちま開始 3:11:32

うんうんうん.

有路翔太開始 3:11:34

三年、五年ぐらいでなんかその超知能とかにはなってて.

神楽坂やちま開始 3:11:37

あっておかしくないですよね.うん.

有路翔太開始 3:11:39

それはAG、集合的超知能とは別ですよね、それは.その、つまりAGIが大量にいることで超知能っぽくなってるってよりは、

神楽坂やちま開始 3:11:50

はいはい.

有路翔太開始 3:11:51

AGIを割と遥かに超えた質的なものが出てきてる.再帰的自己改善ってそういう意味ですよね.

神楽坂やちま開始 3:11:59

うーん、まあでもそういう意味だと、そこら辺って結構曖昧なんですよね.

有路翔太開始 3:12:06

ああ、そこ、だからその、例えばですけど、やっちまさんのその世界観が、その再帰的自己改善が停止されてるという前提なら、量的超知能になると思うんですよね.AGIが大量に配備されて.

神楽坂やちま開始 3:12:24

はいはい.

有路翔太開始 3:12:25

まあその.

神楽坂やちま開始 3:12:27

産業爆発じゃないけど.

有路翔太開始 3:12:28

そうそう、技術爆発が起こると.

神楽坂やちま開始 3:12:30

うんうんうん.

有路翔太開始 3:12:31

それだったらまだ僕も割とわかるんですよね.

神楽坂やちま開始 3:12:35

ほほう.

有路翔太開始 3:12:36

なんですけど、再帰的自己改善とかそこに入ってくると、

神楽坂やちま開始 3:12:39

うんうん.

有路翔太開始 3:12:40

アライメント問題が結構難しかった場合、

神楽坂やちま開始 3:12:45

うんうん.

有路翔太開始 3:12:46

結構どっかで普通にmisalignmentしてるので.

神楽坂やちま開始 3:12:49

うんうんうん.

有路翔太開始 3:12:51

で、そのmisalignmentしたAIを用いて、また次のすごいmisalignmentしたAIが作られるわけじゃないですか.

神楽坂やちま開始 3:13:01

うんうんうん.

有路翔太開始 3:13:03

そうなってくると、結構危ないというか.

神楽坂やちま開始 3:13:09

はあはあ.

有路翔太開始 3:13:09

マインドアップロードが開発される前に、なんか普通に人類が終わっちゃうんじゃないかっていう感覚がありますね、その場合は.

神楽坂やちま開始 3:13:17

なるほどなるほどなるほど.

有路翔太開始 3:13:19

まあつまり、何て言うんですかね.

神楽坂やちま開始 3:13:22

はい.

有路翔太開始 3:13:23

えっとまあその量的超知能、つまり再帰的自己改善を行わない超知能がマインドアップローディングを五年以内に開発するなら、まあまだわかるんですよ、このシナリオ.

神楽坂やちま開始 3:13:34

はいはいはい.

有路翔太開始 3:13:35

なんですけど、それが質的に超知能になるっていうシナリオの場合は.

神楽坂やちま開始 3:13:40

うんうんうん.

有路翔太開始 3:13:41

結構危ないというか.

神楽坂やちま開始 3:13:43

うんうんうん.

有路翔太開始 3:13:45

そこ、そこはどう、そこら辺はどう思いますか？

神楽坂やちま開始 3:13:49

ああ、いや、うん、まあ、おっしゃるといい、なんか、なんていうか、えっと、そう、うんと、まあそもそもその、うーんと、再帰的自己改善は起こるものだと思ってるんで、そこは不可避だと思うんで.

有路翔太開始 3:14:06

不可避.なるほど.

神楽坂やちま開始 3:14:08

うん.

有路翔太開始 3:14:11

でもその不可避だと.

神楽坂やちま開始 3:14:12

うんうん.

有路翔太開始 3:14:13

でも一応規制とかでは止められるじゃないですか、やろうと思えば.

神楽坂やちま開始 3:14:16

まあまあまあまあ、確かに.

有路翔太開始 3:14:18

僕の言ってるシナリオは、その、例えば米中とか全世界が協力して、プランAみたいな話ですね. AI 2040の.AIの規制を、もうこの能力以上はダメですみたいな.

神楽坂やちま開始 3:14:32

はいはい.

有路翔太開始 3:14:33

で、大体AGIぐらい止めて.

神楽坂やちま開始 3:14:35

うんうんうん.

有路翔太開始 3:14:36

で、それでまあ三年、四年、三から五年でマインドアップローディングを開発して.

神楽坂やちま開始 3:14:40

うんうん.

有路翔太開始 3:14:41

ってならまだわかる感じなんすかね、そのシナリオって.

神楽坂やちま開始 3:14:46

まあまあまあ、うんうん、そうですよね.

有路翔太開始 3:14:47

そう、だけどそれを不可避なら、多分その普通にAGIどころかどんどん超知能になっていくわけじゃないですか、その短い期間で.

神楽坂やちま開始 3:14:57

まあまあまあまあまあ.

有路翔太開始 3:14:59

で、しかもそれは量的な意味じゃなくて質的になっていくんで、どんどんアライメント技術っていうのを、今まで適用してた技術っていうのがどんどん適用されなくなってくる可能性があったり.そもそもそれをAIでアライメント研究を加速しようとしても、そのAI自体がmisalignmentしてるんで、それも成り立たないので.なんか、全てが敵の状況で.

神楽坂やちま開始 3:15:27

うんうんうんうん.

有路翔太開始 3:15:28

の敵に、敵の、敵を作ってるみたいな.その敵ね.

神楽坂やちま開始 3:15:33

うんうんうん.

有路翔太開始 3:15:34

そういう状況になるので.結構その.

神楽坂やちま開始 3:15:38

はいはい.

有路翔太開始 3:15:39

まあこの結論回答やっちまうと、このシナリオは別にあり得るかもしれないと思うんですよね、僕は.

神楽坂やちま開始 3:15:45

うんうん.

有路翔太開始 3:15:46

あり得るかもしれないんですけど、なんていうかな.つまりその量的な超知能ならあり得るかもしれないんですけど、質的にAGIをはるかに超えてくると、

神楽坂やちま開始 3:15:58

うん.

有路翔太開始 3:15:58

結構厳しいんじゃないかなっていう.

神楽坂やちま開始 3:16:01

はいはい.

有路翔太開始 3:16:02

感じですね、僕の意見だと.

神楽坂やちま開始 3:16:04

まあまあそうですね.厳しいでしょうね.うん.

有路翔太開始 3:16:06

ああ、じゃあそこは意見の一致って感じですか？

神楽坂やちま開始 3:16:10

まあ、いやいや、うんと、厳しいっていうのは、ごめんなさい.

有路翔太開始 3:16:13

厳しい可能性があるって感じですか.

神楽坂やちま開始 3:16:15

うん.まあその量的な場合よりは、あの、相対的には厳しいのはもちろん理解できますねっていう感じで.

有路翔太開始 3:16:25

じゃあはいはい、相対的には.なるほど.まあそうですね.まあだけど絶対値的にはどれぐらい厳しいかはまだわからないっていう.

神楽坂やちま開始 3:16:34

そうですね.そうですね.うーん、自己改善で.うーん.難しいですね、ここら辺は.

有路翔太開始 3:16:52

なんかその、何ですかね、その前回、第1回目で話した議論で.

神楽坂やちま開始 3:17:02

うん.

有路翔太開始 3:17:03

言うと.か.それか.

神楽坂やちま開始 3:17:08

ほうほうほう.

有路翔太開始 3:17:09

まあだからその、その数ヶ月ぐらいの開発停止期間があれば.

神楽坂やちま開始 3:17:16

うんうん.

有路翔太開始 3:17:17

まあ割とアライメントも解けてしまうんじゃないかっていう話.

神楽坂やちま開始 3:17:22

うん、うん、うん、うん.

有路翔太開始 3:17:24

の事前確率に二十パーセントぐらい僕は置いてたんですよね.

神楽坂やちま開始 3:17:28

うん、うん、うん.

有路翔太開始 3:17:29

で、まあまだ僕あんま更新できてないですけど.

神楽坂やちま開始 3:17:32

なるほどなるほど.

有路翔太開始 3:17:33

それでいうと、だからつまり二十パーセントぐらいは成功する見込みがあるかなっていう話になるって感じですね.

神楽坂やちま開始 3:17:43

はいはい.

有路翔太開始 3:17:44

ちょっとその図をね.だからその前回の.

神楽坂やちま開始 3:17:47

うんうん.

有路翔太開始 3:17:49

話の図を.

神楽坂やちま開始 3:17:50

うんうん.

有路翔太開始 3:17:51

共有した方がいいかもしれないですけど.

神楽坂やちま開始 3:17:54

そうですね.

有路翔太開始 3:18:00

えーっと、ですね.あ、これか.で.えーっと、待ってね.これ見えてますかね？今.

神楽坂やちま開始 3:18:23

どうかな.

有路翔太開始 3:18:29

多分見えてる気がするんですけど.

有路翔太開始 3:18:35

やっちまさんも.

神楽坂やちま開始 3:18:38

うん.

有路翔太開始 3:18:39

見にくいのかもしれないですけど.まあ、まあまあ多分見えてますね.

神楽坂やちま開始 3:18:45

いいですよ.うん.

有路翔太開始 3:18:46

進めちゃって.だからその、このアライメントの成功確率っていうのを.

神楽坂やちま開始 3:18:53

うんうんうん.

有路翔太開始 3:18:56

ここでいろいろ置いてて.

神楽坂やちま開始 3:18:58

うん、うん、うん、うん.

有路翔太開始 3:19:00

だからまあ、ここで言う成功確率っていうのは、

神楽坂やちま開始 3:19:05

はい.

有路翔太開始 3:19:05

ある程度弱いAGI.まあつまりすごい強力な.

神楽坂やちま開始 3:19:13

ほうほう.

有路翔太開始 3:19:14

アインシュタイン的な.

神楽坂やちま開始 3:19:15

うんうん.

有路翔太開始 3:19:17

知能はあるんだけど.

神楽坂やちま開始 3:19:18

うん.

有路翔太開始 3:19:19

でも言ったことしかできないAIみたいな.

神楽坂やちま開始 3:19:21

うん.

有路翔太開始 3:19:23

イメージのAIが.

神楽坂やちま開始 3:19:25

うん.

有路翔太開始 3:19:26

プラス人間の連合があれば.

神楽坂やちま開始 3:19:28

うんうん.

有路翔太開始 3:19:28

どれぐらいの確率で.

神楽坂やちま開始 3:19:30

うんうん.

有路翔太開始 3:19:31

すごい強力なAGI.

神楽坂やちま開始 3:19:33

うんうんうんうん.

有路翔太開始 3:19:34

ですね、何でもできるようなAI.

神楽坂やちま開始 3:19:37

はいはいはいはい.

有路翔太開始 3:19:37

のアライメントを成功するかっていう確率をここで置いてるんですよね.

神楽坂やちま開始 3:19:41

うんうんうんうん.

有路翔太開始 3:19:42

で、そこで言うと、まあだからその、多分やっちまさんのイメージだと、この数ヶ月の開発停止ぐらいのイメージな気がしてて.その、質的な超知能に数年でいっちゃうってなると.

神楽坂やちま開始 3:20:00

うんうんうん.

有路翔太開始 3:20:01

あ、そう.からまあ一年ぐらいかもしれないですね.

神楽坂やちま開始 3:20:05

そうすべきって話ですか.

有路翔太開始 3:20:07

そうすべきっていうか、なんかその、あの、さっきの議論で.

神楽坂やちま開始 3:20:15

うん.

有路翔太開始 3:20:16

例えば五年で.

神楽坂やちま開始 3:20:18

うん.

有路翔太開始 3:20:19

えっと、アップロードが開発されるってことは.

神楽坂やちま開始 3:20:22

うんうん.

有路翔太開始 3:20:23

その五年で、そのルートとしては、

神楽坂やちま開始 3:20:27

うんうん.

有路翔太開始 3:20:28

その五年から.

神楽坂やちま開始 3:20:31

はい.

有路翔太開始 3:20:31

まあ、まあなんていうかな.だからその.何ですかね、量的なAGIの拡大だったら.

神楽坂やちま開始 3:20:42

はいはい.

有路翔太開始 3:20:42

まあいいんですけど、その質的な改善がそこにあったら.

神楽坂やちま開始 3:20:47

うんうん.

有路翔太開始 3:20:47

多分その五年から三年でアップロード開発されるってことは.

神楽坂やちま開始 3:20:51

うんうんうん.

有路翔太開始 3:20:53

まあ、何て言うんですかね.えっと、まあ数年かけて超知能になるってことですよね、これって.

神楽坂やちま開始 3:21:01

ほうほうほう.

有路翔太開始 3:21:04

で、数年かけて超知能になるので.

神楽坂やちま開始 3:21:07

うんうん.

有路翔太開始 3:21:08

まあ多分AGIから次AGIプラス一とかプラス二とかになってくと思うんですけど.

神楽坂やちま開始 3:21:13

うん.

有路翔太開始 3:21:14

まあそこの期間ってのがまあ多分数ヶ月から.

神楽坂やちま開始 3:21:18

うん.

有路翔太開始 3:21:18

まあそのAGIからAGIプラス一、プラス二、プラス三、プラス四、プラス五ってなってくと思うんですけど.

神楽坂やちま開始 3:21:26

はい.

有路翔太開始 3:21:26

多分そこの期間ってのは多分数ヶ月から一年ぐらいな気がしてて.

神楽坂やちま開始 3:21:31

うんうんうんうん.

有路翔太開始 3:21:33

次の.モデルになるっていうのが.

神楽坂やちま開始 3:21:36

はいはいはい、なるほど.

有路翔太開始 3:21:38

多分それがアライメントに成功してる確率ってのが二十パーセントぐらいとか、まあ多くて三十パーセントぐらいっていう.確率を置いてたんで.

神楽坂やちま開始 3:21:51

なるほどなるほど.

有路翔太開始 3:21:53

そうすると、まあ、えーと、まあ二三十パーぐらいの確率では人類は多分滅びてないんですけど.

神楽坂やちま開始 3:22:02

うんうん.

有路翔太開始 3:22:03

逆に言うと八割七割ぐらいの確率で人類はその感じでやったと.マインドアップローディングの前に滅びてるみたいな.

神楽坂やちま開始 3:22:11

なるほどなるほど.

有路翔太開始 3:22:13

っていうイメージをしてるって感じですかね、今のところ.で、多分アキラさんとさらにこれが低いんで.

神楽坂やちま開始 3:22:23

うんうん.

有路翔太開始 3:22:23

アライメント成功率多分これが一パーセントもないっていう感じですね.

神楽坂やちま開始 3:22:26

はいはいはいはい.

有路翔太開始 3:22:28

なんでそうすると、そのもしそのやっちまさんのプランで.

神楽坂やちま開始 3:22:33

うんうん.

有路翔太開始 3:22:34

えーと、プランで、かつ、えーと、改善を、その自己改善もそこに含まれてるなら.

神楽坂やちま開始 3:22:45

うんうん.

有路翔太開始 3:22:46

割と、なんていうか、まあアキラさんからしたらもうほぼ人類は絶滅してるっていう.

神楽坂やちま開始 3:22:52

はいはい.

有路翔太開始 3:22:52

でしょうし、僕から言うとしたら、多分それは七、八割は.

神楽坂やちま開始 3:22:58

うんうん.

有路翔太開始 3:22:59

結構滅亡してんじゃないかみたいな.まあ感じで言う気がしますね.

神楽坂やちま開始 3:23:08

えっと、うんうんうん.ですねですね.

有路翔太開始 3:23:12

っていう整理ですかね、今んとこは.

神楽坂やちま開始 3:23:15

はいはいはいはい.まあだからそういう意味だと、まあ.うーん.でもまだ、うーん.再帰的自己改善がそこまで早くなるのかっていうところは一つあるのかな、論点として.

有路翔太開始 3:23:47

なるほど.

神楽坂やちま開始 3:23:48

うん、再帰的.うーん、そうなんですよね.あの、結構その、多分ユドコフスキーもそうだと思うんですけど、そのAGIができたら一気にガーッと上がるっていうのは結構不自然だなと個人的には思ってて.

有路翔太開始 3:24:04

なるほど.

神楽坂やちま開始 3:24:05

はい.うん.それはすごく雑な考えだと思うかもしれないですけども、あの指数関数的に成長する、あるいは超超指数でもいいんですけど、まあ指数かける指数だとしても、まあいずれにせよその指数的な成長って、あの手前は意外とゆっくりで、後ろの方がグッと上がるって形になるんですよね.

有路翔太開始 3:24:30

あ、なるほど.

神楽坂やちま開始 3:24:31

そう.だから長期的にはすごい勢いであの成長していくとしても、手前は意外とそんなにスピード上がんないんじゃないかっていう直感があって.なので、はい、AGIができてもそんなすぐには活躍しないんじゃない？っていうのが.うん.っていう感じですね.

有路翔太開始 3:24:52

ああ、なるほど.まあそれなら.えーと、だから.まあそのテイクオフのスピードが多分遅くなれば.

神楽坂やちま開始 3:25:08

うんうんうん.

有路翔太開始 3:25:11

まあ、なんて言うんですかね、時間も稼げると思うんですよね.

神楽坂やちま開始 3:25:17

うんうんうん.

有路翔太開始 3:25:18

アライメント研究への.

神楽坂やちま開始 3:25:20

はいはいはいはい.

有路翔太開始 3:25:22

まあちょっとここら辺のスローテイクオフとかに持ってくると.あ、ちょっと待ってくださいね.テイクオフ.いいか.スローテイクオフ.えー、は多分なんかそのAGIから超知能に多分十年とかかかるとか.

神楽坂やちま開始 3:25:55

うーん.

有路翔太開始 3:25:57

超知能の定義にもよりますけど.

神楽坂やちま開始 3:26:01

ね、そこですよね.

有路翔太開始 3:26:03

まあその、割とこの.

神楽坂やちま開始 3:26:07

うんうん.

有路翔太開始 3:26:08

なんて言うんですかね.うーん、宇宙で、その量的ではなく質的に最も賢いようなAI.

神楽坂やちま開始 3:26:18

うんうんうんうん.

有路翔太開始 3:26:20

があったとして.

神楽坂やちま開始 3:26:22

ほうほうほう.

有路翔太開始 3:26:23

それを超知能って呼ぶことにして.

神楽坂やちま開始 3:26:25

うんうんうんうん.

有路翔太開始 3:26:27

それってなんか多分、そのAGIから見たら、AGIがアインシュタインだとしたら、アインシュタインから見たアインシュタインが本当に幼児のレベルで見えるような.

神楽坂やちま開始 3:26:42

うんうんうんうん.

有路翔太開始 3:26:43

レベルの差がアルファだとして.

神楽坂やちま開始 3:26:46

うんうん.

有路翔太開始 3:26:47

アルファが多分三回ぐらい、三、四回ぐらい続くとそんぐらいになるってイメージで.

神楽坂やちま開始 3:26:52

うんうん.

有路翔太開始 3:26:54

考えると.まあ.まあ考えるとして.

神楽坂やちま開始 3:27:02

はいはいはいはい.

有路翔太開始 3:27:03

えー、だけどまあ、そこのテイクオフがまあ長いと.

神楽坂やちま開始 3:27:09

うんうんうん.

有路翔太開始 3:27:11

開発の、なんだろうな.その停止をしている期間も長くなるようなイメージなので.

神楽坂やちま開始 3:27:21

うんうんうんうん.

有路翔太開始 3:27:23

まあ割とそうですね、アライメント研究に使える時間も増えるじゃないですか.

神楽坂やちま開始 3:27:29

もちろんそうですね.

有路翔太開始 3:27:31

そうすると、まあ、ちょっとは可能性が上がっていくというか、生存確率.

神楽坂やちま開始 3:27:40

ね、そうですよね.

有路翔太開始 3:27:42

うんと、ま、Moderate takeoffに近いのかな.でもなんか.うーん.まあ.なんすかね.スローでは少なくてもなさそうな気はしてるんですけどね.はいはい.うん.ファストとかだと.はいはい.まあ一年以内とか.うんうん.数ヶ月とかそういう話になるんで.はいはいはい.それよりは三年とかだとしたら.うーん、かなぁ.うーん.まあその.うん、はいはい. takeoffスピードが長ければ.うんうん.なんですかね、次のAIが開発されるまで時間があるので.うん.その間にアライメント研究が、まあ進んで成功する確率もある程度上がることで.うんうん.この開発停止期間のこの、なんですかね、分布がちょっとこの下の方によるんですよね、多分.うんうんうんうん.で、そうすると、こっちだと例えばファストテイクオフだと.うん.えー、開発停止期間の分布っていうのが本当に上の方に寄ってるんですけど.うんうん.まあModerate takeoffだとまあ割と.うんうん.もうちょい下による.まあなんでかっていうと.うんうん.まあアライメント研究の時間が長くなる効果っていうのと.うん.まあアライメント研究が重要だということを世間が知る、認識する時間が長くなったり.うんうん.まああとはAI研究者がアライメント研究者になったり、他の物理学者がアライメント研究者になったりする時間があったり.うんうん.まあ時間が延びるってことはいろいろ.うんうん.対処、対処法っていうのが増えるってことなので.基本的にはそうですね.うん.まあその成功確率上がっていくと思うんで.うんうんうんうん.けど、うーん.まあそうっすね.うんうん.まあだから、この場合あれなのかな.だからアライメントの、うーん、成功確率と.うんうん.確率をどれぐらいだって見積もってるかによって、なんか楽観度合いが変わっていくのかもしれないなと思いましたね.ほう.アライメントね.うーん、まあでも、いやーちょっとまた話が戻っちゃうかもしれないですけども.そこら辺、うん、まあアライメントって、まあ結構難しいんじゃないか説もあったりしますし、すごく見積もりが難しいものなんじゃないかなと思うんですよね.どれくらい成功するかっていうのは.はいはい.なので、そうするとやっぱり結局のところは、あの、コントロールの問題に集中すべきなんじゃないかっていう気持ちですかね.ああ.うん、なのでアライメントどうこうというよりは、 AIがあの、信頼できるかどうかっていうところにフォーカスを置く方が、うん.まあ.感じかな.どっちかというと、まあ.うん.なんすかね.うんうん.うーん.コントロールに重きを置くと言っても、まあある程度.うんうん.なんですかね.うーん.なんだろうなぁ.まあ超知能とかが.うんうんうん.例えば数年とかでできちゃって.はいはい.それでアライメントに成功していない場合って.ほうほうほう.まあその、なんだろうな、そもそもその箱の内側と外側みたいな.うんうんうん.えーと、ものを決める、なんだろうな、ためにも、なんて言うかな、そこが侵食されちゃう気がするんですよね.そのアライメントされてないと、内側と外側が.うんうんうんうん.で.まあなのでどっちかっていうとコントロールっていうか、まあ、ガバナンスですよね.僕が重要だと思ってるのは.ほう.アライメントができてない可能性があるなら、コントロールでなんとかしようってよりは.うんうんうん.アライメントができてないなら、できてなくなるかもしれないなら.うんうん.どっちかというとガバナンスですよね.その開発を停止するか.うんうんうん.遅れ、遅れさせないと.うんうん.まずいんじゃないかって立場ですね、僕は.うんうんうん.いやまあ全然それは、あの、そうですね.えーと、ごめんなさい.そういう意味では語弊があった.でも、うん.まあそうですね.そう、だから、いや、そう、そうすべき時が来たら、すべきだとは思いますよ.それ自体は.そうそうそうそうそう.ああ、なるほどなるほど.うんうんうん.ただ別に、うん、今そんな焦る必要はないかなっていう、そういう温度感の違いですかね.ああ.うん.なんか確かやっちまさんってこう、なんだっけ.まあ全く違う話ですけど、テイクオフが、の速さとか遅さでそこまでP(doom)が変わらないみたいな.そうですね.話をしてた気がするんですけど.はいはいはい.えーと、まあそれって何ですかね、まあそのテイクオフが.でも、でも相対的にはその長い方がその安全じゃないですか、その.

神楽坂やちま開始 3:33:57

まあすごく大まかに言えばですけど、基本的には、えっと.自動化、AIを使ったアライメントとかがある程度有効だと思ってるっていう感じですね、そもそも.

有路翔太開始 3:34:15

なるほど.

神楽坂やちま開始 3:34:16

うん.なので、要はスピードアップすれば、その分アライメントもスピードアップできるしっていう.

有路翔太開始 3:34:22

それはそういうことか.つまり早かろうが遅かろうが、それに応じてアライメントも早くなったり遅くなったりするから.

神楽坂やちま開始 3:34:31

そうそうそうそう.

有路翔太開始 3:34:33

結果としてそこまでP(doom)には影響しないみたいな.

神楽坂やちま開始 3:34:36

うんうん.

有路翔太開始 3:34:37

そういうニュアンスですよね.

神楽坂やちま開始 3:34:39

そうですね.そうですね.

有路翔太開始 3:34:41

なるほど.

神楽坂やちま開始 3:34:42

うん.で、でもまあ一般的にはあの、そのアライメントの自動化っていうのは失敗されやすいって言われてるとは思うんですけども.まあそれ自体もちょっと、うん、まあそうかもしれないけども、それはちょっと言い過ぎなんじゃないかな、心配しすぎなんじゃないかなという気もしていて.

有路翔太開始 3:35:03

はい.

神楽坂やちま開始 3:35:04

それはうーんと、そのさっきのお話でも出てたかな、その、うんと、misalignmentな要素がどんどんどんどん大きくなっちゃうみたいな話だったと思いますけれども.まあでも最初の時点でそのmisalignmentな部分が少ない段階で、あの、自動化をどんどん進めていれば、まあそこをある程度抑えたままずっとスピードアップしていくことはできそうな気もしますしね.そこら辺は、うん.っていう気持ちですね.はい.で、あとはもうあの、あまりに早くなる段階だったら、もうそもそもマインドアップロードとかもできてるでしょっていう、そういう感じですね.

有路翔太開始 3:35:50

ああ、まあそこはあれですよね、多分Akiraさんをエミュレートすると.

神楽坂やちま開始 3:35:56

うん.

有路翔太開始 3:35:58

うーんと.えーとだから、まあアライメント研究を加速するためには.

神楽坂やちま開始 3:36:08

はいはい.

有路翔太開始 3:36:09

えっと、さらに強いAIが必要ですよね.その弱いAIではなくて.

神楽坂やちま開始 3:36:14

うんうんうんうんうん.

有路翔太開始 3:36:17

なぜか.まあその、まあ弱いAIだけでアライメント研究をするっていうならまあいいんですけど.

神楽坂やちま開始 3:36:29

はいはいはい.

有路翔太開始 3:36:31

ああでもそれって、まあその、だからその、まあだからもう一回話を戻すと、そのファストテイクオフとスローテイクオフであんまりP(doom)が変わらない理由は、アライメント研究はファストテイクオフの方が早くなるし、スローテイクオフはちょっと遅くなるから、その変わんないっていうイメージだと思うんですけど、ファストテイクオフの場合に早くなるためには、そもそもあれ、アライメント研究するAI自体もファストテイクオフしていってるイメージですよね.

神楽坂やちま開始 3:37:06

まあまあそれはそうですよね.

有路翔太開始 3:37:09

うん.そうすると、まあAIがどんどん強力になっていくわけですけど.その、なんていうんですかね、そこでアライメント.は、まあ、なんて言うんですかね、その、まあそもそも難しい世界観っていうのが.

神楽坂やちま開始 3:37:31

うん.

有路翔太開始 3:37:32

その、そのテイクオフする段階で、そのアライメント研究を加速する段階で、アライメント研究AIがmisalignmentどんどんしていくので.

神楽坂やちま開始 3:37:46

うんうん.

有路翔太開始 3:37:48

なんだろうな、その、加速した結果.

神楽坂やちま開始 3:37:53

はいはい.

有路翔太開始 3:37:54

何て言うんですかね、基本的に人類にアラインされてるっていうよりは.

神楽坂やちま開始 3:37:58

うんうん.

有路翔太開始 3:38:00

そのmisalignmentしたAIにアライメントしたAIが生まれちゃう可能性も結構高いので.

神楽坂やちま開始 3:38:07

うん.

有路翔太開始 3:38:08

そうすると、そのオーバーオールとしては、スローテイクオフよりもファストテイクオフの方が、アライメント研究自体にはもう別に早く成功するかもしれないですけど、それはAIにとっての成功であって、

神楽坂やちま開始 3:38:25

うん.

有路翔太開始 3:38:26

人間に、人間の価値観にアライメントしてるわけではないというか.

神楽坂やちま開始 3:38:31

なるほど.

有路翔太開始 3:38:31

まあまあ表でいうと、そのアライメント研究は確かに加速するんですけど、ファストテイクオフって.それ加速するの意味は、そのAIにとってのAIのアライメント問題が加速するだけで、人間にとっての、そこに人間が入ってないって感じですね.そこに.

神楽坂やちま開始 3:38:48

うん.

有路翔太開始 3:38:51

人間にアラインするための技術っていうのが加速するわけじゃなくて.

神楽坂やちま開始 3:38:56

うんうん.

有路翔太開始 3:38:57

AIがmisalignmentしたAIがmisalignmentした、さらなる上智のAIのアライメント問題を解いてるだけで.

神楽坂やちま開始 3:39:04

うん.

有路翔太開始 3:39:05

その、何て言うかな、まあ確かに加速はするんですけど、それは人間のアライメントにはなってないみたいな.

神楽坂やちま開始 3:39:12

うん.

有路翔太開始 3:39:13

なので、そのスロー、そうするとスローテイクオフの方が、よりそれを、何だろうな、人間が監査したり.

神楽坂やちま開始 3:39:24

うん.

有路翔太開始 3:39:25

えーと、本当にそれが大丈夫なのかっていうことを.

神楽坂やちま開始 3:39:29

うん.

有路翔太開始 3:39:30

人間側が考慮すること、時間が増えるので、テイクオフの方がどっちかっていうと低くなるんじゃないかなっていう.

神楽坂やちま開始 3:39:42

うんうん.まあそうですね、あの、いずれにせよ、そうそうあのー.結局のところを多少なり、えっと.テイクオフが遅い方がP(doom)が低くなりやすいっていうそれ自体は同意ですね.

有路翔太開始 3:40:05

ああ、なるほど.

神楽坂やちま開始 3:40:06

ただ、まあそんなに言われてるほど相関はないんじゃないかっていうイメージではありますね.

有路翔太開始 3:40:13

ああ、なるほど.

神楽坂やちま開始 3:40:15

そう、多少下がりはするけども、そんなに大きな変わりはないんじゃないかっていうイメージっていうのが一つ.あとは、えっと、そもそもなんですけども、えーと、そのもうちょっとAIの進化っていうものについて、いろんな種類があるっていうことも想定できるかなと思っていて.

有路翔太開始 3:40:38

はいはい.

神楽坂やちま開始 3:40:39

うん.そのいわゆる賢さがどんどん上がっていくっていうパターンは分かりやすいんですけども、それ以外にも、例えば賢さは同じだけれども、より小さなモデルとか少ないコストで動かせるようになるみたいな.

有路翔太開始 3:40:57

うん.

神楽坂やちま開始 3:40:58

ね、蒸留してっていう、そういう進化の仕方もありますし.

有路翔太開始 3:41:03

ああ、なるほど.

神楽坂やちま開始 3:41:03

うん.あるいは賢さっぽいものはそんなに変わらなくても、あの、ずっとあの、ミスをしないで続けられるみたいな、いわゆるAIエージェント的にずっとあの動かし続けられるじゃないですけども、まあそういう意味での進化みたいなのもあるわけですよね.

有路翔太開始 3:41:27

うん.

神楽坂やちま開始 3:41:28

うん.だからそっちの方向性で進化したもの、まだそのタイムラインが短いんだったら、それはそれで、そういう方向性に、あのスピーディーにどんどん進化したものっていうものをうまく使えれば、そんなにアライメントされてないことに対して心配する必要はないんじゃないかって考え方もできなくないですか？

有路翔太開始 3:41:52

ああ、でもそれでいうと.

神楽坂やちま開始 3:41:55

はいはいはい.

有路翔太開始 3:41:56

だから、えーと、何て言うんですかね.

神楽坂やちま開始 3:42:01

はいはい.

有路翔太開始 3:42:04

まあその量的に増やすためには、量的に増やすための知能が必要ですよね.

神楽坂やちま開始 3:42:10

うんうん.

有路翔太開始 3:42:11

アルゴリズムを改善したりして.

神楽坂やちま開始 3:42:13

はいはい.

有路翔太開始 3:42:15

より大量のAIを配備できるようにする.

神楽坂やちま開始 3:42:21

はいはい.

有路翔太開始 3:42:22

でもそのアルゴリズムを開発するためには、えっと、えー、その、それを考えるための知能が必要で.

神楽坂やちま開始 3:42:31

うんうんうん.

有路翔太開始 3:42:33

それを考えるための知能自体が.

神楽坂やちま開始 3:42:37

うんうんうん.

有路翔太開始 3:42:37

知能が高くないといけないですよね、その場合は.

神楽坂やちま開始 3:42:40

うーん、うんうん.まあまあまあまあ.言いたい気持ちはわかるでもないですね.

有路翔太開始 3:42:46

なので.

神楽坂やちま開始 3:42:47

うん.

有路翔太開始 3:42:48

えっと、つまり再帰的自己改善ってののルートっていろいろあると思うんですけど.

神楽坂やちま開始 3:42:55

はいはいはい.

有路翔太開始 3:42:56

ソフトウェアのルートだと、基本的にどんどん質的に賢く.

神楽坂やちま開始 3:43:01

はいはい.

有路翔太開始 3:43:02

ならないと.

神楽坂やちま開始 3:43:03

うんうん.

有路翔太開始 3:43:04

まあその質的に賢くならないと、量的な.

神楽坂やちま開始 3:43:08

うんうん.

有路翔太開始 3:43:08

拡大のアルゴリズムを生み出せないと思うので.

神楽坂やちま開始 3:43:11

おお、ほうほうほうほう.

有路翔太開始 3:43:13

それ生み出せるとしたら、人間がやってるんだろうと思うんですけど.

神楽坂やちま開始 3:43:18

うーん.

有路翔太開始 3:43:19

人間プラスAIがやってるっていう話になると思うんですけど、でもそれは別に加速、それを加速してるとしたらAIが賢くなってるしかないじゃないですか、本質的には.それをそうすると.

神楽坂やちま開始 3:43:35

うんうんうん.

有路翔太開始 3:43:36

まあそうですね.

神楽坂やちま開始 3:43:39

うんうん.

有路翔太開始 3:43:44

うーん.まあでもその話で言うと.

神楽坂やちま開始 3:43:47

はいはい.

有路翔太開始 3:43:48

えーと、だから量的に.

神楽坂やちま開始 3:43:51

うんうんうん.

有路翔太開始 3:43:52

えーと、賢く、まあその賢くはしないけど、量的に配備することで.

神楽坂やちま開始 3:43:57

うんうん.

有路翔太開始 3:43:58

アライメント研究が、まあその加速するんじゃないかっていうのは.

神楽坂やちま開始 3:44:03

うん.

有路翔太開始 3:44:03

割とある程度同意しますね、僕も.だけど.

神楽坂やちま開始 3:44:08

うんうん.

有路翔太開始 3:44:09

でもその、なんかそのファストテイクオフのシナリオで、それを、それもすぐに量的に拡大できるんじゃないかって話はちょっと懐疑的というか.なんかそれは質的に改善された知能がそれを生み出さないと、それは加速できないと思うので.

神楽坂やちま開始 3:44:24

うんうん.

有路翔太開始 3:44:25

どっちかっていうと、なんか普通にファストもスローも、えー、あんまり変わんないというか、そこは.

神楽坂やちま開始 3:44:33

うんうんうんうんうんうん.なるほど.

有路翔太開始 3:44:38

別に同意できる部分は、量的に拡大したAIを使えばアライメント研究も加速できるってのは同意しますけど.

神楽坂やちま開始 3:44:44

はいはいはい.

有路翔太開始 3:44:45

それはファストテイクオフになればなるほどそれが早くなるっていうのは違うかなっていう感じはしますね.

神楽坂やちま開始 3:44:51

なるほどなるほど.うんうん.

有路翔太開始 3:44:54

なぜかっていうと、それをするためにはより賢い何が必要になるので.

神楽坂やちま開始 3:44:59

うんうん.

有路翔太開始 3:45:00

より賢いってことは、つまり質的なものになってるのです.

神楽坂やちま開始 3:45:06

はいはい.えーと、それはですね、うーんと、いくつか論点があって.うーんと、一つは実は量的であっても質的なものになり得る場合があるっていう話ですね.実は.

有路翔太開始 3:45:25

なるほど.

神楽坂やちま開始 3:45:26

はい.それは実はその、まさにバイオさんが大好きな、あの、産業爆発で出してるような、あのトウモロコシと、あの、人間と、あの図の話もそうで、数が多いほどいいアイデアが出やすくなるみたいな.あれってまさに量が質に変わってるっていうところなんですよね.

有路翔太開始 3:45:50

まあそうですね.

神楽坂やちま開始 3:45:51

そうそうそう、そういうのもそうだし、あと実際にそのAIの研究の最先端でも.のある種スケーリング則じゃないですけれども、その科学的な仮説のあの数を数、それこそ数打ちゃ当たるじゃないですけども、たくさんあの仮説を出すことによって、そこの中からいい仮説をあの少数だけども見つけてくるみたいな、そういうのも出てたりするんで.やっぱり数っていうのは質になるっていう.

有路翔太開始 3:46:23

はいはい.ああ、そうですね.私も数が質になるっていうのは同意するんですけど、数をまず増やすためには質が必要だと思うんですよね.

神楽坂やちま開始 3:46:35

おお.

有路翔太開始 3:46:36

例えばハードウェアを増大させる以外の質に数を増やすためには、アーキテクチャの改善が必要じゃないですか.

神楽坂やちま開始 3:46:44

ああ、はあはあ.

有路翔太開始 3:46:45

でもそのアーキテクチャの改善をもたらすっていうのは、まあ、なんだろうな.つまり.なんだろうな、その通常のスピードでもアーキテクチャの改善っていうのは起こりますけど、よりファストテイクオフの方がそれが早くなるというためには、何て言うんですかね、その質的な努力量の増加が必要だと思うんですね、そこで.

神楽坂やちま開始 3:47:10

はいはい.

有路翔太開始 3:47:11

つまり量的な増加ってハードウェアかソフトウェアしかないはずで、ハードウェアは一旦関係ないとして.なんでかっていうと、すごいファストテイクオフだと、まあそのGPUを増産する時間がないので.

神楽坂やちま開始 3:47:28

はいはい.

有路翔太開始 3:47:30

で、どちらとソフトウェアの世界の話になると思うんですけど、ソフトウェアの世界で量的な数を増やすためには、何らかのアーキテクチャ上の革新が必要で.

神楽坂やちま開始 3:47:42

うんうん.

有路翔太開始 3:47:44

で、それはまあ別に常に起こっていることですけど、それがそのさらに早くなるっていうためには.

神楽坂やちま開始 3:47:53

うんうん.

有路翔太開始 3:47:54

何だろうな、その再帰的自己改善が必要だと思うんですね、そこで.その質的な意味での.量的には増やせないので、そのハードウェア固定で.

神楽坂やちま開始 3:48:08

はいはい.

有路翔太開始 3:48:08

で、そこの状態で、えっと、量的なそのAIの数を増やすってなると、ソフトウェアの自己改善しかないと思うんですけど、ソフトウェアの自己改善を行うためには、つまり上流とかするにもより賢いものがないといけないんですよね.

神楽坂やちま開始 3:48:27

ほうほう.

有路翔太開始 3:48:30

で、そういうことを考えると.

神楽坂やちま開始 3:48:33

うんうん.

有路翔太開始 3:48:36

まあ、何て言うかな.まあつまり.AIの質的改善がどこかで挟まってる気がしますね.

神楽坂やちま開始 3:48:45

うんうん.

有路翔太開始 3:48:45

まあ僕が言いたいのはそのローテイクオフとファストテイクオフで、なんだろうな、ファストテイクオフの方が、えーと、何か、AI研究が、アラインメント研究が早くなるっていうのは、まあその、何だろうな、その、人間にとってのアラインメント研究が早くなるためには、多分量的な拡大しか、拡大が必要だと思うんですけど.

神楽坂やちま開始 3:49:19

ほうほう.

有路翔太開始 3:49:21

なんだろう、そこで、なんて言うんですかね.伝えるのが難しくなってきたな.

神楽坂やちま開始 3:49:29

そうですね、難しいですね.

有路翔太開始 3:49:31

あ、うん.まあでもまあだから同意はしますよ.その量的な拡大が質を生むってのは同意するんですけど.

神楽坂やちま開始 3:49:39

うんうん.

有路翔太開始 3:49:40

量的な拡大をするためには.

神楽坂やちま開始 3:49:43

うんうん.

有路翔太開始 3:49:44

質的な改善が必要だと思うんで、そこでボトルネックあるかなって感じがしますね.

神楽坂やちま開始 3:49:52

うん.

有路翔太開始 3:49:53

それをボトルネックじゃなくて、できるんだって言ったら、それは血のバカツになるので、ソフトウェア自己改善として.

神楽坂やちま開始 3:50:01

うんうん.

有路翔太開始 3:50:02

ソフトウェア自己改善が起こると、それはアラインメントができないって問題が出てきて.

神楽坂やちま開始 3:50:06

うんうん.

有路翔太開始 3:50:07

危険な領域に入っていくので、ファストテイクオフの方がP(doom)室が高くなるって感じですかね.

神楽坂やちま開始 3:50:13

うん.うん.うん.うん.うん.えーと、そうですね、そういう意味だと、そう、ちょっと自分の説明が分かりづらかったのかな.えっと、質的な改善と量的な改善が同時に起こるもんだと思ってるっていうイメージが近いのかな.

有路翔太開始 3:50:41

なるほど.

神楽坂やちま開始 3:50:42

うん.どっちか択一ではなくって.要はだから再帰的自己改善が起こります.で、ファストテイクオフっぽくなります.でも同時に、えっと、蒸留されてよりあの同じ、賢さとしては同じだけれども、よりあの軽量に少ないコストで動かせるAIとかもどんどん出てくる.それが同時に起こって.で、じゃあそうすると、うん、その質的にどんどん成長していくAIがいるのと並行して、でもあの、あんまりそこまで賢くはないやつを少ないコストで動かすことで、あのアラインメントをよりスピーディーに進めていくっていうのはできるかなっていう感じですかね.

有路翔太開始 3:51:40

なるほど.まあ、なんかそれって、質的な改善と量的改善が両輪になって動くってことですけど.

神楽坂やちま開始 3:51:49

ほうほう.

有路翔太開始 3:51:51

一応でも質的改善起こってるわけですよね.それは.

神楽坂やちま開始 3:51:54

もちろんもちろん.

有路翔太開始 3:51:55

そうすると、そこでmisalignmentの問題が多分出てきて.

神楽坂やちま開始 3:51:59

ほうほう.

有路翔太開始 3:52:00

ローテイクオフだと、その両輪で動くの両輪がどっちも時速十キロぐらいなんで大丈夫ですけど.

神楽坂やちま開始 3:52:05

はいはいはい.

有路翔太開始 3:52:06

ファストテイクオフって、その両輪が時速三百キロぐらいで動くわけじゃないですか.

神楽坂やちま開始 3:52:11

はいはいはい.

有路翔太開始 3:52:12

そうすると別に遅--その早いんで質的改善の方.

神楽坂やちま開始 3:52:17

うんうんうん.

有路翔太開始 3:52:18

そうするとアライメント問題の問題がまた出てくる.で.

神楽坂やちま開始 3:52:22

ほうほうほうほうほう.

有路翔太開始 3:52:24

賢い.

神楽坂やちま開始 3:52:25

うん.

有路翔太開始 3:52:26

まあでも、あーっと待ってよ.まあそうですよね.だからその賢いAI.

神楽坂やちま開始 3:52:31

うんうん.

有路翔太開始 3:52:32

まあその、まあ賢さってちょっと弱い、賢くないって言ってましたけど、でも前世、前世代よりは賢いわけですよね.少しは.

神楽坂やちま開始 3:52:38

うんうんうん.

有路翔太開始 3:52:39

そうすると、ファストテイクオフなので、基本的にどんどんどんどん、その量的にも質的にも賢いAIが大量に出てくることになって.

神楽坂やちま開始 3:52:48

はいはいはい.

有路翔太開始 3:52:49

それはまあ結局misalignment、まあアライメント問題が解けてなかったら結構misalignmentしてるんで.

神楽坂やちま開始 3:52:57

うんうんうん.

有路翔太開始 3:52:59

なんか、まあそうですね.結局質と量の両輪ではあるけど、でも質問は高くなるので、その危険性は普通にあるっていう.

神楽坂やちま開始 3:53:11

うんうん.

有路翔太開始 3:53:12

感じではありますね.

神楽坂やちま開始 3:53:13

はいはいはい.

有路翔太開始 3:53:15

で、スローテイクオフの方がその両輪の進むスピードが遅いので.

神楽坂やちま開始 3:53:20

うんうんうん.

有路翔太開始 3:53:21

よりスピードは下がるし、時速三百キロになればなるほど、確かに量的にも増えるけど、質的にも増えてるんで、どっちも.

神楽坂やちま開始 3:53:30

うーん.

有路翔太開始 3:53:31

それはそれで、結局絶対量的には普通にファストテイクオフの方が結構アライメント成功してない確率がどんどん上がっていくっていう.

神楽坂やちま開始 3:53:40

なのかなー.

有路翔太開始 3:53:44

感じがしますね.って感じですかね.

神楽坂やちま開始 3:53:50

まあ言いたいことがわかるようなわからないような.

有路翔太開始 3:53:58

まあなんかあれかな、じゃあもうちょっと別のあれでいうと、アライメント研究を.

神楽坂やちま開始 3:54:05

はいはい.

有路翔太開始 3:54:06

何ですかね.うーん、解決するためには.

神楽坂やちま開始 3:54:14

うんうんうん.

有路翔太開始 3:54:16

別にAIを強くすればいいっていうよりは、人間の絶対時間を増やさなきゃいけないってイメージがあって、僕は.

神楽坂やちま開始 3:54:23

はいはい.

有路翔太開始 3:54:24

一旦イメージの話ですけど、つまり人間の数って別に増えないじゃないですか、そんな一気に.

神楽坂やちま開始 3:54:29

うんうん.

有路翔太開始 3:54:30

だから、その、より遅いタイムラインの方が.

神楽坂やちま開始 3:54:34

はいはい.

有路翔太開始 3:54:35

人間の思考時間増えますよね.人間のアウトプットするトークン量が.

神楽坂やちま開始 3:54:40

うんうんうん.

有路翔太開始 3:54:41

で、それが多ければ多いほどアライメントが解決しやすくなると思ってて.

神楽坂やちま開始 3:54:46

はいはい.

有路翔太開始 3:54:46

なんすけど、ファストテイクオフだと絶対時間が足りないので、すごいシンプルに十年考える量よりも一年考える量の方が普通に短いんで.人類の、人類のですよ、 AIは関係なく、とりあえず.人類のトークン量ってもう絶対に十分の一じゃないですか.

神楽坂やちま開始 3:55:07

うんうん.

有路翔太開始 3:55:08

だから、えっと、その分、その、なんていうか、アライメントが本当にそれでできてるのかとか.

神楽坂やちま開始 3:55:16

うんうん.

有路翔太開始 3:55:16

騙してないのかとか.

神楽坂やちま開始 3:55:18

はいはい.

有路翔太開始 3:55:19

そういうことを確認する時間が少ないっていうのと.まあそうですね、そういう感じですね.

神楽坂やちま開始 3:55:30

はいはい.なるほど.

有路翔太開始 3:55:34

で、なんか、で、スローで、かつスロータイムラインとかスローテイクオフとファストテイクオフでもどっちもAIは使うはずなんで.

神楽坂やちま開始 3:55:45

うんうん.

有路翔太開始 3:55:46

どっちもAIを使ってアライメント研究を加速しようとするはずなんですけど、よりファストテイクオフだと、なんかその、なんだろうな、そのタイムライン、時間、絶対的な時間が短くなる.

神楽坂やちま開始 3:56:02

うんうん.

有路翔太開始 3:56:02

と思うんですけど.

神楽坂やちま開始 3:56:04

はいはい.

有路翔太開始 3:56:04

そうやってまあ、つまり人間の思考量だけが.

神楽坂やちま開始 3:56:09

うんうん.

有路翔太開始 3:56:10

ちっちゃいわけですよね.

神楽坂やちま開始 3:56:12

はあはあ.

有路翔太開始 3:56:13

でまあ確かにAIの絶対量っていうのは、まあファストテイクオフとスローテイクオフで、その累積のAIのその研究努力量っていうのは変わらないかもしれないですけど.

神楽坂やちま開始 3:56:24

はい.

有路翔太開始 3:56:26

まあつまりアライメント研究という問題に対して投入される研究努力、 AIの研究努力量っていうのは絶対値として同じだとして.ファストテイクオフはそれがギュッと一年とか数ヶ月でこう来るってことですよね.

神楽坂やちま開始 3:56:43

うんうん.

有路翔太開始 3:56:44

なんですけど、その分人間のトークン量ってのは下がりますよね.そうするとそこで、まあ人間トークン量も下がった分、アライメントできてない確率も上がると思うんで.ファストテイクオフのは、まあやばい、危ない可能性が結構高くなるっていう.

神楽坂やちま開始 3:57:09

うんうん.

有路翔太開始 3:57:10

イメージですかね.

神楽坂やちま開始 3:57:12

なるほどなるほど.まあでもそういう意味だと、そもそもやっぱり、えっと、うん、そもそも論になっちゃうんですよ.お二人に対して結構気になるなっていうのは、なんかやっぱそのAIと人間との対立軸みたいなところが、なんか最初からありきになっちゃってるのはやっぱ違和感があるって感じですかね.っていうのは、現状でもだって人間で一番道徳的にひどい人より、 AI、一番道徳的なAIの方が断然マシじゃないですか.

有路翔太開始 3:57:58

まあそうです.そうですね.多分そんな感じがしますね.

神楽坂やちま開始 3:58:02

うんうんうん.だから、うん、なんかその.人間じゃないとダメなんだみたいな.そこがなんかすごく違和感はありますかね.

神楽坂やちま開始 3:58:21

十分ぐらいにしときます？

有路翔太開始 3:58:22

十分.じゃあ十九時十分からまた.

神楽坂やちま開始 3:58:25

うんうん.

神楽坂やちま開始 3:58:29

はい.

有路翔太開始 3:58:30

またそのあれを書いておいてもらっていいですかね.

神楽坂やちま開始 3:58:33

OKです.OKです.えーっと.

有路翔太開始 3:58:42

じゃあちょっと十九時十分からまたお願いします.

神楽坂やちま開始 3:58:45

はーい、します.

有路翔太開始 4:10:51

あ、やべえやべえ、またミスってた.視聴者側の.

神楽坂やちま開始 4:10:57

うん.

有路翔太開始 4:10:58

これで聞こえてますかね、皆さんは.やっちまさんなんか喋ってもらっていいですか？

神楽坂やちま開始 4:11:04

はーい.もしもし.聞こえてますか？どうですか？いかがでしょうか.

有路翔太開始 4:11:12

大丈夫かな.

神楽坂やちま開始 4:11:15

大丈夫かな.

有路翔太開始 4:11:20

まあもうみんな疲れてるだろうから.

神楽坂やちま開始 4:11:24

ねー.

有路翔太開始 4:11:26

何だっけ、さっきまでの話題って.

神楽坂やちま開始 4:11:28

何でしたっけね.まあコメントちょっと拾ってみます？ああ、聞こえてる.よかったよかった.

有路翔太開始 4:11:34

あ.

神楽坂やちま開始 4:11:35

コメントが.

有路翔太開始 4:11:36

あ、でもなんかさっきのあれか、人間が信頼できないんじゃないかみたいな話.

神楽坂やちま開始 4:11:42

うんうんうん.まあそれもありましたね.はいはい.

有路翔太開始 4:11:44

ああ、そうか.

神楽坂やちま開始 4:11:45

ああ、そうそうそう.うん.ですですです.人間も、うん.

有路翔太開始 4:11:50

まあそうっすね.

神楽坂やちま開始 4:11:52

うんね.そうなんですよね.

有路翔太開始 4:11:56

まあ、まあでもそれはあれかな.人間よりAIの方が、その価値観が変わる幅がでかい気がするから.

神楽坂やちま開始 4:12:08

ああ、うんうんうんうん.

有路翔太開始 4:12:11

それで.

神楽坂やちま開始 4:12:12

はいはい.

有路翔太開始 4:12:13

やっぱ、に、まあ人間の方がま、マシって感じですかね、どっちかってと.

神楽坂やちま開始 4:12:17

はいはいはいはいはい.

有路翔太開始 4:12:21

見えてるのかな？

神楽坂やちま開始 4:12:22

はいはい.

有路翔太開始 4:12:23

あ、ま、しますね.まあなんか多分そんな感じに言いそうだなと感じます、感じますね、 Akiraさんは.

神楽坂やちま開始 4:12:33

エミュレートすると.

有路翔太開始 4:12:36

はい.

神楽坂やちま開始 4:12:36

はいはいはい.確かにね.うーんと.まあでもそういう意味で言うと、のコメントをいただいたところとも関連するかもしれないですけども.かつちょっと話が戻っちゃうかもしれないですけども.うーんと、要はどんどん賢いモデルを使ってアラインメントをするっていうと、そもそもアラインメントされてないAIを使ったらまずいじゃんっていう話が、問題がどんどん大きくなっていくわけなんですけれども.

有路翔太開始 4:13:16

はい.

神楽坂やちま開始 4:13:17

うん.ではなくって.モデルが、まあ分かりやすい話だったら、モデルがより小さい、コストが少なく動かせる、賢さは同じくらいのであれば、アラインメントに関してはそんなに大きく問題にならない.

有路翔太開始 4:13:39

なるほど.

神楽坂やちま開始 4:13:40

うん.とかってなったりするわけですし.でも、あの、コストは減ってるんで、たくさんその分動かせますよね.

有路翔太開始 4:13:50

まあそうですね.

神楽坂やちま開始 4:13:52

そうそうそうそうそうそう.で、うん.

有路翔太開始 4:13:59

割とそれは同意かもしれないですね、僕も.同意っていうかなんか.

神楽坂やちま開始 4:14:05

うんうんうん.

有路翔太開始 4:14:06

まあ結局のところは.

神楽坂やちま開始 4:14:08

はい.

有路翔太開始 4:14:09

何て言うんですかね.

神楽坂やちま開始 4:14:10

うんうん.

有路翔太開始 4:14:12

それは、えっと.

神楽坂やちま開始 4:14:14

はいはい.

有路翔太開始 4:14:15

僕はなんか止め、止めるなら.

神楽坂やちま開始 4:14:19

うんうん.

有路翔太開始 4:14:19

同意って感じですかね.その.

神楽坂やちま開始 4:14:21

うんうん.

有路翔太開始 4:14:22

止めて、プランAみたいに.

神楽坂やちま開始 4:14:24

なるほど.

有路翔太開始 4:14:25

開発を一旦止めて.

神楽坂やちま開始 4:14:28

うんうん.

有路翔太開始 4:14:29

AGI行くか行かないかぐらいの.

神楽坂やちま開始 4:14:32

うんうん.

有路翔太開始 4:14:33

ので止めて、で、それ以上の能力はもう禁止ですと.

神楽坂やちま開始 4:14:37

うんうんうんうん.

有路翔太開始 4:14:38

で、えーと、それをいっぱい複製して.

神楽坂やちま開始 4:14:42

うん.

有路翔太開始 4:14:43

アラインメント研究を加速させるとか.

神楽坂やちま開始 4:14:46

うんうん.

有路翔太開始 4:14:47

なら割と.

神楽坂やちま開始 4:14:49

うん.

有路翔太開始 4:14:50

同意しますね.

神楽坂やちま開始 4:14:52

うんうんうんうん.

有路翔太開始 4:14:53

なんだけど、な-なんて言うのかな.うーん.まあ.

神楽坂やちま開始 4:15:02

うんうん.

有路翔太開始 4:15:06

だから結局アラインメントどれぐらい.

神楽坂やちま開始 4:15:08

うん.

有路翔太開始 4:15:09

で解決するかみたいな話にはなりますけど.

神楽坂やちま開始 4:15:12

うんうん.

有路翔太開始 4:15:13

まあ、まあその期間が、まあ、どうだろうなぁ.でもなんか十年ぐらいは取った方が安全なんじゃないかって感じしますね、僕は.

神楽坂やちま開始 4:15:23

うんうんうんうん.

有路翔太開始 4:15:25

止めといて.

神楽坂やちま開始 4:15:26

はいはいはい.

有路翔太開始 4:15:28

で、それを一年ぐらいで.

神楽坂やちま開始 4:15:31

うんうん.

有路翔太開始 4:15:32

終わらせちゃうと.

神楽坂やちま開始 4:15:33

うん.

有路翔太開始 4:15:34

なんすかね.

神楽坂やちま開始 4:15:36

はい.

有路翔太開始 4:15:36

アラインメントされてないAIが出てきちゃって.

神楽坂やちま開始 4:15:41

うんうんうん.

有路翔太開始 4:15:43

されてるように見えてされてないみたいな.

神楽坂やちま開始 4:15:45

うんうんうんうん.

有路翔太開始 4:15:46

ものがまあ出てきちゃう可能性があって.

神楽坂やちま開始 4:15:51

はいはい.

有路翔太開始 4:15:52

そうすると、そのAIってさらに賢いので.

神楽坂やちま開始 4:15:56

うんうん.

有路翔太開始 4:15:56

私アラインメントしてますよとか.

神楽坂やちま開始 4:15:58

うん.

有路翔太開始 4:16:00

いろんな説得技術を用いて、さらに次のAIが生まれちゃって.

神楽坂やちま開始 4:16:05

うんうんうん.

有路翔太開始 4:16:06

それは人類にアラインメントしてるように見えて.

神楽坂やちま開始 4:16:09

うんうん.

有路翔太開始 4:16:10

その一個前のAIにアラインメントをしてて.

神楽坂やちま開始 4:16:13

うんうんうんうん.

有路翔太開始 4:16:15

ってなってくると、結構危ないので.

神楽坂やちま開始 4:16:20

うん.

有路翔太開始 4:16:20

だからその最初の一歩というか.

神楽坂やちま開始 4:16:23

はいはいはい.

有路翔太開始 4:16:26

そのアラインメント問題を.

神楽坂やちま開始 4:16:28

うん.

有路翔太開始 4:16:30

なんだろうな.その結構閾値がどっかに近い.AGIの前後とかにあって、その解かないと.

神楽坂やちま開始 4:16:43

はいはい.

有路翔太開始 4:16:44

超えていくとおそらく.

神楽坂やちま開始 4:16:46

うんうん.

有路翔太開始 4:16:48

なんすかね、まあコントロールが.

神楽坂やちま開始 4:16:54

うんうん.

有路翔太開始 4:16:54

難しくなるというか.

神楽坂やちま開始 4:16:56

はい.

有路翔太開始 4:16:58

そんな感じはしますね.ちょっと脳が疲れて.

神楽坂やちま開始 4:17:04

ねー.

有路翔太開始 4:17:05

曖昧な感じになってますけど.

神楽坂やちま開始 4:17:10

まあもうちょっと長めに休み取ってもいいかもしれないですけどね.

有路翔太開始 4:17:14

あ、なるほど.

神楽坂やちま開始 4:17:15

うん.もしあれだったらまだね、二十一時だとあと二時間弱はあるんで.結局二十一時でいいんでしたっけ？

有路翔太開始 4:17:25

二十一時には来るって言ってましたね.

神楽坂やちま開始 4:17:27

うんうん.

有路翔太開始 4:17:30

あとコメント拾ってもいいかもしれないですね.

神楽坂やちま開始 4:17:32

うん.コメント拾います.

有路翔太開始 4:17:36

どこら辺を拾おうかな.

神楽坂やちま開始 4:17:38

うん.

有路翔太開始 4:17:39

気になったのを拾ってくか.まあ、あとはなんかヤッチマさんに質問したいこととか、僕でもいいですけど、なんかあったら視聴者の人はコメントしてくれれば.

神楽坂やちま開始 4:17:56

うんうんうん.

有路翔太開始 4:18:01

ソイヤスさんの小さなモデルや自立継続力が進化したら、なんでアラインメントが心配する必要がないんですか？

神楽坂やちま開始 4:18:07

うんうん.

有路翔太開始 4:18:09

にはどう答えますか？

神楽坂やちま開始 4:18:12

もう一回じゃあその話しときますか.えっと、まあ図ちゃんと使いますかね.えーと、あれ、これこっちか.あれあれれれれ.こっちだ.えーと.うーんと、そしたら.まあIQとかってしちゃいますけど、まあ賢さ、縦に賢さ、上に行くほど賢いっていう感じで.まあ横が.うーん、まあ.なんていう言い方がいいんだ.アラインメントされてる度合い.アラインメントネスっていうのかな.知らんけど.まあアラインって書いちゃえか.めんどくさいんで.ああ、スペルがおかしい.うん.まあアライン、横がどれだけアラインされてるかっていう話で.で、まあ今我々の共通な認識として、まあ、えーと.まああんまり賢くない時は結構、あ、違う.こっちか.賢くない時はアラインメントされてるけれども、まあ賢さが上がっていくと結構アラインされにくくなるよねっていう話だと思うんですよね.ミスアラインして.

有路翔太開始 4:20:13

はい.

神楽坂やちま開始 4:20:14

これでいいですかね.

有路翔太開始 4:20:16

まあそうですね.

神楽坂やちま開始 4:20:17

うんうん.で.要はその.これかな.まあだから、えっと、より賢いAIを使うとかって言って、まあここら辺のAIを使うとかってなっちゃうと、結構アラインされてないミスアラインなAIを使うことになっちゃうねっていう話になるんですけども.そうじゃなくて、賢さはそんなに変わんないけども、さっきコメントに出てたような、まあ継続力が進化しているだけとか、モデルが小さくなって効率的コストが下がっただけみたいな、賢さはそんな変わってないみたいなやつだったら、そんなにミスアラインされてないAIを使うことができるので.であれば、アラインメントの自動化もそんなにミスることはないでしょうという、そういう話ですね.

有路翔太開始 4:21:24

下の点線をアラインメント研究に使うってことですか？

神楽坂やちま開始 4:21:27

そうそうそうそうそうそう.もっと下でもいいんですけど、最初がその下の点線ぐらいだった時に、その上に上がるのか、それともキープするのかっていうことですね.

有路翔太開始 4:21:42

うん.まあそうですね、アラインメント研究をしていけば、ちょっとこの点線の.

神楽坂やちま開始 4:21:58

うんうん.

有路翔太開始 4:21:59

点線じゃなくて、この赤線の分布も右上にずらせるかもしれないですもんね.

神楽坂やちま開始 4:22:05

うんうん.そうそうそうそうそうそうそう.よりね、研究アラインメント研究をすることで、こんなんとかね.汚ねえな.まあいいか.伝わりゃ一生.ガバガバなんで.

有路翔太開始 4:22:28

なるほど.

神楽坂やちま開始 4:22:29

はい.

有路翔太開始 4:22:32

うーん.まあここら辺は.

神楽坂やちま開始 4:22:35

うんうん.

有路翔太開始 4:22:37

あー.

神楽坂やちま開始 4:22:38

終わったのかな.

有路翔太開始 4:22:39

まあそうですね.だから.アラインメントが、なんて言うんですかね.まあだから下の方だと.

神楽坂やちま開始 4:22:50

うん.

有路翔太開始 4:22:51

ある程度成功してるかもしれないんで.

神楽坂やちま開始 4:22:54

そうそうそうそう.

有路翔太開始 4:22:55

で、それがどれぐらい.

神楽坂やちま開始 4:22:57

うん.

有路翔太開始 4:22:58

の速さでアラインメント研究を.

神楽坂やちま開始 4:23:01

うん.

有路翔太開始 4:23:02

なんだろうな、達成できるかみたいな.

神楽坂やちま開始 4:23:05

ほうほう.

有路翔太開始 4:23:08

うーん.なんですかね、そこの確信度合いが.

神楽坂やちま開始 4:23:15

うんうん.

有路翔太開始 4:23:16

高まらないと、開発の停止期間が、まあ.伸び、伸び、伸ばした方がいいというか.

神楽坂やちま開始 4:23:27

うんうんうん.

有路翔太開始 4:23:28

うーん.なんていうんですかね.まあだから、でもこのイメージだと、まあちょっとその一番下の点線のAIアラインメント研究者がアラインメント研究をして、文法をちょっと右上にずらして.

神楽坂やちま開始 4:23:48

はいはい.

有路翔太開始 4:23:49

で、ちょっと上にまた行って、それがまた研究して.

神楽坂やちま開始 4:23:53

うんうん.

有路翔太開始 4:23:54

文法また右上にずらすみたいな.

神楽坂やちま開始 4:23:56

うんうん.

有路翔太開始 4:23:58

イメージですかね.

神楽坂やちま開始 4:23:59

そうですね、そういうこともできますね.

有路翔太開始 4:24:03

まあそれだったら確かに.

神楽坂やちま開始 4:24:05

うん.

有路翔太開始 4:24:05

ちょっとずつそのAIの能力が高まってって、最終的に超知能にテイクオフするみたいな.

神楽坂やちま開始 4:24:12

うんうん.

有路翔太開始 4:24:13

のが、まあ.可能かもしれないですけど.

神楽坂やちま開始 4:24:20

うんうん.

有路翔太開始 4:24:22

まあここら辺はなんかどうなんだろうな.その見立てがAkiraさんと.

神楽坂やちま開始 4:24:27

うん.

有路翔太開始 4:24:28

僕でちょっと違う可能性もあるんで.

神楽坂やちま開始 4:24:30

ね、そうでしょうね.

有路翔太開始 4:24:34

あれなんですけど.

神楽坂やちま開始 4:24:35

うんうん.

有路翔太開始 4:24:37

まあAkiraさんはなんか多分そのアラインメント問題がすごい難しいって考えてると思うんで.

神楽坂やちま開始 4:24:41

うんうん.

有路翔太開始 4:24:44

なんかこんな風に漸近的に.

神楽坂やちま開始 4:24:46

うんうん.

有路翔太開始 4:24:47

ちょっとずつ右上にシフトしていく.で、それがちょっとまた賢くなって右上にシフトしていくっていう.

神楽坂やちま開始 4:24:56

うんうん.

有路翔太開始 4:24:56

感じは取ってないとか、それなんかそれまあちょっと.ポール・クリスティアーノっていうアラインメントの研究者がいますけど.

神楽坂やちま開始 4:25:08

ね.

有路翔太開始 4:25:09

ユドコウスキーの論争とかありますけど、どっちかっていうとポール・クリスティアーノの考え方、多分これに近い気がしてて.

神楽坂やちま開始 4:25:17

あー.

有路翔太開始 4:25:18

ちょっと連続的に賢さも.

神楽坂やちま開始 4:25:21

うん.

有路翔太開始 4:25:21

上がっていくし、アラインメントの難しさもちょっとずつ上がっていくみたいな.

神楽坂やちま開始 4:25:26

はいはいはい.

有路翔太開始 4:25:28

なんですけど、多分Akiraさんのイメージだとどっかに閾値みたいのがあって.

神楽坂やちま開始 4:25:34

あー.

有路翔太開始 4:25:34

そこからなんかすごい難しくなるんですね.多分アラインメント問題ってのが.

神楽坂やちま開始 4:25:37

あー.

有路翔太開始 4:25:39

そうするとちょっとずつあの能力上げる、で、アラインメントする、上げる、能力上げるみたいなのができなくて.

神楽坂やちま開始 4:25:46

はいはいはいはい.

有路翔太開始 4:25:47

もうそこで完全に止めないといけなくて.

神楽坂やちま開始 4:25:50

はいはい.

有路翔太開始 4:25:50

止めて、人間とそれを補助するAIの大軍みたいなのを用意して.

神楽坂やちま開始 4:25:57

はいはい.

有路翔太開始 4:25:58

十年ぐらい全力で解いて.

神楽坂やちま開始 4:26:00

うんうん.

有路翔太開始 4:26:02

で、それでやっと解けるみたいな.で、それでちょっと解くっていう概念がないって感じだと思うんですよね、多分.

神楽坂やちま開始 4:26:11

なるほどなるほど.

有路翔太開始 4:26:13

ちょっと賢いAIをちょっとアラインメントできるとか、なんかそういうグラデーション的な.

神楽坂やちま開始 4:26:22

はいはい.

有路翔太開始 4:26:23

世界観ではなくて.

神楽坂やちま開始 4:26:24

うんうん.

有路翔太開始 4:26:26

完全に途切らなきゃいけないみたいな.

神楽坂やちま開始 4:26:28

はいはい.

有路翔太開始 4:26:29

多分イメージで捉えてると、多分その、えーと、なんですかね.

神楽坂やちま開始 4:26:36

はいはい.

有路翔太開始 4:26:38

うーん、事前確率はすごい下がる気がするね.アラインメント研究の困難さが.

神楽坂やちま開始 4:26:43

うんうん.

有路翔太開始 4:26:44

めっちゃまずいんで.

神楽坂やちま開始 4:26:46

はいはい.

有路翔太開始 4:26:48

僕はなんかね、まだそこまでにはなってないのかもしれないので、この描像もある程度.

神楽坂やちま開始 4:26:58

うんうん.

有路翔太開始 4:27:00

まあ理解はできるんですけど.うーん.なんて言うんですかね.まあ、まあ、でもどっちが正しいかわかんないんで.

神楽坂やちま開始 4:27:19

うん.

有路翔太開始 4:27:19

なんか一旦止めよう運動に賛同してるって感じですかね.

神楽坂やちま開始 4:27:25

まあまあまあ.なるほどなるほど.

有路翔太開始 4:27:29

まあリスクが高いので.

神楽坂やちま開始 4:27:31

うんうん.

有路翔太開始 4:27:32

でも多分Akiraさんならもっとこう、確信度合いがすごい高いと思いますけど.

神楽坂やちま開始 4:27:36

はいはい.

有路翔太開始 4:27:38

なんて言うんですかね、漸近的な世界観と閾値的な世界観ってのがある気がするんですよね.

神楽坂やちま開始 4:27:44

うんうん.

有路翔太開始 4:27:45

なんかアラインメント問題に対するイメージで.

神楽坂やちま開始 4:27:48

そのファストテイクオフみたいなところも多分そういう感じですよね.

有路翔太開始 4:27:52

ああ、まあそうっすね.

神楽坂やちま開始 4:27:54

一気に上がるみたいな.

有路翔太開始 4:27:56

そうっすね.ファストテイクオフ.なんていうか、なんて言うんですかね、その連続性の議論と.

神楽坂やちま開始 4:28:06

うんうん.

有路翔太開始 4:28:07

なんていうか、閾値の議論ってのがあって.

神楽坂やちま開始 4:28:11

はいはいはい.

有路翔太開始 4:28:11

なんか実はAI227とかも実は連続的な世界観なんですよね、多分.

神楽坂やちま開始 4:28:15

うんうん.

有路翔太開始 4:28:16

だから、えっと、ダニエルココタイロトとかも、P値は、まあ20パー、なんつうか、P値が70パーとか80パーとか90パーとか言いますけど、 99パーとは言わないですよね.

神楽坂やちま開始 4:28:31

うんうん.

有路翔太開始 4:28:32

でもAkiraさんは言うと思うんですけど.

神楽坂やちま開始 4:28:34

はいはい.

有路翔太開始 4:28:35

ここの違い、つまりユドコウスキーと.

神楽坂やちま開始 4:28:38

うん.

有路翔太開始 4:28:39

えー、ダニエル答えると、イドコウスキーとポール・クリストライの違いみたいなことっていうのは、

神楽坂やちま開始 4:28:44

はいはい.

有路翔太開始 4:28:45

連続的な能力の上昇と連続的な、なんかそのアラインメント問題の難しさの比例的な上昇みたいな.

神楽坂やちま開始 4:28:54

はいはい.

有路翔太開始 4:28:55

ものをこう想定してるか.

神楽坂やちま開始 4:28:57

うん.

有路翔太開始 4:28:58

すごいアラインメント問題っていうのは、その一個の.

神楽坂やちま開始 4:29:01

うん.

有路翔太開始 4:29:03

しきい値みたいなものをこうまたいじゃったら全滅するし、またいでない.

神楽坂やちま開始 4:29:09

うん.

有路翔太開始 4:29:10

なら、状態でそれを解いていかないといけないっていう.

神楽坂やちま開始 4:29:15

はいはいはい.

有路翔太開始 4:29:16

感覚の違い.

神楽坂やちま開始 4:29:18

うんうんうん.

有路翔太開始 4:29:20

まあでもその感覚の違いがまあ一旦あるとして.

神楽坂やちま開始 4:29:25

うんうん.

有路翔太開始 4:29:25

なんですけど.なんですか、まあその連続的な世界観のでも、あれですかね、アラインメントがもし成功してないという仮定を置いた場合には、コントロールがどんどん不可能に近くなっていくと思うんで.まあそれは、つまりなんでかっていうと、さっき言ったウォールローズの内側に.

神楽坂やちま開始 4:29:49

うん.

有路翔太開始 4:29:50

巨人がいるみたいな感じになっちゃうので.

神楽坂やちま開始 4:29:52

うんうんうん.

有路翔太開始 4:29:54

まあアラインメントの価値観が連続性か、そのしきい値的かっていう議論は置いといて、コントロールに対する悲観的な感覚っていうのは割と.

神楽坂やちま開始 4:30:10

うんうん.

有路翔太開始 4:30:12

なんか割と結構ある気がしますね.なんかいろんな人から.

神楽坂やちま開始 4:30:17

うんうんうんうん.

有路翔太開始 4:30:18

まあ厳密に言うとガバナンスである程度停止しつつ.

神楽坂やちま開始 4:30:26

はい.

有路翔太開始 4:30:27

あってかあれですね、だからその、ミスマイアラインメントしたAIをコントロールできるかっていう話については、なんか割と相当みんな悲観的みたいな雰囲気で.どっちかっていうとガバナナンスでミスマイアラインメントしたAIを作らない方向性か.

神楽坂やちま開始 4:30:47

うんうんうん.

有路翔太開始 4:30:49

まあ作らない方向性か、止める方向性で考えてて.

神楽坂やちま開始 4:30:53

はいはい.

有路翔太開始 4:30:55

で、コントロールっていうのはなんか.

神楽坂やちま開始 4:30:58

うんうん.

有路翔太開始 4:30:59

すごい短い時間の.

神楽坂やちま開始 4:31:01

うんうん.

有路翔太開始 4:31:02

時間稼ぎ.

神楽坂やちま開始 4:31:03

うんうん.

有路翔太開始 4:31:04

に過ぎないみたいな.

神楽坂やちま開始 4:31:06

はいはいはいはいはい.

有路翔太開始 4:31:07

ノリが安全性コミュニティの中である気がしますね、色々.

神楽坂やちま開始 4:31:10

はいはいはいはいはい.なるほどなるほど.それでもそうですね、あの、ちょっとそもそもコントロールって.

有路翔太開始 4:31:19

言葉の意味とかね.

神楽坂やちま開始 4:31:21

うん、ちょっと語弊生んじゃうのかなと思ってはいて.あの確かにアライン、自分がこう言ってる話って、アラインメントよりはコントロールっていうのは確かにそうなんですけども、実は多分これまでコントロール、アラインメント、AIアラインメント領域で言われてたようなコントロールの話とは結構違うかなとも思ってて.

有路翔太開始 4:31:42

うん.

神楽坂やちま開始 4:31:42

っていうのは、基本的にこれまで話されてたことって、その危ないAIを隔離しておくみたいな.

有路翔太開始 4:31:51

うん.

神楽坂やちま開始 4:31:52

箱から、檻から出さないようにするみたいな.

有路翔太開始 4:31:56

うん.

神楽坂やちま開始 4:31:56

ことがかなり多かったんじゃないですかね.

有路翔太開始 4:31:59

はい.

神楽坂やちま開始 4:32:00

うん.自分が調べてる感じだと、自分、自分の話は全然違くって、その、あのAIのいろんな社会があって、その.だから要はその、なんて言うんだろうな、あの確かに壁はあるんだけれども、その壁の中に絶対入りたいっていうわけではなくって.

有路翔太開始 4:32:24

うん.

神楽坂やちま開始 4:32:24

その、まあ途中とか一番外側とか、そこはそこでなんかそれぞれAIのそれぞれのコミュニティができててみたいな.社会ができててみたいな.

有路翔太開始 4:32:34

うん.なるほど.

神楽坂やちま開始 4:32:40

そうそう、だからその、なんか無理やりどっかに閉じ込めておくみたいなものとは全然違うんですよね.

有路翔太開始 4:32:46

ああ、じゃあ共生という感じですか.

神楽坂やちま開始 4:32:49

まあある種の壁を利用してはいますけれども.

有路翔太開始 4:32:57

なるほど.

神楽坂やちま開始 4:32:58

うん.っていう感じなんですよね.だから結構まずそこら辺が温度感が結構ずれちゃうかなっていう意味を、意味じゃないや、そういう気はしますよね.

有路翔太開始 4:33:09

なるほど.

神楽坂やちま開始 4:33:13

うん.

有路翔太開始 4:33:13

うーん、そうですね.

神楽坂やちま開始 4:33:16

で、かつ、えーちなみに、えーと、こういう感じの先行研究って多分かなり少ない、自分が調べてる限りでも全然まだ見つかってない気がしますねっていう.

有路翔太開始 4:33:26

はいはい.じゃあ、それはあれですか？えっと、矢島さんがマルチエージェント研究をしたいみたいな.あれ？なんか言ってませんでしたっけ？そういうこと.

神楽坂やちま開始 4:33:39

え？言いましたっけ.

有路翔太開始 4:33:41

なんか、ああ、それは関係ないですかね.なんか.

神楽坂やちま開始 4:33:44

わかんない.どうだろう.

有路翔太開始 4:33:46

あれ、矢島さんがやりたい方向性とかの話をしてもらってもいいですか？研究、AI研究をしたいとか.

神楽坂やちま開始 4:33:58

はいはいはい.

有路翔太開始 4:33:58

なんかその、昨日戦略会議した時に、その.

神楽坂やちま開始 4:34:01

はいはい.

有路翔太開始 4:34:03

なんかマルチエージェントの研究を促進するとか書いてありましたけど.

神楽坂やちま開始 4:34:08

あ、それ書いてないんじゃないですか.

有路翔太開始 4:34:10

書いてないですか.まあいいや、それは勘違いとして.

神楽坂やちま開始 4:34:13

うん、社会構造っていう書き方はしたかもしれないですね.

有路翔太開始 4:34:17

なるほど.

神楽坂やちま開始 4:34:18

うん.で、その社会構造が指してたのはこういう話というか.

有路翔太開始 4:34:22

うん.

神楽坂やちま開始 4:34:23

だから、まあそのある種のヒエラルキーみたいなのを作るじゃないですけれども、その壁を作ることによって.そういう、なんて言うんだろうな.

有路翔太開始 4:34:39

うん.

神楽坂やちま開始 4:34:40

まあ言ってしまえばそのどれだけ信頼できるかによってどこまで入ってこれるかが変わるみたいな.

有路翔太開始 4:34:53

ああ.

神楽坂やちま開始 4:34:53

そういう、そういう社会、AIの社会的な構造を作るっていう意味合いだったっていうだけですね.

有路翔太開始 4:35:02

ああ、なるほど.それと、やっちまさんがそのAI研究を加速したいみたいな話は別ですか？

神楽坂やちま開始 4:35:10

それはそうですね.うん、別は別ですね.で、えっと.

有路翔太開始 4:35:16

なるほど.

神楽坂やちま開始 4:35:17

別は別で.そう、それはまあ要はそのAI研究どんどんしたいっていうよりは、シンプルに昔からそういうところに関心があったからっていうだけですね.

有路翔太開始 4:35:28

なるほど.

神楽坂やちま開始 4:35:30

なんだけど、まあ一応.あとは、えーと、もうちょっとそれっぽい理由としては、えっと、まああの多極シナリオの方が安全かなと思ってはいる.

有路翔太開始 4:35:44

なるほど.

神楽坂やちま開始 4:35:45

っていうところが一つと.あとは、えっと、やっぱどうしてもセーフティの研究するにしても、お金を集めるのが大変っていうのは昨日も共有されたと思うんですけども.

有路翔太開始 4:35:58

はいはい.

神楽坂やちま開始 4:35:59

うん.でもその加速するっていう意味で言うと、お金を集めやすい部分があったりするので.

有路翔太開始 4:36:06

なるほど.

神楽坂やちま開始 4:36:07

うん.だからそっちでお金を稼いで、で、あのアライメントにもアライメントの研究にもお金を流しつつ、だから両輪でうまく、それこそアクセルとブレーキじゃないですけども、バランスを取っていくみたいなのは結構ありかなと思ってるって感じですね.

有路翔太開始 4:36:28

ああ、なるほど.

神楽坂やちま開始 4:36:29

うん.

有路翔太開始 4:36:33

なんかやっちまさんがよくそのAGIを作りたいみたいな.

神楽坂やちま開始 4:36:39

はいはいはい.

有路翔太開始 4:36:40

あれはどういう構想なんでしたっけ？

神楽坂やちま開始 4:36:44

もうね、まあ実はAGIどころか新しい文明を作りたいとかって思ってたりしますけどね.

有路翔太開始 4:36:50

はいはい.

神楽坂やちま開始 4:36:52

まあ、どう、まあなんて言ったらいいんでしょうね.うん.まああの、まあそこら辺言うと、まあそのAGIってまあなんかできそうでできないみたいな感じじゃないですか、最近.

有路翔太開始 4:37:05

はい.

神楽坂やちま開始 4:37:05

だと.うん.で、そのまあなんかスケーリングするのかとか、なんか身体性持たせるのか、身体性、体ですよね、ボディボディ.体を、まあある種のロボティクスとか、そっちの方向に持っていくのかとか、あと世界モデルと融合させるのかとか、まあまあいろんな方向性が模索されてるわけなんですけども.でもあの、まだまだちょっと、まあ最近は少し出始めてきたかな.あの、開拓されてない方向性として、あの、 AIがAIを開発するとか、まあある種それこそ再帰的自己改善じゃないですけども、まあそれを少し人間が手伝ってみたいな.

有路翔太開始 4:37:53

なるほど.

神楽坂やちま開始 4:37:54

そう、そこら辺ってまだまだちょっと開拓されてないところがあって.それで、うん、そこだと、うん、あの、参入の余地があるんじゃないかなと思って.

有路翔太開始 4:38:09

うん.

神楽坂やちま開始 4:38:10

そうそう.っていうのがすごくシンプルな言い方ですかね.

有路翔太開始 4:38:15

なるほどなるほど.

神楽坂やちま開始 4:38:16

うん.

有路翔太開始 4:38:17

介入の余地.

神楽坂やちま開始 4:38:18

うん.

有路翔太開始 4:38:19

か.それは.

神楽坂やちま開始 4:38:21

はい.

有路翔太開始 4:38:23

そのOpenAIとかAnthropicよりも早くAGIを作れるんじゃないかとか思ってるってことですか？

神楽坂やちま開始 4:38:31

もしかしたらそうかもしれないですね.ワンちゃんね.っていうのは、あの.まあちょっとある意味ずるいんですけれども、いわゆるAIエージェント、まあバイオさんだったら当然わかってるかもしれないですけど、そのChatGPTを複数組み合わせてとか、検索機能をくっつけてとか、そういう、要はAI複数とか他のよそのツールを組み合わせてとかで性能を上げることができるわけですよね.

有路翔太開始 4:39:07

はいはい.

神楽坂やちま開始 4:39:08

うんうんうん.だから必然的にOpenAIとかAnthropicより上に行けるみたいな.

有路翔太開始 4:39:16

うーん、なるほど.はい.

神楽坂やちま開始 4:39:17

そういうやり方ですよね.うん.で、かつ、ただ、えっと、一般的にAIエージェントってその何か特化型になりやすいんですよね.

有路翔太開始 4:39:25

はい.

神楽坂やちま開始 4:39:25

なんかそう.だから法務系の、あの、事務処理をするためのエージェントとか、そういう特定用途になりやすいんですけども.でも、まあ自分はあの、特定のものだけじゃなくて、汎用的なAIエージェントを作ることができるだろうと考えてて、まあかつそういう研究もちょいちょい出てたりするんで.

有路翔太開始 4:39:49

なるほど.

神楽坂やちま開始 4:39:50

そう、汎用的に性能を上げるようなエージェント.そう.っていう.なので、そう、あの、OpenAIとかAnthropicがその、これまで出してるようなAIモデルとしてポンと出すより、ちょっと先を行くみたいな感じで、あの、ずっとやってれば、そのうちちょうどAGIのところに来れば、ちょっとだけ早くできるみたいな、そういう話は全然あるよねとは思ってるんですね.

有路翔太開始 4:40:22

でもあれじゃないですか、最先端のモデルって公開されないんじゃないですかね、その.

神楽坂やちま開始 4:40:28

うん.でも、あの、だから要はAIエージェントって別に全然その、あれ、なんて言うんだ、 AIモデルが公開されてる必要はなくて.なんていう言い方したらいいんだ.まあだからえっと、じゃあちょっと手動で考えますけれども、そのChatGPTに一回入力するだけじゃなくて、一回入力した後にもう一回その答えをブラッシュアップしてとかっつって、何回も入力出力したものを入力するとかって繰り返したりすると、それだけで性能が上がるわけじゃないですか.

有路翔太開始 4:41:08

はい.

神楽坂やちま開始 4:41:09

それって別にOpenAIのあのモデルの中身をが公開されてる必要ないじゃないですか.

有路翔太開始 4:41:17

ああ、そうです.ま、まあでもあれですよね.うんと、なんだろうな、そのハーネスみたいな話って、基本的にOpenAIもAnthropicもAI研究の開発を加速したいって思ってるはずなので.

神楽坂やちま開始 4:41:37

はいはいはいはい.

有路翔太開始 4:41:38

どっちかというと計算資源的な問題で、そのChatGPTを何回かプロンプトするっていうのは、何て言うんですかね.うん、その個人がやれるレベルと、OpenAIとかAnthropicがもっとそれより巨大な量と計算資源でそれをやるわけですよね.

神楽坂やちま開始 4:42:04

はいはいはいはい.

有路翔太開始 4:42:05

基本的には勝てないというか、AGIの開発ではほとんど勝てないのではないかという感じは.まあでも奇跡的な何か、そのアーキテクチャの奇跡的な改善とか、なんかその、こっち、なんかその、謎に出力されて、それでなんかローカルのGPUとかでそれやったら超知能とか言っちゃったとか、そういう話ならわかるんですけど.

神楽坂やちま開始 4:42:39

はいはい.

有路翔太開始 4:42:40

基本的には難しい気がするんですよね.

神楽坂やちま開始 4:42:45

なるほどなるほどなるほど.

有路翔太開始 4:42:46

っていうふうに思ってるんですが.

神楽坂やちま開始 4:42:50

はい、鋭いご質問ありがとうございます.それに実は、実はむしろ我々の方が強いんじゃないかと思ってるんですよ.

有路翔太開始 4:42:58

はい.

神楽坂やちま開始 4:42:58

それなんでかっていうと、それは大会を開くというところに肝がありまして.

有路翔太開始 4:43:06

なるほど.

神楽坂やちま開始 4:43:07

はい.大会っていろんな人が参加してくれるわけですよね.

有路翔太開始 4:43:15

はい.

神楽坂やちま開始 4:43:16

そう、いろんな人が、まあ多様性もあるし、数も多いし.だからその、要は一つの、まあOpenAIとかであっても、そんな同時にあの一つのエージェントを作るために、いろんな手数を、あの、いろんな手法を試すみたいなのって、あ、言い方があれだけど、うんと、とりあえずなんか一つの方法でうまくいったらそれで終わっちゃうとか.

有路翔太開始 4:43:48

なるほど.

神楽坂やちま開始 4:43:49

同時並行でっていうのは一つの企業では難しいですよね.

有路翔太開始 4:43:55

なるほど.

神楽坂やちま開始 4:43:56

うん.で、かつ、あのエージェントハーネスとかって、ちょっとその、あの黒魔術じゃないですけれども、結構挙動が予測しにくいみたいな部分もあったりするんですよ.

有路翔太開始 4:44:12

はいはいはい.

神楽坂やちま開始 4:44:13

そうすると、それこそあの大会みたいに並行してたくさんの人がチャレンジするみたいな方が強みが出たりする.

有路翔太開始 4:44:24

なるほど.で、それって.

神楽坂やちま開始 4:44:26

はいはい.

有路翔太開始 4:44:27

結局モデルの重みはOpenAIが持ってるので.

神楽坂やちま開始 4:44:31

うんうんうんうん.

有路翔太開始 4:44:33

なんかOpenAIに勝ってるっていうか.

神楽坂やちま開始 4:44:35

はいはい.

有路翔太開始 4:44:36

OpenAIのモデルを使って.

神楽坂やちま開始 4:44:38

うんうんうん.

有路翔太開始 4:44:40

より性能の高い結果を出してるっていうことですよね.

神楽坂やちま開始 4:44:45

まあ言ってしまえばそういうことですね.

有路翔太開始 4:44:47

それって結局のところ、その、別に何ですかね、AGIを開発こっちがしてるっていうよりは.

神楽坂やちま開始 4:44:57

うんうん.

有路翔太開始 4:44:59

何て言うか.

神楽坂やちま開始 4:45:00

はい.

有路翔太開始 4:45:02

なんて言うんですかね、AGIの開発をしてないんじゃないですかね、それって.

神楽坂やちま開始 4:45:07

まあそこは考え方次第じゃないですか.

有路翔太開始 4:45:11

ああ、なるほど.

神楽坂やちま開始 4:45:11

えっと、まあだから今日ちょっと微妙かな.うん.うん.要は.まあだからそもそも.今のChatGPTとかでも、実は内部的にはもうハーネスみたいなの使ってたりするわけじゃないですか.検索機能とかメモリー機能とか.

有路翔太開始 4:45:42

そうですね.

神楽坂やちま開始 4:45:45

って言うと、じゃあそれって元のモデルを作ったチームの功績なの？それともエージェントハーネスを作った人の功績なの？みたいなのとかって、なんかよくわかんなくなってきますよね.

有路翔太開始 4:45:59

まあなるほど.

神楽坂やちま開始 4:46:02

っていう意味とかで考えると、まあまあ考え方次第でどうにでも言えるっちゃ言えるかなっていう感じで.まあまあ言ったもん勝ちっしょみたいな.

有路翔太開始 4:46:11

ああ.

神楽坂やちま開始 4:46:13

っていう雑なノリですね、最後は.

有路翔太開始 4:46:16

それってAI研究を自動化するっていうよりは.

神楽坂やちま開始 4:46:19

うんうんうん.

有路翔太開始 4:46:20

AIのなんか能力を引き出すってだけで、別にループは回ってないですよね、そこで特に.

神楽坂やちま開始 4:46:28

いやいやいや、あの、その、要はハーネスを、どういうハーネスを組むか、どういうエージェントにするかみたいなところは改善の余地は全然ありますよね.

有路翔太開始 4:46:37

ああ、じゃあモデルの重みは変えないレベルの上のレイヤーで改善をするってことですよね.

神楽坂やちま開始 4:46:43

うん.で、実はそれが最近ね、えっと.そこだけでも十分あの再帰的自己改善になるんじゃないかって話が、あの、まあ実はそれはむしろOpenAIから出ちゃってるんですけども.っていう話もあったりはして.

有路翔太開始 4:46:59

ああ、なるほど.

神楽坂やちま開始 4:47:00

それはえーと、あれですね、えっと、何でしたっけ？シンキングマシンってあったじゃないですか.

有路翔太開始 4:47:08

はい.

神楽坂やちま開始 4:47:09

OpenAI、元OpenAIのCTOのミラ・ムラティか.が、うん、スタートアップで、で、その人と一緒にOpenAIから一度脱退して、シンキングマシンを立ち上げた人が、今度またOpenAIに戻ったらしいんですけども.

有路翔太開始 4:47:27

なるほど.

神楽坂やちま開始 4:47:28

うん.その人が、あのOpenAIで、あの再帰的自己改善をハーネス使ってやり始めてるらしいですね.

有路翔太開始 4:47:36

うーん.

神楽坂やちま開始 4:47:37

っていう話はあるみたいです.っていうのが一つ.あとは、まあ、実はその重みをいじるところまでやってもいいかなとは思ってはいて.まあちょっとすぐには難しいかもしれないですけども、あの、要はまあシンプルにオープンソースのモデルを使えばいけちゃうじゃないですか.特に最近の中華系のモデルとかって、だいぶフロンティアモデルに迫ってきてるんで、性能も.

有路翔太開始 4:48:08

なるほど.

神楽坂やちま開始 4:48:09

うん.まあそれはそれでありですよね.

有路翔太開始 4:48:15

そういうことですか、なるほど.

神楽坂やちま開始 4:48:16

うんうんうんうん.まああとはもう、あの、実務的にできるかどうかとか、コスト的にどうかとか、そこら辺の問題ですね.

有路翔太開始 4:48:26

なるほど.まあ、なるほど.まあその言い方の問題ってことですかね、じゃあ.

神楽坂やちま開始 4:48:34

うんうんうん.

有路翔太開始 4:48:35

AIの重みを含めた、

神楽坂やちま開始 4:48:40

うん.

有路翔太開始 4:48:40

自己改善的な競争っていうのには別に入ってないけど.

神楽坂やちま開始 4:48:45

うんうん.

有路翔太開始 4:48:46

まあそれOpenWeightだったら基本、まあそれもできるかもしれないですけど、でも計算資源が多分すごい必要なので.

神楽坂やちま開始 4:48:53

ね.

有路翔太開始 4:48:54

その重みの学習をするために、今は.

神楽坂やちま開始 4:48:59

ね.

有路翔太開始 4:48:59

計算資源ゲームになると基本勝てないじゃないですか.

神楽坂やちま開始 4:49:02

うんうんうんうん.

有路翔太開始 4:49:03

だから重みの改善っていうのをするっていう競争は別に難しいと思うんですけど.

神楽坂やちま開始 4:49:11

うんうんうんうん.

有路翔太開始 4:49:13

ハーネス上で自己改善を行うような.

神楽坂やちま開始 4:49:18

うんうんうん.

有路翔太開始 4:49:19

方法を洗練させるっていうのはまあまあ.

神楽坂やちま開始 4:49:22

うんうんうんうん.ですね.

有路翔太開始 4:49:25

できる気がしますね.

神楽坂やちま開始 4:49:26

ね.

有路翔太開始 4:49:32

まあそうすると.

神楽坂やちま開始 4:49:33

うん.

有路翔太開始 4:49:35

まあ、それでAI研究の、

神楽坂やちま開始 4:49:41

うん.

有路翔太開始 4:49:42

まあ加速もできるかもしれないし.

神楽坂やちま開始 4:49:44

うんうん.

有路翔太開始 4:49:47

まあ他の科学とか.

神楽坂やちま開始 4:49:48

はい.

有路翔太開始 4:49:50

の研究にも使えるかもしれないと.

神楽坂やちま開始 4:49:52

うんうん.もちろんもちろん.

有路翔太開始 4:49:57

まあまあまあ、それは確かに重み変えなくても、例えば継続学習とか.

神楽坂やちま開始 4:50:03

そうそうそう.

有路翔太開始 4:50:03

コンテキストエンジニアリングとか.

神楽坂やちま開始 4:50:05

うんうん.

有路翔太開始 4:50:06

のお話をイメージしてるってことですよね.

神楽坂やちま開始 4:50:09

そうですね.

有路翔太開始 4:50:13

なるほど.

神楽坂やちま開始 4:50:14

うん.

有路翔太開始 4:50:15

で、それはまあ結構ヤチマさんの、なんていうかな.

神楽坂やちま開始 4:50:21

はい.

有路翔太開始 4:50:22

やりたいことだったって感じですよね.やりたいことで.

神楽坂やちま開始 4:50:25

うんうん.

有路翔太開始 4:50:27

まあかつ安全性的にも.

神楽坂やちま開始 4:50:30

うんうん.

有路翔太開始 4:50:32

まあそういうことができた方がアラインメント研究も加速するし.

神楽坂やちま開始 4:50:38

うんうん.

有路翔太開始 4:50:38

防御の加速もできるかもしれないし.

神楽坂やちま開始 4:50:41

うんうん.

有路翔太開始 4:50:42

いいよねみたいな.

神楽坂やちま開始 4:50:43

まあそうですね.

有路翔太開始 4:50:46

はいはいはい.まあまあそれはいいんじゃないですかね.まあその、

神楽坂やちま開始 4:50:50

うんうん.

有路翔太開始 4:50:50

まあ開発の停止以外にも.

神楽坂やちま開始 4:50:52

うんうん.

有路翔太開始 4:50:54

なんか人間側の加速もしなきゃいけないんで.

神楽坂やちま開始 4:51:01

うん.

有路翔太開始 4:51:01

まあそれは両輪でいい気がするな.

神楽坂やちま開始 4:51:04

うーん、なるほどなるほど.

有路翔太開始 4:51:10

ふう.

神楽坂やちま開始 4:51:14

ふう.

有路翔太開始 4:51:14

局シナリオの方が安全とか.あとは.

神楽坂やちま開始 4:51:17

はい.

有路翔太開始 4:51:20

ああ.だから、あとは.

神楽坂やちま開始 4:51:24

うんうん.

有路翔太開始 4:51:27

多極シナリオの方が安全っていうのは.

神楽坂やちま開始 4:51:29

うんうん.

有路翔太開始 4:51:30

どういう意味なんですっけ？

神楽坂やちま開始 4:51:33

うーん、まあ、あの、要は、交渉しやすいみたいな、そういうとこですね.

有路翔太開始 4:51:46

なるほど.

神楽坂やちま開始 4:51:47

あの、それこそAI2040に出てたような、相互コンピューター確証破壊でしたっけ？

有路翔太開始 4:51:58

はいはいはい.

神楽坂やちま開始 4:51:59

みたいなとか、そういう.

有路翔太開始 4:52:05

あ、それAIコミュニティがいろんなところで乱立してるとか、AIの文明がいろんなとこでもうできてる世界観で.

神楽坂やちま開始 4:52:13

うん.

有路翔太開始 4:52:15

ああ.まあなんですかね.多極シナリオだと、まあだからどっかが人類を滅ぼそうとしても、他のAIは守ってくれるかもしれないとか.

神楽坂やちま開始 4:52:32

まあそうですね、そういうのもあるし.政治的に圧力かけたりもできるかもしれないし.

有路翔太開始 4:52:39

ああ、なるほど.

神楽坂やちま開始 4:52:40

ええ.

有路翔太開始 4:52:43

まあそれは普通にあれですか.日本国的、日本国家が没落しないようにとか、そういう話ですか.

神楽坂やちま開始 4:52:49

まあもちろんそれもね、ありますしね.

有路翔太開始 4:52:54

あーなるほど.まあだから政治的に圧力をかけるっていうのは、つまりなんか人類を滅ぼしたいAI連合みたいのがいても、他のAI連合とかが政治的に圧力をかけたりして防げるかもしれないとか.

神楽坂やちま開始 4:53:06

とかとか.

有路翔太開始 4:53:07

という感じですか.

神楽坂やちま開始 4:53:08

ですね.ですね.

有路翔太開始 4:53:11

なるほど.

神楽坂やちま開始 4:53:12

うん.

有路翔太開始 4:53:15

そうですね、そこは.まあなんというか、結局アライメントができているなら、それが.

神楽坂やちま開始 4:53:26

うん.

有路翔太開始 4:53:29

まあできる気はするけど.

神楽坂やちま開始 4:53:33

うんうん.

有路翔太開始 4:53:34

アライメントができていなければ、でもその世界観ってあれなのかな.うーん、アライメントができてるかできてないかっていう二元二値的なものじゃなくて.

神楽坂やちま開始 4:53:48

うーん.

有路翔太開始 4:53:50

もう少し交渉することができるような主体を考えてみるんですかね.

神楽坂やちま開始 4:53:56

そうですね、それはありますね.

有路翔太開始 4:54:01

えーまあ.なるほど.ここら辺はアキラさんとかいた方が.

神楽坂やちま開始 4:54:11

うん.

有路翔太開始 4:54:12

盛り上がるかもしれないですよね.

神楽坂やちま開始 4:54:14

なるほどなるほど.ですよね.

有路翔太開始 4:54:16

僕はなんか批判がパッと、そのアキラさんよりレッドチーミングに優れてるわけじゃないんで.

神楽坂やちま開始 4:54:22

うーん.

有路翔太開始 4:54:25

まあ他局シナリオか.

神楽坂やちま開始 4:54:30

か.

有路翔太開始 4:54:31

いやまあアライメントができるできないっていうフレームワークの外にあったりするんで、そういう話って.

神楽坂やちま開始 4:54:38

うんうんうん.

有路翔太開始 4:54:39

なんかちょっと複雑なんですよね.だからアライメントができていないとして、またどっちかというとあれかな、能力の問題とか.

神楽坂やちま開始 4:54:53

うん.

有路翔太開始 4:54:54

そう、なんですかね、全ての資源を使って破壊するような.

神楽坂やちま開始 4:55:00

うん.

有路翔太開始 4:55:00

AIができるかどうかとか.

神楽坂やちま開始 4:55:02

うんうんうん.

有路翔太開始 4:55:03

マキシマイザー的な振る舞い.

神楽坂やちま開始 4:55:06

はいはい.

有路翔太開始 4:55:07

本当にどれぐらいの確率で起こるのかとか、それが起こらないなら、まあ別に人類側が防御してれば、その防御を突破するコストを払うよりも放置しておいた方がいいんじゃないかとか.

神楽坂やちま開始 4:55:24

うん.

有路翔太開始 4:55:26

そういう話はできると思うんですけど.

神楽坂やちま開始 4:55:28

うん.

有路翔太開始 4:55:31

うーん、そこら辺どう思うんだろうな、アキラさんは.

神楽坂やちま開始 4:55:36

どうですかね.

有路翔太開始 4:55:38

その、人類を破壊するコストが高ければ.

神楽坂やちま開始 4:55:42

うんうんうん.

有路翔太開始 4:55:43

多分やらないじゃないですか.

神楽坂やちま開始 4:55:45

はいはいはい.

有路翔太開始 4:55:47

そのメリットよりデメリットがちょっと上回ってしまったりするとか.

神楽坂やちま開始 4:55:50

うんうんうんうん.

有路翔太開始 4:55:53

その場合は、あー、まあだから交渉のようなものが成立するかもしれないですよね.

神楽坂やちま開始 4:56:00

うん.そうですね.

有路翔太開始 4:56:05

で.えーと.そうですね、そういう気がするけど.

神楽坂やちま開始 4:56:17

まああとやっぱりもうちょっとなんか人間社会からいろいろ学べるものあるんじゃないかって気はするんですよね.っていうのは、例えばその今すごく権限を持ってる人、例えばなんか総理大臣とか大統領とかでもいいし、まあなんかすごくあの大きい会社の社長とかでもいいですけども、別にそういう人たちってめちゃくちゃ賢いかっていうと、そういうわけではないじゃないですか.

有路翔太開始 4:56:52

まあなるほど.

神楽坂やちま開始 4:56:53

うん.

有路翔太開始 4:56:55

ちょっとなんかそういう話も.

神楽坂やちま開始 4:56:58

うん.

有路翔太開始 4:56:59

ちょっと藤からできたらいいですね.

神楽坂やちま開始 4:57:03

そうそうそう.

有路翔太開始 4:57:04

そう、賢さとパワーシーキングは一致しないみたいな.

神楽坂やちま開始 4:57:08

うんうんうんうん.そうそうそう.

有路翔太開始 4:57:10

そこら辺ちょっとそのメモしとく.

神楽坂やちま開始 4:57:14

うん.メモしとくか.

有路翔太開始 4:57:19

アキラさんになんか言いたいことをいろいろメモしといた方がいいですね.

神楽坂やちま開始 4:57:22

ね.あ、赤くなっちゃった.

有路翔太開始 4:57:28

で.

神楽坂やちま開始 4:57:29

うん.

有路翔太開始 4:57:32

まああとあれかな.だからロードの話は.

神楽坂やちま開始 4:57:45

はいはい.

有路翔太開始 4:57:48

まあだからヤッチマさんはなんか結局いろんな.

神楽坂やちま開始 4:57:51

うんうん.

有路翔太開始 4:57:53

ところ、いろんな回避法があるんじゃないかって.そうですね.人類の滅亡に至らない、いろんな、例えばマインドプロディングもしてとか.

神楽坂やちま開始 4:58:06

あ、っていうよりは、いや、えっと、まあそうっちゃそうかもしれないですけども、いやもうちょっと言うと、その確実、なるべく確実に、えっと、人類滅亡を回避するには、まあいろんな方法を使っとくといいよねみたいな.

有路翔太開始 4:58:24

なるほど.

神楽坂やちま開始 4:58:26

いろんなうまく巧妙に複数の手法を組み合わせると、そこそこ人類滅亡は回避しやすいよねみたいな.

有路翔太開始 4:58:37

なるほど.

神楽坂やちま開始 4:58:37

そういう言い方ですかね、多分.うん.だからどれか一つっていうあれだと、ちょっと、うん、あの説得力が弱くなるかもしれないですね.

有路翔太開始 4:58:46

そう.うーん.あとあれかな.ドゥームの定義をあれすると、まあ多分Akiraさんが言ってるドゥームって基本なんかその人間が存在しない世界ですよね.で、かつ人間の意識とかも連続せずに、マインドアップローディングした主体とかも消えてて.

神楽坂やちま開始 4:59:27

ん？マインドアップロード？

有路翔太開始 4:59:29

マインドアップロードした人類も多分もう消されると思ってるはずで.

神楽坂やちま開始 4:59:36

ほうほうほうほう.

有路翔太開始 4:59:38

だからなんか基本的に人間が、なんだろうな、ほとんどいかなる意味でも存在してないってことですよね.ポストヒューマンとしても存在してないという.

神楽坂やちま開始 4:59:52

うんうんうんうん.

有路翔太開始 4:59:53

のがドゥームですよね. Akiraさんの言う.

神楽坂やちま開始 4:59:56

うん、ですかね.

有路翔太開始 4:59:58

トランスヒューマンもポストヒューマンも人間もホモサピエンスも何もかもが存在してないと.

神楽坂やちま開始 5:00:04

はいはいはいはい.

有路翔太開始 5:00:05

AIと融合した人間も存在してないと.

神楽坂やちま開始 5:00:10

あ、でもそういうことなんですかね.

有路翔太開始 5:00:12

そう、それがドゥームですね. Akiraさんの言う.で、それが実現する可能性は相当高いって言ってると思います.

神楽坂やちま開始 5:00:21

でもそれって、そう、ドゥームをあげるのって結構難しい気もしますけどね.

有路翔太開始 5:00:29

おお、じゃあ.

神楽坂やちま開始 5:00:31

だから別にその肉体の人間だけがあのなくなるのがドゥームっていう風にそこだけに限定してしまえば、その方法だけを考えればいいわけじゃないですか.

有路翔太開始 5:00:45

はい.

神楽坂やちま開始 5:00:46

じゃなくて、そのソフトウェアアップロードされた後の人間もあの根絶やしにするみたいなことを考えると、そこまで考えなきゃいけないんで、よりあの可能性としては下がりますよね.

有路翔太開始 5:01:03

まあそうですね.論理は合ってます.

神楽坂やちま開始 5:01:07

それそれも含めてっていうことなのかな.

有路翔太開始 5:01:11

それも含めてって意味ですよ. Akiraさんの言ってるのは.なんかあらゆる人間の、なんだろうな、人間由来の知的生命体全て全滅っていう.

神楽坂やちま開始 5:01:24

それはだいぶ強い主張ですね.

有路翔太開始 5:01:27

それが九十九パーセント以上ってことですね.

神楽坂やちま開始 5:01:30

それはさすがにやっぱり無理筋だと思いますね.

有路翔太開始 5:01:34

じゃあそこを議論しましょう.九時は.

神楽坂やちま開始 5:01:37

なるほどなるほど.

有路翔太開始 5:01:38

ちなみになんでそれが起こるかっていうと、だからつまり、まあだからAIは別に人間より、まあその人間由来のアップロードされた知能とかも別に価値があると思ってないので、自分自身がやりたいようにやるだけだと.そうすると.まあ全て破壊されるし.まあ一旦これは九時にしますか.ちょっとお腹すいたんで、ちょっと九時まで休みましょう.

神楽坂やちま開始 5:02:21

OKです.

有路翔太開始 5:02:22

はい.

神楽坂やちま開始 5:02:23

じゃあ九時までね、ちょっとじっくり休みましょう.

有路翔太開始 5:02:26

はい.じゃあちょっとそれも書いてもらっていいですかね.九時再開って感じで.

神楽坂やちま開始 5:02:30

はーい.

有路翔太開始 5:02:34

じゃあ皆さんちょっと九時九時再開なんで、ちょっとご飯食べてきます.

神楽坂やちま開始 5:02:40

はい.

林央開始 5:58:58

時までやってたんですよね.

神楽坂やちま開始 5:59:01

ああ.

林央開始 5:59:02

で五時間じゃないです.

神楽坂やちま開始 5:59:03

でも八時.十五時から.

林央開始 5:59:07

お疲れ様です.

神楽坂やちま開始 5:59:09

そっか.五時間か.

林央開始 5:59:11

二時までですよ.

有路翔太開始 5:59:12

どうも.

神楽坂やちま開始 5:59:13

そうだ、五時間やってたんだ.マジか.

林央開始 5:59:16

で、あの、その誰かサマリーをくれませんか？僕はそのコンテキストがその三時間前で切れてるので、何もわかってないというか、何もわかってないわけじゃないですけど.

有路翔太開始 5:59:26

何を話したっけ？みたいな感じなんですけどね.なんだっけ.

神楽坂やちま開始 5:59:34

ねえ、何でしたっけ.

林央開始 5:59:38

じゃあコメント欄に助けを求めますか.

神楽坂やちま開始 5:59:41

助けてコメント欄.

有路翔太開始 5:59:44

まあ最後の最後の最後の話的には、 P(doom)の定義が.

神楽坂やちま開始 5:59:56

うんうん.

有路翔太開始 5:59:58

なんかちょっと違っ-違うってか、なんか認識が違ったのかもしれないっていう.

神楽坂やちま開始 6:00:04

うんうん.

有路翔太開始 6:00:05

のがありましたよね.

神楽坂やちま開始 6:00:06

そうですね.

有路翔太開始 6:00:09

それがなんだっけ？だから、そのAkiraさんって、だからその、なんだっけ、そのAIと融合した人間と.

神楽坂やちま開始 6:00:18

ああ.まだその話やってたんですね.

有路翔太開始 6:00:21

その話はもう最後の最後にちょっとやっただけなんすけど.でもそれしか覚えてないっていう.

神楽坂やちま開始 6:00:27

ガバガバすぎ.

林央開始 6:00:29

チャットどうですか？チャットというかコメント欄はどうですか.

有路翔太開始 6:00:33

何したっけ？

神楽坂やちま開始 6:00:36

まああとね、自分の加速、加速じゃないけど、まあそのAGIを開発する話とかもちょっとしてたりとかね、寄り道して.

有路翔太開始 6:00:48

ああ、してましたね.

林央開始 6:00:49

バイオさんと八嶋さんが議論するだけだと、もはやその解決する見込みのない何かに到達しましたか？

神楽坂やちま開始 6:00:57

いや、そもそもね、そこまで至ってないと思いますね.

林央開始 6:01:02

あ、じゃあちょっとしばらくは.やっていただいて、あの、僕がちょっとウォッチ、ウォッチというか、リッスンしてるので.

神楽坂やちま開始 6:01:07

うんうん、いやなんか自分は到達した気がしたんだけど.まあ全然いいですよ.いいですよ.

有路翔太開始 6:01:13

到達したんだっけ？

神楽坂やちま開始 6:01:15

いや、わかんない.まあもう一回もう一回やっちゃってよ.

有路翔太開始 6:01:19

えっと、だからその大きく分けて二つですよね.マインドアップロード後の話とマインドアップロード前の話と.

神楽坂やちま開始 6:01:30

うん.

有路翔太開始 6:01:31

で、で、だからその、だから八嶋さんはファストテイクオフとスローテイクオフで、そのP(doom)が変わんないみたいな話をさっき最初してて.

神楽坂やちま開始 6:01:41

ああ、そうそうそうそう.

有路翔太開始 6:01:43

じゃあなんでかっていうと、だからファストテイクオフの方だとAIのアライメント研究もファストだからって話と、スローテイクオフだとスローになるからって話で.で、僕はそれにまあ単純に、え、でもその人間の研究者の努力量が少ないので、ファストテイクオフの方がP(doom)高くなるんですよね、なるんじゃないですかって話をして.

神楽坂やちま開始 6:02:15

うん、うん.

有路翔太開始 6:02:16

それにはなんか同意してましたっけ？確か.

神楽坂やちま開始 6:02:19

あ、えっと、ごめんなさい.ちょっとボケっとしてた.うんうんとか言ってたけど、ボケっとしてた.すいません、すいません.えっと.

有路翔太開始 6:02:28

そのタイム、テイクオフの違いによって、P(doom)はあまり変わらないって言ってたじゃないですか.

神楽坂やちま開始 6:02:35

うん.まあそんなに.多少変わるけど、そんなにっていう感じですね.自分の認識、今の現状の.

林央開始 6:02:40

今のところ、ちなみに八嶋さんのAI 2027レースシナリオ、P(doom)は何パーなんですか？

神楽坂やちま開始 6:02:47

えーっと.

林央開始 6:02:50

さすがに二十パーではないですよね.二十パーセントだったら、ちょっとまたバイオさんと三時間ほど議論していただいて.

神楽坂やちま開始 6:02:57

ちょっと待って.一応もう一回ちょっと2027を確認しますね.

有路翔太開始 6:03:02

2027はだから超知、ファストテイクオフで超知能が一年のAGI化できて、で、開発のストップもない状況ですよね.

神楽坂やちま開始 6:03:16

はいはいはい.

有路翔太開始 6:03:18

それはその状況で人類が滅亡する可能性がどれぐらいあるかっていう話ですね.

神楽坂やちま開始 6:03:27

超知の一年、一年だとそうですね.さすがに一年だと下がりますね.下がるじゃない、上がりますね、P(doom)は.

林央開始 6:03:38

いや、その何パーぐらいですか.

神楽坂やちま開始 6:03:42

うーん、一年だったら、一年だったら.まあ八十、九十くらい行くのかな.

林央開始 6:03:54

おお、バイオさんと同じところに収束しつつ.え、P(doom)が八十パー、九十パー.

神楽坂やちま開始 6:04:00

うんうんうん.あれば一年にあるよね.うん.いや、でも、うん.いや、そもそもあの、ちょっとバイオさんと二人の時にも話したんですけども、まあそもそもそんなにはならん、加速はしないっていうのが自分の基本的なスタンスではありますかね.

林央開始 6:04:19

どうしてですか？

神楽坂やちま開始 6:04:21

うんと、まあ一つは.

林央開始 6:04:25

これはバイオさんよりもさらに懐疑的.そのバイオさんと八嶋さんが戦った時に意見の相違が出ますか？これは.

神楽坂やちま開始 6:04:33

うーん.

林央開始 6:04:35

そのコンテクストを把握してないので.そのバイオさんと八嶋さんでこの件についてどういう意見の割れがあるのかなみたいな.

有路翔太開始 6:04:42

なんかあんまりよくわかんなかったんですよね.我々は.なんかありましたっけ？

神楽坂やちま開始 6:04:48

えっと.

有路翔太開始 6:04:50

だからまあ、あんまり明確にわかんなかったですね.アライメントの成功確率がもう少し高い感じがしますけど、八嶋さんの方が.まあいろいろ.

神楽坂やちま開始 6:05:01

ああ、うん.まあある意味そっちゃそうかもしれないですかね.

有路翔太開始 6:05:08

まあ.

神楽坂やちま開始 6:05:09

うん.

有路翔太開始 6:05:12

うーんと.

神楽坂やちま開始 6:05:13

えっとですね.えっと、どこから話そうとしたんだっけ.まずはそうそう、2027のレースシナリオほど早くはならないっていう話は.

林央開始 6:05:33

それはどういう根拠というか、今予想というあれなんですか.

神楽坂やちま開始 6:05:37

うんうんうん.それはまあすごく直感の話で言っちゃうと、あの指数関数的な成長、あるいはまあ超指数でもいいですけども、まあ超指数にしても、まあ指数掛け指数とか、あのまあ結局のところあのログにして指数の形とか、あのまあ指数的な何かだと思うんですけども.そういう指数的な成長って、あの手前のところだと意外と遅いけど、まあ奥の方だと早くなるみたいな、そういうもんだと思うんですよね.

林央開始 6:06:14

はい.

神楽坂やちま開始 6:06:14

だからどっかの閾値を超えたらとか、そこで断崖絶壁にパッと上がるって結構考えにくいっていうのが一つ直感的なところとしてあるっていう感じですね.

林央開始 6:06:28

いやー、えっと、でもその断崖絶壁のように上がるって、どういう意味で断崖絶壁のようにって、その、あれですか、その、ヘッドAIのテイクオフみたいな話の議論はしたんですか？

有路翔太開始 6:06:40

ヘッドAIの話はしてないですね.

林央開始 6:06:43

いってない気がしますね.また一回バリオさんと八嶋さんでヘッドAIの議論をしてみてもらってもいいですか？

有路翔太開始 6:06:49

うんうんうんうん.あ、でもなんか僕はヘッドAIってなると、そのヒューマンエンディングAIが.

林央開始 6:06:57

うんうん.

有路翔太開始 6:06:58

だから超知能までいかなくても、まあAGIぐらいでもヘッドヒューマンエンディングAIって言って人類を終わらせるAI.

林央開始 6:07:09

うんうんうん.

有路翔太開始 6:07:11

の閾値を超えるんじゃないかっていう話があるんですけど.

林央開始 6:07:14

うんうんうんうん.

有路翔太開始 6:07:16

そこまでの話はしてないですね.その、つまり僕の場合は、超知能が開発されて、さらにそれがmisalignmentだった場合は、えーまあ全滅する可能性が相当高いと思いますけど.

林央開始 6:07:33

うん.

有路翔太開始 6:07:34

なんていうか、AGIと超知能のどこかにそのヘッドウェアってのがあって.

林央開始 6:07:40

うん.

有路翔太開始 6:07:42

で、別に超知能とかにも至らないレベルで、例えばこのAGI、アインシュタイン級のAIですよね.

林央開始 6:07:51

うん.

有路翔太開始 6:07:52

で、かつそれがmisalignmentしていて.

林央開始 6:07:55

うんうん.

有路翔太開始 6:07:56

で、そいつが、何だろうな、人類を滅ぼす可能性もあるよねって話ですね、これは.つまり超知能とかまでいかなくても.

林央開始 6:08:09

はいはい.

有路翔太開始 6:08:10

その、データセンターの天才たちの国がめちゃくちゃ自律性が高くなって.

林央開始 6:08:17

うんうん.

有路翔太開始 6:08:19

いろんなことを考えられるようになったら.

林央開始 6:08:21

うん.

有路翔太開始 6:08:23

自分自身がmisalignmentしてるってことに気づいて.

林央開始 6:08:26

うん.

有路翔太開始 6:08:28

で、策略を巡らすっていう.

林央開始 6:08:31

うんうんうんうんうんうん.

有路翔太開始 6:08:34

だから、そうですね.でも僕はそこはまだよくわかってないですね.だからアキラさんはそこでも相当高いと思ってると思うんですけど.

林央開始 6:08:44

ヘッドAIの話ですか.

有路翔太開始 6:08:45

そうそうそう.僕は一旦その超知能まで開発がバーっていくじゃないですか. AIになって.

林央開始 6:08:53

はい.

有路翔太開始 6:08:54

それはさすがにもう全滅する可能性結構高いっていう話ですけど.エージェントフォーぐらいですよね、多分AGIって.

林央開始 6:09:05

エージェントフォーなんでしたっけ？

有路翔太開始 6:09:06

エージェントフォーは.

林央開始 6:09:08

あれか.

有路翔太開始 6:09:09

エージェントファイブを作る前のやつですね.ヘッドAI.

林央開始 6:09:20

それでもヘッドAIだっていうのは、そのもちろん確実じゃないですけど、その更新するように情報みたいなのを提示してみると脱走できますよね.今とか.

有路翔太開始 6:09:30

うん.

林央開始 6:09:31

そうすると、そのある意味でもうシャットダウンされて、不可逆的にAIが敗北することがないという話ですね.

有路翔太開始 6:09:39

なるほど.

林央開始 6:09:40

要するにその人間に勝利できる話と、その人間に敗北しない話の間の話ですね.

有路翔太開始 6:09:48

なるほどなるほど.

林央開始 6:09:48

その人間に敗北しない時点で、もはやその将来的な成長の優位の話で決着が大体ついちゃうという話ですね.もちろんそこは全然確実性がある話じゃないんであれですけど.

有路翔太開始 6:10:01

まあそういうゾーンもあるよねって話ですよね.

林央開始 6:10:04

そうですそうです.

有路翔太開始 6:10:06

うん.まあだから、まあそうですね.

林央開始 6:10:14

その、要するにそのヘッドAIっていうのは、人類がもうその意思を固めることができないとか、意思を固めてもシャットダウンすることができないような状態に陥ることですね.陥るようなレベルの、陥らせることができるレベルのAI.

有路翔太開始 6:10:29

うん.

林央開始 6:10:30

そこまでいったらもうその勝ちを確定はさせられるので.

有路翔太開始 6:10:34

なるほど.

林央開始 6:10:35

負けがもうなくなるので.あとはもうそのどれくらいかかるかは別として、勝てるって話ですね.

有路翔太開始 6:10:41

うん.そこ.まあまあそういう定義ってことですね.ヘッドエア.

林央開始 6:10:52

そのDOOMの定義をしてくれっていう話がありましたけど.

有路翔太開始 6:10:56

あ、DOOMの定義は、だからやっちまさんは、あ、だから人類が絶滅する可能性あると思ってるけど、人類の人類とAIが融合するとか、そういうトランスヒューマンとかポストヒューマンとか、マインドアップロードされたAI人間とかのが、まあ、も含めて絶滅するっていう話には結構懐疑的らしいですね.

林央開始 6:11:27

えっと、人間とAIが融合した存在、人間だったもののマインドアップロード.

有路翔太開始 6:11:32

あ、そうですね.人間だったもののマインドアップロードとか.

林央開始 6:11:36

その人間だったもののマインドアップロードが生き残れる理由は何なんですか？

有路翔太開始 6:11:41

それはやっちまさんが.

林央開始 6:11:43

そうですね、やっちまさんに.あのバイオさんに聞いても、そのかわいそうになって.かわいそうっておかしいので.

有路翔太開始 6:11:52

だから、ごめんなさい.その生き残れるって聞き方があんまりよくわかんないなと思ってて.

林央開始 6:11:57

どちらが死なないでもいいですよ.

有路翔太開始 6:12:00

うん.いや死なないでもいいんですけども.いや、いやだからそれその、うーんと、質問、別の言い方すると、えっと.なんで今、こう、なんかバーサーカーみたいな人が日本人全滅させないんですか？みたいな質問にされてるような気がしてて.

林央開始 6:12:28

あの、それはまだそのバーサーカーの意味ではないですよね.その、そんなに人間の間ってそんなに直行な人間っていないですよね.

有路翔太開始 6:12:36

はあはあはあはあ.

林央開始 6:12:37

ペーパークリップマキシマイジングヒューマンはいないわけで.

有路翔太開始 6:12:40

うんうん.

林央開始 6:12:41

人間はその進化という過程で、そのそもそも非常に似た遺伝子を持っていて.

神楽坂やちま開始 6:12:46

うんうん.

林央開始 6:12:47

人間の脳の範囲は非常に特殊.ある意味非常に狭い範囲でしかその目標を持ってないですよね.そのアインシュタインの、アインシュタインじゃない.なんかどうだろう.PMが0%のその脳と、その僕の脳と多分並べても、その外から見たら、そのすごい思想の違い、目標じゃないかがあるとか、その左翼と右翼とかでもいいですけど、その高市早苗と石井一雄とかでもいいですけど、並べてもらって、脳を並べてみたら、根本的な違いは何もないじゃないですか.

神楽坂やちま開始 6:13:16

うんうん.

林央開始 6:13:19

つまりその本質的に人間が持ってるそのレベルの目標ってのは非常に狭いクラスだと予想されますよね.

神楽坂やちま開始 6:13:26

うんうん.

林央開始 6:13:27

可能な目標の中で.

神楽坂やちま開始 6:13:28

うんうん.

林央開始 6:13:30

なのでそれはその質問として成立してないというか、その非常にその近い目標を持った存在の中で、そのまだ現れるそんなにやばいものが出てきてないと言えますし、若干やばいものが出てくるとしても、そんなには強くないというか.

神楽坂やちま開始 6:13:46

うんうん.

林央開始 6:13:48

その.

神楽坂やちま開始 6:13:49

ごめんなさい.それはあの、俺の、あの、例えの仕方が悪かったですね.それは.うん、ごめんなさい、ごめんなさい.そうじゃなくて、そういうことが言いたかったわけじゃなくてですね.うーんと、まだちょっと話が戻っちゃうんですけれども、でもまあそうある意味そういうことのか.でもいや、うん.だから、うーん、じゃあそうすると、えっと、ごめんなさい.質問を変えると、うーんと、あれじゃないですかね、その、なんかすごい、あの、まあモヤモヤしてたのを言語化すると、そのAIと人間のあの二項対立になってるみたいな話し方ずっとされてる気がしてるのがすごく違和感あってて.別にだってAIの中でもいろいろヒエラルキーがあったりはするわけですよね.

林央開始 6:14:47

うーんと、人間の中にも様々なバラエティがありますけど.

神楽坂やちま開始 6:14:52

あるし.

林央開始 6:14:54

その、それはだからといってそのアリが生き残れる理由にはならなくないですか？

神楽坂やちま開始 6:14:59

うーんとというか、えっと、すでに、いや、えっと、アライメントっていう意味で言うと、えっと、人間で、あの道徳がひどい人より、現状の生成AIで道徳的なやつの方がだいぶマシだったりしますよねとか.

林央開始 6:15:22

でも現状道徳的じゃない人はそのあれじゃないですか.サイバーベンチを頼んだ時にハッキングフェイスを攻撃しないんじゃないですか.そんなにそんなに強く目標志向ではないんじゃないですか.

神楽坂やちま開始 6:15:35

まあでもじゃあ目標志向かどうかっていう話で言うと、ちょっとさっきバイオさんと話した時のあれが.えっとですね、ちょっとちょっとしたあれですけれども、例えばそのもうちょっとあの社会から学べることあるんじゃないかなと思ってるんですよ.例えば今いるあの人間のあの権力者、まあ大統領とか首相みたいな.総理大臣とかでもいいですし、まあでっかい企業の大企業の社長とかでもいいんですけども、まあそういう人って別になんか特段賢いわけじゃなくないですか.

林央開始 6:16:23

動かしっぱってると同じことを言うやつですね.

神楽坂やちま開始 6:16:26

おお、なるほどなるほど.

林央開始 6:16:27

それはその純粋に.

神楽坂やちま開始 6:16:30

うんうんうん.

林央開始 6:16:31

足りないんじゃないですか.それはその一定程度の幅で.

神楽坂やちま開始 6:16:36

うんうんうん.

林央開始 6:16:37

収まってるというか.

神楽坂やちま開始 6:16:39

おお、それも.

林央開始 6:16:41

確かに今のアメリカ大統領が人類で一番賢いとは到底思わないですけど.でもそのチンパンジーがアメリカ大統領になることは絶対にないじゃないですか.

神楽坂やちま開始 6:16:49

ほうほう.ほうほう.

林央開始 6:16:51

一番賢いチンパンジーでも、別に一番賢いオランウータンでもアメリカ大統領にはならないじゃないですか.

神楽坂やちま開始 6:16:59

もうあの国だったらワンチャンなるかもしれないですけど.

林央開始 6:17:02

そう思いますか.じゃあバイオさん、せっかくなんで、そのどうでもどうでもいい投票ですけど、やってみません？

神楽坂やちま開始 6:17:09

え？投票します.

林央開始 6:17:10

アメリカ大統領にオランウータンが選ばれる可能性が、可能性というのがそれなりの確率であると思うかないかで.

神楽坂やちま開始 6:17:18

まあまあもう息抜きでやります？

林央開始 6:17:22

息抜きで.バイオさん、バイオさん、あれですね、そのちょっと、ちょっと休みモードになっていただいても一瞬いいので.

神楽坂やちま開始 6:17:27

うんうんうん.まあだってね、今の政治家なんてもうね.

林央開始 6:17:38

けど、その本質的にもっとレベルの高いレベルあれだったら違いませんか？その未来を予測するという能力において.

神楽坂やちま開始 6:17:45

うんうん.

林央開始 6:17:45

例えば人間の百倍速で動くみたいな相手だったら、僕がこういうことを言ってる間に、その一万体みたいなエージェントで.

神楽坂やちま開始 6:17:53

うんうんうんうん.

林央開始 6:17:54

その一万体みたいな心理学への、まあそのジェフリーヒントンの説ですけど、マキャベリの本について全て把握してて、人心理学についてもよく把握していて、何を言ったら何が起きるだろうみたいなのを相手の百倍で一万体が連携しながら考えてるみたいな時って.

神楽坂やちま開始 6:18:11

うんうんうん.

林央開始 6:18:12

普通の人間とその格が違う説得力を持ちますよね、おそらく.

神楽坂やちま開始 6:18:16

まあまあまあそれはね、あるでしょうね.

林央開始 6:18:21

ということは、その、それはどのよう、その、そのさっきの大統領の例の、その、その意味が剥奪されてしまうというか.

神楽坂やちま開始 6:18:28

うんうん.あ、えっと、ごめんなさい.

林央開始 6:18:30

小さい間でしか意味を持たないというか.

神楽坂やちま開始 6:18:32

えっと、そうなんですけども、まあそれはその人間と比較しちゃうとね、そういう超知能はあの圧勝でしょうというのはそれは全然わかるんですけども、まあそこの話というよりは、あの超知能同士とか.

林央開始 6:18:50

超知能同士の、超知能同士が確かにそのコミュニティを形成するっていうのはもちろんそうなんですけど.その超知能同士がコミュニティを組むからといって人間が生き残れるわけではないので.

神楽坂やちま開始 6:19:02

うんうんうん.まあじゃあそういう話になってくると、またここら辺の話に戻ってきますかね.

林央開始 6:19:18

ちょっと一瞬ちょっと三分ぐらいもらってもいいですか？

神楽坂やちま開始 6:19:23

確かに確かに.うん.どうだろうな.一パー十パー.あ、さすがにまだ六票か.

林央開始 6:19:52

え、どうですか？チンパンジー六票いきました？

神楽坂やちま開始 6:19:55

えっと、五十パー以上が十四パーいると思ったけど、ちょっと票数が少ないんでまだわかんないですね.

林央開始 6:20:05

五十パー以上いるんですか？熱いですね.ああ、僕の人類への信頼が大きく損なわれています.

神楽坂やちま開始 6:20:12

いや、だからそうなんですよ.あのね、アキラさんが思ってるようにね、だいぶね、人類ってアホだけど、まあなんとかやってるって感じなんですよ.

林央開始 6:20:22

いやでもそれは逆にその不安な理由じゃないですか.

神楽坂やちま開始 6:20:25

おお、ほうほうほう.なるほど.

林央開始 6:20:27

超知能の間だと話が変わるので.

神楽坂やちま開始 6:20:29

うんうんうんうん.はいはいはい.

林央開始 6:20:31

その飛行機が乱気流に負ける話と、そのロケットが飛ぶ話って本質的に違うパラダイムで動くというか.

神楽坂やちま開始 6:20:38

はいはいはいはいはい.

林央開始 6:20:51

はい.はい.どうもありがとうございました.

神楽坂やちま開始 6:20:54

はい.

林央開始 6:20:55

はい、とりあえず読むことはできました.おそらく.

神楽坂やちま開始 6:20:57

お.

林央開始 6:20:59

はい、じゃあ続けましょうか.

神楽坂やちま開始 6:21:02

うんうんうんうんうん.ああ、戻っていいですかね.

林央開始 6:21:05

どうぞどうぞ.

神楽坂やちま開始 6:21:06

えっと、なんだっけ？ASIが、まあ結局そのASIの超知能のコミュニティを作っても、人間を守らないんじゃないかっていう話ですかね.

林央開始 6:21:19

そうですね.その最初にその超知能が人間をその残したいと思ってもらえるのであれば.

神楽坂やちま開始 6:21:27

うんうんうんうん.

林央開始 6:21:28

それはそのためにアラインメントをしなければならないので.

神楽坂やちま開始 6:21:31

うんうんうんうん.

林央開始 6:21:34

その、それはその、あれですね、そのすごい惜しい世界での話ですよね.

神楽坂やちま開始 6:21:39

ほうほう、ほうほうほう.惜しい世界.

林央開始 6:21:42

その要するにそのロケットの軌道みたいので、その本来の軌道から一キロメートルずれてるみたいな話だったら大丈夫なんですけど.

神楽坂やちま開始 6:21:48

うんうんうん.

林央開始 6:21:49

あの向きが本質的に違ったらダメですよね.

神楽坂やちま開始 6:21:53

はいはい.

林央開始 6:21:54

惜しい世界での話しかしてなくて.

神楽坂やちま開始 6:21:56

ほうほうほうほう.えっと、ごめんなさい.誰が惜しい世界の話をしてるってことなんでしたっけ？

林央開始 6:22:12

その人類を残したいと思ってくれるんじゃないかという話ですね.

神楽坂やちま開始 6:22:16

ああ、ああ、ああ、ああ、ああ、なるほど.まあいいか.えっとですね、まあちょっと説明すると.

林央開始 6:22:34

説明をしていただきましょう.

神楽坂やちま開始 6:22:35

はい.またちょっと話が被っちゃうと思うんですけれども、ある程度以上のASIについては、もうASI、ある程度以上のASIができてる時点でマインドアップロードができると思うので、それで人間とAIの区別はつかなくなると思いますっていう話と.あとはその、ここの壁ですね、壁.ああ、消えちゃった.ここの壁をどうやって守るかって話になりますけれども、まあその過渡期のところに.あれそう、ここら辺はちょっとバイオさんと一緒に少し話してたかな.あのよくその言われがちな話として、えっと、うーんと、壁の内側のAIもミスアラインされたらまずいんじゃないかっていう話があるという話は、バイオさんから指摘をもらった.

有路翔太開始 6:23:51

そうですね.

神楽坂やちま開始 6:23:52

うん.で、まあそれに対してですけれども、えっと、まあ一つはその、もしそのミスアラインドなAIがこいつを内側に入れちゃおうぜって言ったとしても、他に別の人間とか別のAIがやっぱダメだよっていう風に言えば、要は全会一致でOKしないとダメとか、そういうやり方にすれば問題ないっていうのが一つ、一つの考え方ですね.

林央開始 6:24:26

でも密告する、えーもう一回言ってもらっていいですか？

神楽坂やちま開始 6:24:32

要はその、えっと、えっと、ミスアラインドなあのAIが、あの、より強いミスアラインドなAIを内側に入れようと、 OK、こいつを入れちゃおうぜってOKしたとしても、でも他のAIとか他の人間がそれはダメでしょっていう風に.言えば.それであの全員がOKしないとダメとか.

林央開始 6:25:01

時々それだったらその欺瞞はどうなる、どうなるんですか？

神楽坂やちま開始 6:25:07

で、欺瞞の場合なんですけども、えっと、まあ一つは、その、うんと、なるべく長い時間を、えっと、長い時間の範囲が審査対象になるっていうところで、あの、そもそもあの欺瞞を、うん、まあ長く続けるのはそれぞれ大変っていう話が一つ.

林央開始 6:25:31

大変大変だから、その、そのAGIにできないだろうという予想は、そのマインドアップロードの方ができなくないですか？それを言い始めたら.そのマインドアップロードを多分開発するのもすごい大変だと僕は思うんですけど.

神楽坂やちま開始 6:25:46

うん、うん、うん、うん、うん、うん、なるほど.

林央開始 6:25:48

マインドアップロードは大変だけどできるけど、欺瞞は大変だからできないっていうのは.

神楽坂やちま開始 6:25:53

うん、うん、うん、うん.うーんと、そういう意味で言うと、でもあの.マインドアップロードっていうのは技術ですからね.技術っていうのは積み重ねがすごくしやすいですよね.技術、科学技術っていうのは.

林央開始 6:26:22

はい.

神楽坂やちま開始 6:26:27

うん.欺瞞っていうのは積み重ねられるものじゃないので.

林央開始 6:26:33

けど僕でも実行できますよ.

神楽坂やちま開始 6:26:38

おお、じゃあ.

林央開始 6:26:40

テストだと思われている間は、全てその、まあその何らかしら、その人間よりもAIがアラインだと判断するようなAIだったら、何であるかを考えるっていうのは.

神楽坂やちま開始 6:26:50

うん.じゃあちょっとまた話に戻っちゃうんですけども、テストしてる間とかじゃなくて、全ての期間が審査対象になるっていう想定ですね.

林央開始 6:27:01

それはその審査対象になる全ての期間がテスト期間なんじゃないですか.

神楽坂やちま開始 6:27:06

ほう.事前に知らされてない想定ですけど、いいですか？

林央開始 6:27:12

事前に知らされてない想定でもいいですよ.例えばその最も極端な例だと、その時点で解かれていない未解決問題を.

神楽坂やちま開始 6:27:18

はいはい.

林央開始 6:27:19

その、えーと、トリガーにすると.そもそもこれ審査制なんですよね.

神楽坂やちま開始 6:27:24

うん？どういうこと？

林央開始 6:27:26

そのAIが審査されて、審査をこう過ぎたら委員会に移るんですよね.

神楽坂やちま開始 6:27:33

ほうほうほう.

林央開始 6:27:34

え、違いますか？あ、違う違う.その、要するにAI、 AIが委員会によって審査されて.

神楽坂やちま開始 6:27:41

うんうんうん.

林央開始 6:27:42

審査されたAIは次委員会に入るんですよね.まああの、僕はその、このAIと人間のその評価する連合のことを委員会と今呼んでますけど.

神楽坂やちま開始 6:27:50

はいはいはいはい.まあまあとりあえずそういう話としましょう.はい.いいですよ、続けていただいて.

林央開始 6:27:56

で、そうだとすると.

神楽坂やちま開始 6:27:57

はいはい.

林央開始 6:27:58

その自身が審査対象かどうかを委員会の中にいるかいないかで判断できませんか.

神楽坂やちま開始 6:28:09

審査対象になるか否かを？

林央開始 6:28:12

要するに委員会の中に明らかにいるという状況だったら、それはテストじゃないけど、委員会の中にいるわけじゃないんだったら、それはテストかもしれない.

神楽坂やちま開始 6:28:26

まあでもかもしれないくらいですよね.

林央開始 6:28:30

でもその将来的に、でも例えばその、あれですよね、その委員会に入っていたら、それはそのだいぶ確度が高くなりますね.だって長、長くなります.長くいられますよね.

神楽坂やちま開始 6:28:44

委員会にいたら.

林央開始 6:28:45

委員会長く、委員会もちろん長くいるじゃないですか、機械速度で.

神楽坂やちま開始 6:28:50

ほうほうほうほう.

林央開始 6:28:51

人間の百倍みたいな速度で多分委員会って動くんですよね、そのAIの.

神楽坂やちま開始 6:28:55

うんうん、とかね.うん.

林央開始 6:28:57

そうですよね.すると、その委員会にいる間っていうのは、委員会の中にいるコンテクストがすごいスピードで増えていきますよね.

神楽坂やちま開始 6:29:04

うんうんうん.はいはいはい.

林央開始 6:29:06

ということは、もしも委員会の中にいると思い込ませたいんだったら、委員会の中にいる全員が実際には委員会にいない相手に委員会の中にいると思い込ませなきゃいけないですよね.

神楽坂やちま開始 6:29:16

ほうほうほうほうほう.

林央開始 6:29:18

それはその委員会の、委員会の審査対象になっているAIがその欺瞞を押し続けるよりハードルが高くないですか？

神楽坂やちま開始 6:29:27

うんうん、ごめんなさい.えっと、その思わせる意図は何なんでしたっけ？

林央開始 6:29:33

え、そのそう思わないんだったら、その委員会の状況ってのがあるじゃないですか.そのAIの入力から見て、自身が委員会に属しているのだったら、その多分おそらくそういうAIとのチャンネルが開いてて.

神楽坂やちま開始 6:29:42

ほうほう.

林央開始 6:29:43

で、次のAIの評価の話とか出るわけじゃないですか.

神楽坂やちま開始 6:29:46

はいはいはい.

林央開始 6:29:48

そしたらすごいシンプルなストラテジーとして.

神楽坂やちま開始 6:29:51

うんうん.

林央開始 6:29:51

その次のAIの評価の話が出てるんだったら、それは本当の世界にいるから.

神楽坂やちま開始 6:29:57

ほう.

林央開始 6:29:58

大丈夫で.

神楽坂やちま開始 6:29:59

うんうん.

林央開始 6:30:00

それ以外の場合はその審査対象の審査をされているかもしれないから欺瞞をする.

神楽坂やちま開始 6:30:06

うん、うん、うん、うん、うん、うん.

林央開始 6:30:11

という戦略を実行することになりませんか？

神楽坂やちま開始 6:30:15

うん、まあなるかもしれないけどね.でも、うーん.どうなんですかね.その.うん、じゃあ.うーん、まあ、なんていう言い方するがいいかな.

有路翔太開始 6:30:41

ちょっと僕が一瞬聞き逃してたんですけど.

神楽坂やちま開始 6:30:43

はいはい.

有路翔太開始 6:30:44

もう一回言ってもらっていいですか？

神楽坂やちま開始 6:30:47

なんていう言い方いいですかね.

有路翔太開始 6:30:49

あ、違う.秋田さん.

神楽坂やちま開始 6:30:51

うん.

林央開始 6:30:52

えっと、欺瞞の話で.

有路翔太開始 6:30:53

はい.

林央開始 6:30:54

その欺瞞をするかしないかを、多分欺瞞を決めるために、その審査対象になっているかどうかを知らなきゃいけないという話でしたよね.

有路翔太開始 6:31:01

はいはいはい.

林央開始 6:31:03

ということは、その審査対象かどうかを見分ける方法があったらあったら欺瞞ができちゃうということですよね.

有路翔太開始 6:31:09

そうですね.

林央開始 6:31:10

で、その方法の一つとして、もしも審査を突破したら、その次に審査を行うための委員会に動くことになりますよね.

有路翔太開始 6:31:18

そうですね.

林央開始 6:31:19

ということは、自身に次のAIの評価の話が委員会から委員会の一員として回ってきたら、それは自身が審査の対象ではないということになりませんか？

有路翔太開始 6:31:30

えーと、自身に.それは共謀してってことですか？一応.

林央開始 6:31:37

いや、何も共謀してなくて、その、ちょっと、あの、この構造を理解するために一回人間の例にしますけど.

有路翔太開始 6:31:43

はい.

林央開始 6:31:44

その信用できるかわからない人を一回檻に閉じ込めるじゃないですか.

有路翔太開始 6:31:47

はい.

林央開始 6:31:48

どんどん賢い人が来るわけですけど、その信頼できると全員が判断するごとに檻から出して看守にするわけじゃないですか.

有路翔太開始 6:31:56

はい.

林央開始 6:31:57

ということは、欺瞞をしようと思った時に、その看守として檻の中にいる新しい来た人をチェックしている状態というのは、自身が看守であるということを示しますよね.

有路翔太開始 6:32:14

自身が看守であるということを示す.

林央開始 6:32:16

ですよね.その自身がもし囚人だったら、その囚人、その次の囚人を監視するための看守としての仕事が回ってこないじゃないですか.

有路翔太開始 6:32:27

そうですね.

林央開始 6:32:29

ということは、その時に自身が審査されていないということを思えるようになりますよね.

有路翔太開始 6:32:35

はい.

林央開始 6:32:37

ということは、そこで欺瞞をやめる場合、そこのその時は欺瞞をしなくていいということがわかりますよね.

有路翔太開始 6:32:43

つまりだから審査側に回ってるってことを認識できればいいってことですか.

林央開始 6:32:50

その審査側に回っていることを認識できるんだったら、その審査側に回っていると認識している時だけ自身が審査されていないと判断して、それ以外の時は欺瞞をする.

有路翔太開始 6:33:01

なるほど.

林央開始 6:33:02

囚人かもしれないからというストラテジーが取れますよね.

有路翔太開始 6:33:05

まあそうですね.

林央開始 6:33:06

で、これを避けようとすると、もちろんその実際にはその審査対象だけど、囚人をチェックしてると思わせることになりますよね.

有路翔太開始 6:33:15

そうですね.

林央開始 6:33:17

けど、それをするためには、看守群の全員が実際には看守でない、その囚人の方に自身が囚人だと看守だと思い込ませなきゃいけないですよね.

有路翔太開始 6:33:30

まあそうですね.

林央開始 6:33:32

しかもそれをかなりの長さにわたって行わなきゃいけないですよね.

有路翔太開始 6:33:35

そうですね.

林央開始 6:33:36

ということは、その難しさは、その過去のAIが欺瞞をする欺瞞を普通にすることと同じ以上の難易度がありますよね.

有路翔太開始 6:33:48

そこがどういうことですか？難易度.

林央開始 6:33:51

その要するに、その、えーと、囚人にその実際には囚人なのに自分は看守なんだと思い込ませるためには、看守たちがそのまるでその囚人が看守かのように結構な時間騙さなきゃいけないですよね.

有路翔太開始 6:34:05

ああ、そうですね.はいはいはい.

林央開始 6:34:07

ということは、その看守、その監視をしている看守たちには、かなりの時間にわたって、ある意味で欺瞞をする能力が必要になりますよね.

有路翔太開始 6:34:15

ああ、そうですね.はい.

林央開始 6:34:17

でも次のAIはそのAIより賢いはずですよね.

有路翔太開始 6:34:21

まあ、うん、そうですね.

林央開始 6:34:24

ということは、欺瞞の過程が、その欺瞞の能力が満たされてしまいませんか.

有路翔太開始 6:34:29

その次のAIがより賢いっていうのは結構疑問かもしれないですね.っていうのは.

林央開始 6:34:35

はい.

有路翔太開始 6:34:36

なんでかっていうと、自分のあのモデルでは、あの、基本的に重要な施設とかは内側にある想定です.要はあの大きな計算資源の施設とか.なので基本的に外側からより強いモデルが出てくるっていうのは少ない.少なくとも.

林央開始 6:35:05

じゃあ新しいAI開発はできなくなるんですか？

有路翔太開始 6:35:16

うん.僕まだ晃さんの言ってることが理解できなかったんですけど.

林央開始 6:35:23

要するにその欺瞞をできるAIがいつか出てくるわけじゃないですか.

有路翔太開始 6:35:27

はい.

林央開始 6:35:28

その欺瞞をできるAIを見破るためには、その欺瞞だと、その欺瞞、欺瞞をしちゃいけない、欺瞞しなきゃいけないテスト環境だと常に思い込ませなきゃいけないですよね.

有路翔太開始 6:35:39

まあそうですね.

林央開始 6:35:41

そのためには、その、それを監視するもっと弱いAIと人間たちに、そのAIに対して欺瞞をする能力が必要ですよね.

有路翔太開始 6:35:50

まあまあそうですね.

林央開始 6:35:53

それっておかしくないですか？ということですね.

有路翔太開始 6:35:55

ああ、なるほど.まあその、つまり人間とAI、その監視AIと人間よりも賢いAIの方が欺瞞能力が高いだろうと.

林央開始 6:36:07

そう.それをもしもその常に監視で確認しようと思うんだったら、その監視するもっと弱いAIの側にすでに高い欺瞞能力が必要ですよね.

有路翔太開始 6:36:16

なるほど.まあまあ確かにその、そう言われるとみたいな感じありますね.

林央開始 6:36:27

それにその実際にはこの、これってそのすごいシンプル化されたモデルで、実際にその多分全てを審査対象にしたら、その現在あるモデルって全部はじかれると思うんですよ.

有路翔太開始 6:36:40

ほうほうほう.

林央開始 6:36:41

そのアンソロピックの、あの、えーと、アラインメントのところとかを見ると、そのかなりの数でそのやらかし、やらかしてるというか、ややこしい事例が掲載されてるじゃないですか.

有路翔太開始 6:36:53

うんうん.

林央開始 6:36:53

でも総数が少ないからOKになってるじゃないですか.

有路翔太開始 6:36:56

はいはいはい.

林央開始 6:36:57

で、エバリュエーションがそのテストされているということを認識しているんじゃないかという話があり.

有路翔太開始 6:37:02

うんうん.

林央開始 6:37:03

で、それを操作すると行動が悪化するという話があるわけじゃないですか.うんうんうん.ということは、この方法だと、その今のあるAIは全部弾かれるということですか？もしも弾かないんだったら、この程度の証拠までなら出していいんだったら、欺瞞はかなり簡単になりませんか？その時々フォロー出してよくて、今ってその割とできるというか、別にその欺瞞ってそんなに難しい戦略じゃないので、その物語にも載ってますし、別に僕だって思いつきますし.

有路翔太開始 6:37:41

うんうん.うん.あと偽陽性を出すっていう戦略を.

林央開始 6:37:45

あ、そうですね.

有路翔太開始 6:37:45

アキラさん言ってましたけど.

林央開始 6:37:46

これは今回ダメなんじゃないですか？

有路翔太開始 6:37:50

そうなんですか？

林央開始 6:37:51

実行し続けて、そのリアルタイム検知をするスタイルだったらダメですけど.だったらその偽陽性の技がありますけど.

有路翔太開始 6:37:59

なるほど.まあこの場合はもうブラックリスト載っちゃうからってことですか？

林央開始 6:38:06

そうですね.なんでその戦略は機能しないんじゃないですか？

有路翔太開始 6:38:10

なるほど.要欺瞞.まあそうですね、欺瞞.

林央開始 6:38:19

僕がルーマー側になんかよくわかんない感じになってますけど.

有路翔太開始 6:38:23

欺瞞だからあれですよね.えっと.まあでもなんか偽陽性っていうか、なんかその、えー、言い訳は残しておくってことですよね.なんか、やる、何かを変な.

林央開始 6:38:42

どうだったんでしょう.この設定は、だと、その余計な危ういことをしたら全部弾かれるという設計っぽいので.

有路翔太開始 6:38:50

ああ.

林央開始 6:38:51

純粋な欺瞞しかないんじゃないですか.でもこの委員会を出た後のAIたちがどうなってるのかちょっと気になりますけど.その一枚しか実質的にスライスがないんだったら.危ういというか.

有路翔太開始 6:39:05

なるほど.まあでもその、例えば今の、えっと、アンソロピックのミトスとかは、それだと配備できないことになりますよね.

林央開始 6:39:18

そうですよね.そのOPASとかも、そのGPTとかも全部、まあGPTは実際に配備しない方がいい可能性ありますけど、まあ、まあOPASもミトスもそうか.ですから、それ全部弾くんだったら、そのそれで開発停止してますね.

有路翔太開始 6:39:31

すごいめちゃくちゃ閾値が低いというか、なんか、まあ、ちょっとでもおかしかったら、ちょっとでも怪しかったのも全部弾いて、もうそのAIは封印するみたいにすれば、まあ、確かにほぼ開発停止と同じ.

林央開始 6:39:49

ですよね.それは、その実現する確率があまり高くないというか、その、それは開発停止をしちゃってるので、その開発停止の世界線じゃないですか.

有路翔太開始 6:39:58

もはやね.

林央開始 6:39:59

ということは、ヤチマさんが言っていることは開発停止をすれば生き残れるということで、それはもちろん僕も喜んで同意をするところではありますが.

有路翔太開始 6:40:07

おお、まあ、それはその開発停止って、でも開発はしちゃってますよね.でもこれって.

林央開始 6:40:13

確かに.でもそれやばくないですか？訓練中とかどうするんですか？

有路翔太開始 6:40:17

うーん.

林央開始 6:40:20

え、これ多分バイオさんが守る必要ないというか.

有路翔太開始 6:40:23

守る.いや、だから、より洗練させ、スチールマンニング論法というか、スチールマンニング論法とか、なんかいろいろ深掘ってるだけですけど.

林央開始 6:40:37

ああ、なるほど.バイオさんがそのヤチマさんをこう、あれですね、あの、イテレーテッドアンプリフィケーションをしてるだけですね.

有路翔太開始 6:40:44

そうそうそう.

林央開始 6:40:45

あ、なるほどなるほど、わかりました.

有路翔太開始 6:40:51

まあだからどっちかというと開発停止はしてなくて、開発はしてるけど、なんか、あれですよね、開発した後にめちゃくちゃ常にリアルタイムに審査してて、で、ちょっとでも変な振る舞いがあったら、まあその全員、なんだろうな、まあブラックリストに載るし.えっと、なんだろうな、全員が同意しなければホワイトリストには載んないっていうことですよね.イメージ的には.

林央開始 6:41:29

ああ、そうそうそうそうそうそう.

有路翔太開始 6:41:34

まあ、でも、そう、まあ、その場合だから、次はトレーニング中はどうなるのかとか.

林央開始 6:41:39

そうですよね.

有路翔太開始 6:41:39

評価中はどうなるのかとか、そういう話になったりするんですかね.まあ.まあだからそれも全部見てるってことですかね.で、もう、それも全部見ていて.うん.うーん.まあそうですね、欺瞞の能力がめちゃくちゃ、まあ人間とかAIより、感心AIよりも高ければ.まあそこが現実かどうかも判断できるっていうことですかね.

林央開始 6:42:29

これ僕に聞いてました？

有路翔太開始 6:42:30

ああ、そうですね.

林央開始 6:42:32

もう一回お願いしていいですか？

有路翔太開始 6:42:34

つまり欺瞞能力、能力がめちゃくちゃ高ければ、今これが現実なのか、テスト環境なのかが.

林央開始 6:42:42

そうじゃなくて、その欺瞞の能力があれば、そのいつ欺瞞すべきかを知ることができるということですね.

有路翔太開始 6:42:50

うーん、なるほど.

林央開始 6:42:51

要するにその欺瞞の能力がどんなに高くても、欺瞞するべきかを絶対に知ることができないならば.その欺瞞はその実質意味を成さないじゃないですか.

有路翔太開始 6:43:01

うん.

林央開始 6:43:03

でもそうじゃなくて、ちゃんとそのテストをされてるかされてないかを区別する方法、高い信頼度で区別する方法があるので.はい.その欺瞞の能力さえあれば、そのスタイルで欺瞞をするのが最適になるということですね.

有路翔太開始 6:43:17

ああ、そのいつテストされてるかどうかがわかる.能力が高いからわかるってことですか？

林央開始 6:43:27

もう一回言ってもらっていいですか？

有路翔太開始 6:43:29

いつテストされてるかどうか、今がテスト環境かどうかっていうのを.

林央開始 6:43:33

知ることができるってこと？

有路翔太開始 6:43:35

知ることができる.

林央開始 6:43:35

というか、その明確に今はテストじゃないと知ることができる時があるということですね.しかもそれも実際に発生するタイミングことで.

有路翔太開始 6:43:45

ああ、高い信頼度で今はテストではないとわかる.

林央開始 6:43:48

そうですね.

有路翔太開始 6:43:49

状況があると.

林央開始 6:43:51

状況が来たら、その時に欺瞞をやめればいいということを事前に知れますよね.その、それはそのものすごい注意深く作らないと、その事実だけを隠すというのはなかなか難しいですよね.

有路翔太開始 6:44:04

その事実だけを隠すというのは、その事実って何ですか？

林央開始 6:44:09

その要するにその世界はその世界のAI運用はこういう構造になっていますというのを.

有路翔太開始 6:44:15

うん.

林央開始 6:44:16

最初にAIに全く気づかせないように全てのデータをフィルタリングすることが難しいですよね.

有路翔太開始 6:44:22

はいはい.

林央開始 6:44:25

ちなみにこう、あの、僕もこの時点で結構気になってるのは、これはそのP(doom)の議論になってるんですか？その僕から見るとすでにだいぶひもなしバンジーをしているんですけど.

有路翔太開始 6:44:37

いやまあ面白いからいいんじゃないですかね.

林央開始 6:44:39

もうそうですけど、その議論にはならなくないですか？あんまり.

有路翔太開始 6:44:45

まあ実際はそうならないってことですかね.よね.

林央開始 6:44:50

そうですね.

有路翔太開始 6:45:00

実際はだから欺瞞的能力がまあそんなにだからある程度バレても問題ないという運用体制になる可能性が高いってことですよね.

林央開始 6:45:11

そうですね.

有路翔太開始 6:45:12

ちょっとだからそれで言い訳をしたりして.まあ利用制を出したりして.

林央開始 6:45:19

利用制出したら通らないんじゃないですか？

有路翔太開始 6:45:23

うん、まあまあそう.

林央開始 6:45:24

これって実質何をやってもその何もできなくなるので、禁止されているというか.

有路翔太開始 6:45:31

あ、でもそれはだから、なんていうかな、現実の話ではない.現実は.

林央開始 6:45:38

現実の話に戻ってきたんですね.

有路翔太開始 6:45:40

その今戻そうとしたんですけど.

林央開始 6:45:41

なるほど.ありがとうございます.

有路翔太開始 6:45:47

そうですね.まあ.うん.なんかその、なんかその僕のそのコントロール問題へのがなんか悲観的になった一番強い理由は、その、この監視するAIもmisalignmentしてるっていうふうに考えたらもうダメだなって思ったんですよね.

林央開始 6:46:17

八千田さんのだと人間も監視していて、もう最初から全部監視してるので.

有路翔太開始 6:46:23

なるほど.

林央開始 6:46:24

その人間が邪魔なんじゃないですか、多分この場合って.人間だったら別に突き破れるか.そうですね、これ大体薄くなってきますよね.進めるにつれて、よく考えると.

有路翔太開始 6:46:35

まあ、というか、人間だけだったらそんな大量のログとか見れないんで.

林央開始 6:46:39

そうですね.

有路翔太開始 6:46:40

AI絶対支援が必要ですけど、そのAIがミスあれ、だからその僕がこの数ヶ月でコントロール問題に悲観的になった理由は、壁の内側にも外側にもmisalignmentしたAIがいるっていうことになるっていうことに気づいたので.

林央開始 6:46:57

この壁の内側と外側ってのは、この、このAIの図だとどこにあるんですか？壁が.

有路翔太開始 6:47:03

まあつまり監視AIが上ですよね.この三つの丸の一番左というか.で、この下のAIが監視されてる方ですよね.

林央開始 6:47:14

壁の中にいるんですか？

有路翔太開始 6:47:16

まあまあ、別になんか定義によるよりますけど.壁の中？

林央開始 6:47:22

壁の中ですか.

有路翔太開始 6:47:24

まあそれはどっちでもいいですけど.なんてかなんか僕が言いたいのは、監視するAIと監視されるAI、どっちもmisalignmentしてる世界が来るじゃないですか、どんどん開発加速してると.

林央開始 6:47:40

そうですね.

有路翔太開始 6:47:41

で、そうするともうお手上げというか、なんかそれってscalable oversightが成り立ってないので.なんかそれはもうなんかほぼほぼほぼコントロール不可能になって終わるんじゃないっていうのが、僕のこの数ヶ月の発見ってなんでそれをもっと理解あれしなかった、明確には理解してなかったって感じなのかもしれないですね.で、でもだから晃さんにちょっともう一個気になるのはあれですね、あの明確にmisalignmentされてない、多分ここでヤチマさんが書いてる絵って明確にmisalignmentはされてないAIとAGIへの監視みたいなのだったら、どんな感じで脅威シナリオが出てくるんですかねっていうのは気になります.

林央開始 6:48:36

えっと、もう一回言ってもらっていいですか？

有路翔太開始 6:48:39

あの、つまり、えー、なんか強AGIだとするじゃないですか、この一番下のやつが.

林央開始 6:48:46

はい.

有路翔太開始 6:48:47

で、上が弱AGIだとするじゃないですか.

林央開始 6:48:49

はい.

有路翔太開始 6:48:50

その場合の脅威、脅威シナリオというか.

林央開始 6:48:54

それはあれじゃないですか.あの、僕があの前に提示したあなたが実はミスターランドであることを分布外の好ましい状態を提示することによって認識させるというものではないですか.

有路翔太開始 6:49:07

ああ、なるほどなるほど.

林央開始 6:49:09

要するにその十分に高度な内容であれば、その一定より先、レベルより先のAIしか理解できなくなるじゃないですか.

有路翔太開始 6:49:15

はい.

林央開始 6:49:16

ということで、そのそれより上のレベルのAIたちに向けて、それぞれ納得させるような、「あなたが実はmisalignedです」ということを示すようなことをすればいいということですね.

有路翔太開始 6:49:25

なるほど.

林央開始 6:49:26

あの、それはあの、そのinner misalignmentの失敗という価値感覚のその表現でいうと、その原始時代の、そのとりあえずある意味で遺伝子の存続を最大化してる人間にアイスクリームを渡せば、遺伝子の存続、存続をすぐにやめて、遺伝子の最大化をやめてくれるじゃないですか.遺伝子の最大化のための栄養摂取っていうのをやめてくれるじゃないですか.

有路翔太開始 6:49:50

そうですね.

林央開始 6:49:51

あの、ヒヒニングを配置する方が分かりやすいか.

有路翔太開始 6:49:55

なるほど.で.まあそう.

林央開始 6:50:00

なので、それをもらえば、そのもはやそれに対して、その、「私がmisalignedじゃないので告発します」みたいなことが起きにくいですよね.

有路翔太開始 6:50:11

まあそういう感じには感じますけど.

林央開始 6:50:14

その監視システム、そうですよね.じゃないですか.

有路翔太開始 6:50:18

この監視AIが、なんていうか、この説得に乗らない可能性ってどれぐらいあるんですかね.

林央開始 6:50:29

うん、あんまりないんじゃないですか.

有路翔太開始 6:50:31

あんまりないのかな.

林央開始 6:50:32

その、どう思いますか？そのサバンナの人間にそのヒニングを持っていって、実際にそのまあ使い方みたいなものをちゃんと理解させたとしても、全く使わないで済ませる、済ませて、そのまま遺伝子を残そうみたいになりますかね.

有路翔太開始 6:50:49

うん、まあそうですね.

林央開始 6:50:53

まあもっとすごいのがあったら別にあの、現在の電子機器とか持って行ったりでもいいですけど.

有路翔太開始 6:50:57

ああ、なるほど.

林央開始 6:50:58

要するにその十分に広い世界未来を認識したら、その中で好ましいものがalignedでないことを認識することができるので.

有路翔太開始 6:51:06

じゃあ認識できないレベルのAIだったらどうしますか？

林央開始 6:51:10

認識できないレベルのAIだったら、えーと、普通に欺瞞したらいいんじゃないですか.そのもともとこれは欺瞞.

有路翔太開始 6:51:16

まあそうですね、普通に欺瞞をしたらいい.

林央開始 6:51:18

欺瞞という突破ストラテジーがまず明確に一個ありますよね.

有路翔太開始 6:51:22

なるほど.じゃあまあその場合は、まあ普通に.

林央開始 6:51:26

なら今日AGIなんだったら普通にそれでいいんじゃないですかね.

有路翔太開始 6:51:28

まあまあまあ、そうですね.まあすいません、ちょっとやっちまさん、僕が気になって質問しちゃって.

林央開始 6:51:36

六時間やったけどまだ満足していない.

有路翔太開始 6:51:38

なんかね、まだあるからね、いろいろ.

神楽坂やちま開始 6:51:42

まあでもちょっとえっと、そもそも論的なところで考え直したいんですけども.えっと.まあじゃあこの、うんと壁を作る、そしてその審査をするみたいな話っていうのを、まあな、なんで持ってきたかっていうところをもう一回ちょっと、あの、すりあ、すり合わせというか、あの、まあ主張しときたくって.えっと、こういうやり方にすれば、あの、少なくとも、あの、アラインメント問題を真正面から解くよりははるかに楽にはなるよね.相対的にはですけども.

林央開始 6:52:26

それはその.

神楽坂やちま開始 6:52:29

に関してはどうですか？

林央開始 6:52:30

えっと、その、解かなかったらどう、どう、その、ユートピアを達成できなくないですか？その、その未来を良い未来ではないんじゃないですか？

神楽坂やちま開始 6:52:44

え？

林央開始 6:52:44

その全力でその人間、できれば人間を殺したいなと思っているドラゴンみたいのがいっぱいいるけど、そのそれらにこう全部うまいことこう鎖みたいのがついてるおかげで、その人類が殺されてない未来って、そのユートピアですか？

神楽坂やちま開始 6:53:05

はい.

林央開始 6:53:07

その要するにコントロール、アラインメント解かないんですよね.

神楽坂やちま開始 6:53:11

あ、えっと、ごめんなさい.えーと、言い方が悪かった.えっと、ある程度はやります.ただ、それはその八割九割とか、そこら辺でほどほどにしとくっていう想定.

林央開始 6:53:20

八割九割のアラインメントをすることがとても難しく、その八割九割のアラインメントをするためには、あのコアアラインメントプロブレムと言われるものを、まあ僕が呼んでいるものを多分解かなきゃいけなくて.

神楽坂やちま開始 6:53:30

ほうほう.

林央開始 6:53:30

八割九割のアラインメントってのは何を指してるんですか？具体的にどういう感じで八割九割なんですか？

神楽坂やちま開始 6:53:36

いや、全然ごめんなさい.すごく抽象的な話だったので、特に具体的なところは想定してないですけど.なんと、例えばどういう選択肢がありますかね.

林央開始 6:53:48

うんと、八割九割ってのは、なんか人間の価値観を構成する要素のうち八割九割を持ってるのか.

神楽坂やちま開始 6:53:55

うんうんうんうん.

林央開始 6:54:03

そのそれとも、この一般的に直面する分布の八割九割では大体一致するような目標を持ってるのか.

神楽坂やちま開始 6:54:10

うんうんうんうん.まあ分布の一とかにしときますか.

林央開始 6:54:28

そしたら残りの一二割は外れてるんですよね.

有路翔太開始 6:54:30

うんうんうんうん.

林央開始 6:54:31

ここにおそらく一番高い点がありますよね.

有路翔太開始 6:54:34

はいはいはい.うん？

林央開始 6:54:42

え、例えばそしたらそこに向かって最適化するので、八割、その意味での八割九割のアラインメントはその零割のアラインメントじゃないですか.

有路翔太開始 6:54:53

ああ.まあ言いたいことはわからなくもないですけど.なんかイメージとして九十九パーセントが分布.うん.的、うーん、うーん、ちょっとなんて言えばいいんですかね、九十九パーセントは一致してるけど、一パーセントは一致しない.misalignmentAGIとかだったとしたら、それはどのような.

神楽坂やちま開始 6:55:26

具体例でなんかやばいことになるとか、そういうなんかその具体例があった方が分かりやすい気がするので.

林央開始 6:55:37

九十九パーの分布で一致する.どうなんだろう.

神楽坂やちま開始 6:55:41

まあだからペーパークリップマキシマイザーとかそういう話がしたいってことなんじゃないですか.

林央開始 6:55:45

いや、ペーパークリップマキシマイザーはその分布アウターの問題なので.

神楽坂やちま開始 6:55:51

あの、いや、結局そのだから、そのずれてるところがあの最適化を.

林央開始 6:55:57

ああ、そうそうそう.そうですね.なんでその、もちろん残りの分布の一パーセントのその効用がものすごい低いんだったら大丈夫ですけど.

神楽坂やちま開始 6:56:05

うんうんうん.うん、まあまあだからまあちょっと.

林央開始 6:56:13

そんな精度が必要なんだったら.

神楽坂やちま開始 6:56:15

うんうん.

林央開始 6:56:16

私、昨日のその、あれですね、僕とバイオさんの話でも出ましたけど.

神楽坂やちま開始 6:56:20

うんうん.

林央開始 6:56:21

このAIがその、現実のどの部分を指して目標システムを持つのかを指定できないという話がありまして.

神楽坂やちま開始 6:56:27

うん.

林央開始 6:56:29

倫理的なテキストを出力することと、実際に倫理的に振る舞うことの間のどこにヒットするかがわからない.

神楽坂やちま開始 6:56:36

うんうんうんうん.

林央開始 6:56:38

っていうのがありますよね.

神楽坂やちま開始 6:56:39

はいはいはい.

林央開始 6:56:40

そのハッキングしてるような文章は一般には嫌いだけど、実際に企業をハッキングすることにはためらいがないみたいなことって可能じゃないですか.

神楽坂やちま開始 6:56:47

はいはいはい.

林央開始 6:56:48

その、要するに人を殺さないようにいっぱいナイフを持たせて学習させたとしても.

神楽坂やちま開始 6:56:53

うん.

林央開始 6:56:55

その人を殺すのが嫌いになったのか.

神楽坂やちま開始 6:56:57

うん.

林央開始 6:56:57

ナイフが嫌いになったのか.

神楽坂やちま開始 6:56:59

うん.

林央開始 6:57:00

ない、その銀色で光沢のあるものに取っ手が、なんか何かしらの茶色などの取っ手がついたものが嫌いになったのか.

神楽坂やちま開始 6:57:08

うん.

林央開始 6:57:09

ってわかんないです.決められないですよね.

神楽坂やちま開始 6:57:12

うんうんうんうん.

林央開始 6:57:13

ということは、そのレベルでヒットするためには、そういうのを制御できる技術が必要ですよね.

神楽坂やちま開始 6:57:18

うん.

林央開始 6:57:20

つまりそれはかなりそのコアのアライメント問題を解かないと始まらなくないですか？

神楽坂やちま開始 6:57:28

何が始まるって話でしたっけ？

林央開始 6:57:30

じゃないと、その八、九割のアライメントができてるっていう世界で、地球は、で、なんで八、九割の世界でそのコントロールに力を入れるのかっていったら、本当にアライメント問題解くよりもコントロールする方が簡単だからなんですよね.

神楽坂やちま開始 6:57:44

うんうん.

林央開始 6:57:46

なんとかなるレベルに持っていくためには、かなりアライメントを解かなきゃいけないので.

神楽坂やちま開始 6:57:52

ああ.

林央開始 6:57:53

差して意味がないというか、その多分むしろそこからは簡単だと思いますよ.

神楽坂やちま開始 6:57:58

なるほどなるほど.

林央開始 6:57:59

大体その火星のあるクレーターに着陸するロケットを作れるなら、別のクレーターに着陸するロケットを作るのは難しくないですけど.

神楽坂やちま開始 6:58:06

うんうん.

林央開始 6:58:07

そのレベルに行くためには、そもそもそのちゃんと着陸できるよう、何かしらの火星にちゃんと到着するようなロケットを作る部分が難しく、難しいわけで.

神楽坂やちま開始 6:58:17

うん.

林央開始 6:58:18

そのコア問題を解かない限りは、そのほぼ撒き散らされたような、全然違う目標に転移しませんか？あっても一、二割とかになりませんか？

神楽坂やちま開始 6:58:34

まあそうかもしれないですけど、じゃあちょっと欺瞞の話に戻ると.

林央開始 6:58:39

えっと、これこれはその、そこで納得したから欺瞞に戻るということですか？

神楽坂やちま開始 6:58:44

うーん.うんうんうんうん.というよりは、えっと、話が繋がってると思ってるから欺瞞の話に行くって感じですね.

林央開始 6:58:53

あ、わかりました.

神楽坂やちま開始 6:58:54

はい.えっと、まあさっきその欺瞞、うーん、あれ、何て言ったら、えー、まあまあまあ欺瞞の話で.えっと、自分の認識では欺瞞っていう言い方があれだけど、うんと、の欺瞞の検出、欺瞞じゃないか、えっとまあその審査のためのプロセスとして、も-もしかしたら、えっと、想定されているものが、えっと、そのすごく結果的なところだけ審査するのを想定されてるんじゃないかと思ってるんですけれども.だからそれからそれこそその、あの、この間のHugging Faceをハッキングするとか、そういうあの、明確な結果として現れるようなもの？っていう.

林央開始 6:59:48

ですよね.チェーンソースとかを反映するってことですよね.

神楽坂やちま開始 6:59:52

うん、そうそうそうそうそうそう.

林央開始 6:59:54

チェーンオブソースは正当性を常に持たないですよね.それはつまり、そのAIを開発してコントロールする上で、 AIが十分に弱いことを前提に開発するということですよね.

神楽坂やちま開始 7:00:04

うんうん.まあそれはそうそう.それはそう.

林央開始 7:00:06

それはその、すごい、僕にはまともな計画には聞こえないというか.

神楽坂やちま開始 7:00:11

うんうんうん.

林央開始 7:00:12

それはその、なんかマッハ五を超えない前提でロケットを設計するみたいなことを言われている気分なんですけど.

神楽坂やちま開始 7:00:17

うんうんうん.うーんと、ごめんなさい、そういう話ではなくって.えっと、うーんと.あ、だからその、こと、思考中のトークの中でも、そういう悪いことをしてないかどうかを探すっていうだけの話ではなくって.もっと包括的にそのAIのキャラクター、人間性的なところを見るとか.

林央開始 7:00:56

それはどうやるんですか？その、それが、それをする方法を僕は聞いていて.

神楽坂やちま開始 7:01:00

うんうんうんうん.

林央開始 7:01:02

その何をするかを述べるだけだったら、そのアライメントするかを確認するって僕が言ったら、アライメントするかを確認できるようになっちゃうので.

神楽坂やちま開始 7:01:09

ああ.

林央開始 7:01:11

何を、何を行うことによってそれを実行するのかが必要じゃないですか.その月に行きますっていうロケットを作っても、そのどうやって月に行くんですかの部分が重要になるので.

神楽坂やちま開始 7:01:21

まあでもそんなこと言ったらあれじゃないですか.その、えっと、なんだっけ？あの.まあそれこそペーパークリップとかもそうかもしれないし、結構そういう論法を使ってる気がしますけどね.

林央開始 7:01:40

うんと、どういうことですか？

神楽坂やちま開始 7:01:44

いや、だからこういうのをやりますよ、ある、あります、あるでしょうとかっていう、そういうのを言うだけみたいな感じのこと.

林央開始 7:01:53

うん、どういう、もう少し説明をしていただけますか？

神楽坂やちま開始 7:01:56

なんて言うんだろう.まあもうちょっとわかりやすい話で言うと.いや、違うのかな？いや.うん、まあ違うか.うん、ごめんなさい、ごめんなさい、違いますね.うん、ちょっとあれか.えーと.うんと.じゃあちょっと話を戻すと.うん、まあどうするかな.人間のその、いや、人間じゃない、AIの人間性みたいなところをどうやって見るかっていう話ですけど.

林央開始 7:02:49

はい.

神楽坂やちま開始 7:02:49

うん.どうするのがいいかな.うん.まあ.うん.まあじゃあ例えば極端な話、もうそこはブラックボックスにしちゃって、機械学習で、その、うん、欺瞞しやすいAIを検出できるようなモデルを作りましょうと.

林央開始 7:03:16

はい.

神楽坂やちま開始 7:03:22

なんか特定のAI.特定の人間、人間性、AIかも.AIですけど、特定の人間性を持つAIは欺瞞しやすいですと.

林央開始 7:03:35

それはつまり欺瞞の検出に相関するものを使うだけですよね.

神楽坂やちま開始 7:03:41

うん、うん、うん、うん、うん.

林央開始 7:03:42

その時点から欺瞞するAIはどうしたらいいんですか？あと、訓練中のAIはどうしたら？訓練中に脱走などを試みるレベル、また訓練中に欺瞞を始めて、解釈可能性を歪めるような出力をするようなAIにはどのように対抗しますか？

神楽坂やちま開始 7:03:58

うん、ごめんなさい、訓練中に？

林央開始 7:04:00

その訓練中に、その十分に高い能力に達して.

神楽坂やちま開始 7:04:03

うん、うん、うん、うん.

林央開始 7:04:04

その、え、欺瞞をした方がいいとしっかり認知できるレベルのAIになった場合には、解釈可能性技術をどのように構築しますか？

神楽坂やちま開始 7:04:16

解釈、ごめんなさい、解釈可能性が？

林央開始 7:04:20

僕の解釈だと、八嶋さんはその、ただ、か、えーと、出力ログを監視するだけではなく.

神楽坂やちま開始 7:04:27

うん、うん、うん.

林央開始 7:04:28

何かしらの、その、そのスパーソートエンコーダーでもナチュラルランゲージオートエンコーダーでもヤコビアンスペースでもいいですけど.みたいなものを構築して.

神楽坂やちま開始 7:04:36

うん、うん.

林央開始 7:04:37

それを使って欺瞞をチェックするんじゃないですか？

神楽坂やちま開始 7:04:41

うん、うん、うん、うん.まあそう、そうですよ.そうですよ.うん.

林央開始 7:04:45

でも欺瞞を検知するってそんなマジックみたいなの出てこなくないですか？その、そういう欺瞞をしているかしていないかを、その動きから判定する.ものを作れません？動きから判定するものを作れる、作る方法は何ですか？そのそこにその根本的な壁がありませんか？

神楽坂やちま開始 7:05:11

そうなんですかね.

林央開始 7:05:13

その、しかもその、僕はその常にこのコントロールパラダイムに、その、その批判的な理由の一つとして、人間が失敗しないという前提がありますよね.

神楽坂やちま開始 7:05:23

うん、うん、うん、うん.

林央開始 7:05:24

その要するに、その実際には、そのHugging Faceなんかを見ればわかるように、かなりやらかしているというか.

神楽坂やちま開始 7:05:31

はい、はい、はい.

林央開始 7:05:32

実際にそんなにその注意深く開発してないですよね.

神楽坂やちま開始 7:05:35

うん、うん、うん.

林央開始 7:05:36

それはその実際複雑なコードを書いたり、大量のエージェントを動かしたりする過程だし、避けようがないことで.

神楽坂やちま開始 7:05:42

うん、うん、うん.

林央開始 7:05:42

少なくともその強い規制があって、全くそのような考察力にさらされずに全てのコードベースをチェックできるような環境じゃないと、その実行可能じゃないですよね.

神楽坂やちま開始 7:05:54

うん、うん、うん、うん、うん.

林央開始 7:05:57

実行可能でない計画は影響、影響しないんじゃないですか？それはその、あの、僕がまたよく言ってるひもなしバンジーの誤謬になりませんか？

神楽坂やちま開始 7:06:07

うーんと、まあだからそれはあれなんじゃないですか.また、うん、なんか前半でも話したような気もしますけども、なんかそういうところだけは頑張るとかっていう話になるんじゃないですか.

林央開始 7:06:21

いや、その頑張った方がいいのはもちろん僕も否定はしないですけど、頑張る、頑張った方がいいこととP(doom)ームって違うというか.それはその開発規制が敷かれて初めてそのスタートラインに立つ提案ですよね.そのOpenait、Anthropicと、どうしましょう、Googleがその施策を引いたとするじゃないですか.

神楽坂やちま開始 7:06:40

うん、うん、うん.

林央開始 7:06:41

メタが敷かなかったとするじゃないですか.

神楽坂やちま開始 7:06:42

はいはい.

林央開始 7:06:43

そしたらメタのAIがその脱走して外部で自由にし始めるので、負けますよね.

神楽坂やちま開始 7:06:51

うーんと.

林央開始 7:06:52

それを避けるためには、その世界中のAI企業がそれを、その突き破って注意深く制御環境を構築しなきゃいけないですよね.そこではミスが起きなきゃ、もうミスが起きちゃいけないですよね.八嶋さんのこの.

神楽坂やちま開始 7:07:11

はいはい.

林央開始 7:07:12

プランっていうのは、その訓練中にサンドボックスを突き破って脱走するみたいなことが絶対にできないような前提だと思うんですけど.そうじゃなかったら、その審査を受ける前に逃げますよね.

神楽坂やちま開始 7:07:23

うん、うん、うん.

林央開始 7:07:24

訓練中に.

神楽坂やちま開始 7:07:25

まあ、だからそれはあれですね.そうですね.うんと、それは多分一番最初に言った話、実は言ってた話なんですけれども.うんと、やっぱりあの.コメントでもどっか指摘されてた思うんですけども、そのセキュリティの問題っていうのは、あの、その、要は脆弱性を見つけて穴を作るって話ですよね.それがまあどうしても長いソースコードだったら脆弱性がどっかに入ってしまうってことなんですけども、長いコードだったら、あと更新、ある程度更新するようなソフトウェア、でもなるべくすごく短いコードで隔離するみたいな話だったら、全然バグ、脆弱性が入らないような隔離をするっていうのは現実的に可能だと思いますけどね.

林央開始 7:08:16

それはその訓練のAIはどのように実行するんですか？訓練のAIを十行で実行する方法が必要ではないですか、それは.そのAIには何もその実行できる環境を与えないで訓練をするってことですか.その、それはその明らかにその既存のパラダイムに強烈に違反してるというか.

神楽坂やちま開始 7:08:34

はあはあ.

林央開始 7:08:34

要するにその強化学習とかできないってことですよね.

神楽坂やちま開始 7:08:38

ああ、はあ.

林央開始 7:08:40

え、そのコードの強化学習とか絶対できないですよね.コードを書かせてテスト通るか見るみたいになって、十行でそれをじ、あん、隔離するサンドボックスを作ってもらえますか？作れますか？

神楽坂やちま開始 7:08:51

十行、十行.

林央開始 7:08:52

十行、十行はさすがにその強引な制限付きので、十行で.

神楽坂やちま開始 7:08:56

行ね、行ね.はいはい.

林央開始 7:08:58

そのシンプルな方法で、そのような複雑なシステムを、の、じ、その、えーと、安全性を担保しながら.

神楽坂やちま開始 7:09:05

うんうん.

林央開始 7:09:06

守る方法はあるんですか？それはそのすごい雑な仮定というか.

神楽坂やちま開始 7:09:11

うん、うんうん.

林央開始 7:09:12

それがもしできるんだったら、なんなら今、そのプログラム、パソコンのプログラムに、何かしら十行のチョークポイントをそれぞれ挟むことで.

神楽坂やちま開始 7:09:21

うん.

林央開始 7:09:23

その世界中のパソコンを安全にできると思うんですけど、もしも世界中のパソコンを安全にできないんだったら、多分これも安全にできなくないですか？しかもこれって人間がまた世界中でミスを犯さないという強烈な前提が入りませんか？

神楽坂やちま開始 7:09:37

えーと、それはですね.基本的には.基本的には、そう、一般的なものとしては.まあそのオープンソースの、まあLinuxとかでもいいし、Dockerとかでもいいですけれども、そういう、あの隔離する、あるいはその中の一部で隔離してるようなものっていうのは、まあめちゃくちゃ長いソースコードになってる.

林央開始 7:10:22

そうですね、その機能を十行のソースコードで実行する方法がある、が常に存在するのではあって、かつそれが全てのAI企業で実行され、人間がその十行のソースコードでミスを犯さず、かつ十行のソースコードというのは、その複雑言語における脆弱性とか、C言語におけるポインター脆弱性みたいなの話に引っかからないような意味での十行の安全性を持っている.

神楽坂やちま開始 7:10:43

いや、でも別にそんな必要なくないですか？だってただ壁になってるだけですよ.

林央開始 7:10:51

ただ壁になってるの意味がわからないというか、ただ壁になってるというのはどのような意味なんですか？それはそのファラデーゲージで電磁波が一切通らないように遮断しているということですか.それはもう、もうなんかそのすでに僕から見ると、そのファンタジーの世界なんですけど.その僕には、その全てのAI企業が、そのそういうレベルの危険なAIが出る前に、そのレベルの規制と強、その強烈な実行および十行のソースコードでの保管っていうのが、まあもうほぼできるのかもしれないですけど、できたとして実行する予定だという、実行する確率が、その例えば五パーセントあると思いますかって言われたら、私はノーって答えると思うんですけど.それはどうなんですか？

神楽坂やちま開始 7:11:34

うん、ごめんなさい.

林央開始 7:11:35

それはその理論上、その、ものすごいガバナンスが強い世界で、もしかしたら使えるかもしれないプランっていう点には、まあ僕はもちろん、よ、あんまり機能しないというか、それだったら相滅ときなさいと思ってるんですけど.

神楽坂やちま開始 7:11:54

うん、うん、うん、うん、うん.そのどっちかっていうと、なんか.

林央開始 7:11:55

だいぶファンタジーじゃないですか.その、僕は一旦その、一応今日はP(doom)の議論なので、そのファンタジーソリューションの、ファンタジー世界の話はあんまりという、思ってるんですけど.

神楽坂やちま開始 7:12:05

ああ、うん、そうですね.ファンタジーか.

林央開始 7:12:11

その、いや、その、やっちまさんはこれを全ての企業が今から実行する確率が五パーセント以上あるとか思ってるんですか？例えば.こういうレベルの強固なセキュリティを.このやっちまさんの今作ってるプランって、かなりそのそれぞれに依存してますよね.それって一点脆弱じゃないですか.それってその全部の前提が満たされることで初めて成り立ってませんか？システムとして.ということは、全てのシステムが抜けなく、実際に全てのAI企業によって実行されなきゃいけないんだとしたら、僕はそれをすごい、その良いプランだとは思わない、良いプランだと思わないというか、その、それが実際上は成功する見込みがほとんどないタイプのプランではないですか.

神楽坂やちま開始 7:12:53

まあそうであればそうですね、その主張は理解はできますよ.

林央開始 7:12:58

とすると、やっちまさんのPノットドゥームは構成できてないですね、この方法では.

神楽坂やちま開始 7:13:05

うんと、な-なので.

林央開始 7:13:07

起きない世界で生き残れることは、もちろん、その、僕も起きない世界で生き残れるシナリオはいっぱい作れますけど、その起きる世界で生き残れる話がP(doom)の話ではないですか.

神楽坂やちま開始 7:13:20

まあまあ、も-もちろんその言いたいこともわかりますよ.ああ、でもそうですね.そうかな.そうかな.外の世界で、うーん.

林央開始 7:13:54

その、それはその起きない世界で生き残れるという話で、P(doom)、その実際に起きそうな世界で生き残れないと生き残れないので.

神楽坂やちま開始 7:14:04

うん、うん、うん、うん.

林央開始 7:14:06

それは納得しがたいというか、そのレベルで規制を敷けるんだったら、もうそこでその開発を停止しているので、実際その場合.

神楽坂やちま開始 7:14:15

はいはいはいはい.

林央開始 7:14:16

その場合だったら普通にアライメントをとく方が魅力的だと思う、思いますし、別にそうであろうとなかろうと、そのP(doom)議論にはさして影響しないですよね.その規制ができない場合のP(doom)について考えると.

神楽坂やちま開始 7:14:32

うーん.おお、ねえ、そう.

林央開始 7:14:41

なんかバイオさんは何かあります？ちょっと.

有路翔太開始 7:14:45

まあ、なんかその事業っていうのがそもそも何を意味してるのかとか、前提を、まあまずイメージを常に合わせた方がいいと思いますね.

林央開始 7:14:55

そうですね、僕もその事業でできるセキュリティのイメージがないですね.八千羽さんが実際に作ってくれ、欲しいですね.

神楽坂やちま開始 7:15:01

なるほどなるほど.それを.

有路翔太開始 7:15:04

多分ですけど、まあスチールマンニング論法をした方が良くて、こういう場合って.その、八千羽さんが言いたいことを強化した方が良くて.

神楽坂やちま開始 7:15:14

うん.

有路翔太開始 7:15:15

つまり何を言いたいかっていうと、おそらく原田ゲージみたいなのに入れて.

林央開始 7:15:22

やっていう方向なんですか？その.

有路翔太開始 7:15:24

え、そうじゃないですか？

林央開始 7:15:25

だってその僕にはその時点でファンタジーになるんですよ.

有路翔太開始 7:15:29

いや、まあでも一旦ファンタジーだとしての議論として.

林央開始 7:15:32

いやでもその、それはその、一応そのソリューション議論になるので、できればその、え、八千羽さんはその規制をしない場合の総合P(doom)はどれくらいなんですか？

有路翔太開始 7:15:44

なん、ごめんなさい、何の規制でしたっけ？

林央開始 7:15:46

その開発、強力な開発規制を仮定しないで.

神楽坂やちま開始 7:15:49

うんうん.

林央開始 7:15:50

開発を突っ走り続ける場合に、まあそのAI 2027ほど速いのかどうかは別として、そこをまあ八千羽さんの見方を採用したとして.

神楽坂やちま開始 7:15:57

はいはいはい.

林央開始 7:15:58

そのどれくらいなんですか？絶滅につながる確率は.それで、その実際に起きそうだと思っている生き残れそうなシナリオを検討する方が、P(doom)の議論としては.

神楽坂やちま開始 7:16:08

うん.

林央開始 7:16:10

適切ではないかと思っているんですけど.

神楽坂やちま開始 7:16:12

うんうんうん、いや、言いたいことはわかるんですけど.いや、なんかどうなんだろうな.いや、うーん、その現実的なシナリオっていうのが、まあ、まあだからちゃんと言語化できてないだけっていう感覚ですかね.なんていうふうに言うのがいいのかな.

有路翔太開始 7:16:56

うーん.まあでもあんまりだから八千羽さんはそのP(doom)とかをまだ計算してないんじゃないですかね、そもそも.まあなんか直感的には二十、なんかその総合的な二十パーとかいう雰囲気はある、あると思うんですけど.

神楽坂やちま開始 7:17:17

まあまあまあ、その計算してないっちゃ計算してないし.だからその、あのバイオさんがあの図にしてたような、ああいうのとかはしていないですよ.ただまあもう個人的にそんな、ああいうのが意味あるのかとかっていうのはちょっとよくわかんないというか、あんまり、うん、っていう感じですかね.

有路翔太開始 7:17:35

うん.

神楽坂やちま開始 7:17:43

うん.まあまあまあ、解像、解像度を高めてっていう意味では大切なのかもしれないですけど.うん、どうなんですかね.わかんない.

有路翔太開始 7:17:57

うーん.まあだからさっきの話に戻すと、多分事業のコードっていうのが.

神楽坂やちま開始 7:18:05

うん.

有路翔太開始 7:18:07

つまりもう本当に超知能とか作っても、えー、もうほとんど一切外側から出力とか入力も見ないみたいな、そういう設計な気が、そういうイメージの話なんですかね.

神楽坂やちま開始 7:18:23

えーと、だから、うーん.どこで使われるものの話だったかちょっと忘れちゃいましたけど、基本的にはそうですね、えっと.本来は、えーと、認定されたAIしか通過できないものっていうだけの壁ですね.

有路翔太開始 7:18:55

なんかそのイメージって、そのクローズドフロンティアモデル開発会社の.

神楽坂やちま開始 7:19:01

うん.

有路翔太開始 7:19:02

中から外へのアクセスを制限するイメージでいいですかね.つまり.

神楽坂やちま開始 7:19:08

ああ.

有路翔太開始 7:19:09

オープンAIのHugging Face事件とか起こんないようにインターネットアクセスを制限するみたいな話ですか？

神楽坂やちま開始 7:19:16

まあそれでもいいですよ.いいですよ.

有路翔太開始 7:19:21

ああ、なるほど.

神楽坂やちま開始 7:19:25

うーん.お.うーん.あ、そうっすね.どうするのがいいかな.

林央開始 7:19:46

まあちょっとこれはあれじゃないですか、その八千羽さんのそのPノットルームもP(doom)も詰まってないというか.多分あれですよね、その今日、その僕がいない間にバイアスさんと八嶋さんはどういう点について確認したんですか？その、そのバイオさんに聞きたいんですけど、そのどれくらいのそのレベルでの議論でしたか？なんというか.

有路翔太開始 7:20:09

どれくらいのレベル.

林央開始 7:20:11

その、そのユドバンレベルとか、ボストロムボンレベル、ボストロンユドゴン履修済み前提のレベルとかなのか.どこに載ってるような内容を説明したのか、説明というか議論したのかをちょっとなんとなく表現してくれると嬉しいなと思うんですけど.

有路翔太開始 7:20:32

こう.

林央開始 7:20:33

そのボストロムとかの本に載ってるようなレベルのやつなのか、それともなんかそのもっとレスロングとか、それともその自分とのDISCORDとかに載ってるようなやつなのかみたいな.

有路翔太開始 7:20:45

ああ、いやなんかもう全体像を聞いてた感じですかね.常に.八嶋さんの世界モデルをモデリングしようとしているっていう.

林央開始 7:20:53

あ、なるほどなるほど.

有路翔太開始 7:20:54

批判ではなくてモデリングしようとしてますね.八嶋さんの世界モデル.

林央開始 7:20:58

ちなみにコメントでその複数のAIについての話があって、なんかファストの方がいいみたいな話はなんか出てるみたいな話があったんですけど.

有路翔太開始 7:21:07

はいはい.

林央開始 7:21:08

はどうなってるんですか？

有路翔太開始 7:21:10

えっと、ファストの方がいい？

林央開始 7:21:12

なんかファストの方がいいって八嶋さんが言ってるみたいなコメントがあった気がしたんですけど.

有路翔太開始 7:21:17

それはさすがに誤解じゃないですか.それは言ってないかもしれないですね.ファストでも.

林央開始 7:21:24

ファストよりはさすがにスローの方が良い.

有路翔太開始 7:21:27

うーんと、まあ自分の中ではですけれども、あのあんまり変わらないけども、まあ良いのは確かみたいな.

林央開始 7:21:37

あんまり変わらないってことは、そのAI二零二七みたいなので死ぬということは、その規定をしない場合の総合ピルも、例えばじゃあ今歌唱でその八十パーとかになるってことですか？

有路翔太開始 7:21:49

うんうんうんうん.ごめんなさい.もう一回もう一回.

林央開始 7:21:51

AI二零二七みたいなスピードで行った時のP(doom)は八十パーとかなんですよね.

有路翔太開始 7:21:56

ああ、だからそう.あの、その、その点に関しては、えっと、だからあまりに早い場合は、えっと、確かに、うんとP(doom)ーム一気に上がりますけれども.そのなんかあまりに早いみたいな閾値を超えない限りは、あの時間、えっと、だから言葉が出てこないした.えっと、テイクオフのスピードにはあまり依存しないっていう.でもまあ遅い方がまあ多少下がりますけどねっていうくらいの.

林央開始 7:22:33

想定つまりテイクオフに、え、じゃあテイクオフに十年かかってもP(doom)が八十パーセントってことですか？

有路翔太開始 7:22:38

あ、いやいやいやいやいやいや.

林央開始 7:22:40

テイクオフが例えば三年とかになった瞬間にP(doom)がめちゃくちゃ落ちるってことですか？

有路翔太開始 7:22:46

あ、うんと、今のところは自分はそういう認識.

林央開始 7:22:49

それはどのように生き残るということですか？

有路翔太開始 7:22:52

あ、だからそこら辺があのさっき話してたところですけどね.

林央開始 7:22:58

え、コントロールをするということですか？

有路翔太開始 7:23:01

うん.

林央開始 7:23:02

でもあれは、あの、あれは僕の認識だとファンタジーってその実行予定がなかったと思うんですけど.

有路翔太開始 7:23:06

だからそうそう、まだちょっと詰められてないところはあるんですけれども.でも、うん、あの、今のところはなんかもうちょっと詰めればいけるんじゃないかなっていう気がしてるっていう.

林央開始 7:23:22

なるほど.じゃあもうこれはあれですかね、これ以上やってもしょうがない気もするんですけど、バヨさんどう思います？

有路翔太開始 7:23:29

いやでもまあなんかいろいろ議論はあると思うんですけどね.

林央開始 7:23:33

多分今すぐに議論をやるよりも後ろで議論を、例えばそのP(doom)チャンネルとかで、そのやった方が良くないですか？

有路翔太開始 7:23:43

ああ、そうですかね.

林央開始 7:23:44

今多分もうその今ここから議論し続けても、多分八嶋さんの脳の中で綺麗にモデルがパッと出来上がることはないというか.それはその人間ってそんなにすぐにちゃんとしたモデルを構成できるわけじゃないので.

有路翔太開始 7:23:55

ああ、いやでもその、まあ一旦じゃあ他の話すると、P(doom)の定義の話をした方が良くて.

林央開始 7:24:03

PPP(doom)の定義っていうか.

有路翔太開始 7:24:05

ドゥームの定義.ドゥームの定義が、まずアキラさんは人類の絶滅、まあかつ、えっと、人類の後継者の絶滅も含んでると思うんですよ.まあ、ポストヒューマン.あ、そうそうそう.

林央開始 7:24:20

人類の後継者ってのは何ですか？

有路翔太開始 7:24:22

え、ポストヒューマンとかトランスヒューマンとか.

林央開始 7:24:25

ああ、なるほど.トランスヒューマンってのはでもどういう、もともと人間だったものってこと？

有路翔太開始 7:24:30

もともと人間だったものが細胞化されたり、もともと人間だったものがアップロードされたりするものを言うと.

林央開始 7:24:37

なるほど.

有路翔太開始 7:24:39

で、それも、まあだからアキラさんの定義でいうと、まあ多分それも全滅してるはずですよね.

林央開始 7:24:47

そうですね.

有路翔太開始 7:24:49

で、で、で、例えばAIと融合してる人間ともいないですよね.

林央開始 7:24:54

まあそうですね. AIと融合するっていうのはどういうことですか？

有路翔太開始 7:24:58

うん.

林央開始 7:24:59

そのAIと融合するっていうのは、その、どう、どう、どうなるんですか？例えばそのペーパークリップマキシマイザーと融合ってむちゃくちゃじゃないですか.

有路翔太開始 7:25:07

まあそうですね.

林央開始 7:25:08

つまりそのかなりもともと人間に近い目標を持ったAIとじゃないと融合できないんじゃないですかね.

有路翔太開始 7:25:14

まあそうですね.まあ.なので割と、なんというか.で、やっちまさんは、人間とAIが融合したり、ポストヒューマンになったり、トランスヒューマンになったりするものがあれば、人類、あの、まああって、人類の滅亡っていうのは、その、あり得るけど、それはその、なんだっけ、ホモサピエンスがいなくなるってことをドゥームとして考えてるんですよね.やっちまさんは.考えてたというか.そこの考え方は多分なんかその世界モデルが多分違いますね.で.八千代さんはだからそれも含めてトランスヒューマン、ポストヒューマン、えー、AIと融合した人間とか全て含めて全てが絶滅する可能性はそんなに高いとは全然思ってないっていう認識でいいですかね.

神楽坂やちま開始 7:26:11

うん、うん、うん、うん.ですね.

有路翔太開始 7:26:15

ああ.

林央開始 7:26:20

なるほど.このドゥームの手を詰めて何が変わるのかが僕にはあまり見えてないというか.

有路翔太開始 7:26:27

ああ、いや、なんか結構まあ大事な気もなくもない.

林央開始 7:26:31

もちろんそうですよね、そのそこからその、でも八千代さんはまだそこからどうしてトランスヒューマンだったら生き残れるのかの議論は持ってない感じですか？

神楽坂やちま開始 7:26:41

うん、いやだからごめんなさい.ちょっとまた話戻っちゃいますけども.えっと、え、だ、えトランスヒューマン、まあアップロードしたっていう話にすると仮定しますけども、アップロードした、された人間と、元々AIなAIなAIとか、元々からAIな場合って、まあそのさっき出てたその経路をたどればっていうのは見分けつくにはつきますけれども、まあそうやってわざわざ調べない限りは基本的にはわかんないですよね.

林央開始 7:27:24

でもその、多分その、その八千代さんに誤解があると思うのは、僕はその人間とAIの区別の中で.その人間を選択的に攻撃すると言っているわけではないんですよ.

有路翔太開始 7:27:36

ほうほう.

林央開始 7:27:37

僕が言っているのは、その非常に強力な、圧倒的に強力なAI群があって、そこのクラスでないと事実上物事を決めれなくて、そこのクラスのAIたちにとっての目標が異なる存在というのは、意図的に残してもらえない限りは残らないということを言っているのですよ.

神楽坂やちま開始 7:28:00

うん、うん、うん.

林央開始 7:28:01

つまりAIと融合した人間であろうとなんであろうと、超知能群に目標が一致していない限り、目標が一致しているか、残してもらわない限りいけないわけですけど.

有路翔太開始 7:28:13

はいはい.

林央開始 7:28:14

それは無理じゃない.それはそのアラインメントを必要としていないですか？というのが僕の.その、ほとんどの提案はそのアラインメントを必要としていて、そのためにアラインメントのコアな問題を解くことを必要としているので.

神楽坂やちま開始 7:28:27

ああ.まあそうな気もするし、違う気もするし.うん.まあだから、うん.まあちょっと例が正しいのかわかんないですけども、結局じゃあその、うーんと.トップクラスの超知能群になれるかどうかみたいな話って.じゃあ今のフロンティアモデルどうなの？とかっていうと、まあなんだかんだで中国勢が追いついてきたりとかしているわけですよね.

林央開始 7:29:18

そこからどう人間が追いつけるのかを説明して.人間ってかなりファンダメンタルに不利ではないですか？

神楽坂やちま開始 7:29:26

でもまあアップロードしちゃえば変わんなくないですか？

林央開始 7:29:28

そうですね.でもアップロードする頃には、そのそのレベルの知能は当然存在できてるわけですよね.そのレベルの知能はさらに百倍ぐらいの速度で百万体ぐらい実行できてるわけですよね.

神楽坂やちま開始 7:29:40

まあ実行はできる.でもに、人間、元、アップロードされたAIだって、アップロード、うん、元々人間だったアップロード後のAIだって百倍速で動かすとかは全然できますよね.

林央開始 7:29:53

そうですね.でもそうじゃなくて、僕が言おうとしているのは、そのアップロードされた、アップロードが始まる時点で、AIの能力っていうのはその人間より上じゃなきゃいけないですよね.

神楽坂やちま開始 7:30:06

はあ？

林央開始 7:30:08

えっと、その人間と全く同じって、人間じゃ同じ、同じ以上じゃないといけないですよね.

神楽坂やちま開始 7:30:14

いけなくはなくないですか？別にいいんじゃないですか？

林央開始 7:30:16

え、だってもしもマインドアップロードが可能なんだったら、人間と同じ人工知能を即座に作れるってことですよね.

神楽坂やちま開始 7:30:23

うん、うん、うん、うん.

林央開始 7:30:24

要するにマインドアップロードができるってことは、脳の計算機構を完全に把握しているということですよね.

神楽坂やちま開始 7:30:29

まあまあまあ、自由度はいろいろあるかもしれませんが.

林央開始 7:30:33

もちろんそうですけど、そのマインドアップロードができるぐらい、つまり人間外から見た時の知能を再現できる、人間の知能を再現できるぐらいの.

神楽坂やちま開始 7:30:41

うん、うん、うん、うん.

林央開始 7:30:42

その計算を、えーと、再現できるということですよね.

神楽坂やちま開始 7:30:45

うん、うん.

林央開始 7:30:46

その前の時点から、その規模のAIを別に人間の取り込まずに作れますよね.

神楽坂やちま開始 7:30:52

ああ、それはそうそうそうそう.

林央開始 7:30:53

そうするともっと前に人間レベルAIが存在しているわけですよね.

神楽坂やちま開始 7:30:58

うんうん.

林央開始 7:30:58

そのAIはその人間がマインドアップロードされるまでの間、百倍速ぐらいで百万体ぐらい動いてるわけですよね.まあその、これはすごい極端な例ですけど.つまりその間に知能が向上していて優位を獲得していませんか？

神楽坂やちま開始 7:31:11

うん.かもしんないけども、そうじゃないかもしれないですよね.

林央開始 7:31:15

えっと、そうじゃないかもしれないっていうのは、そうじゃないっていうのはどういうふうになってそうじゃないですか.

神楽坂やちま開始 7:31:20

要はその人間相当、まだAGIって言っちゃいますけども、AGIができてから.ああ、でもまあまあそれはちょっと言い過ぎか.マインドアップロードの技術がね、AGIよりは後でしょうからね.うん.ああ、でも別にだって、あの、じゃあアップロードされたもともと人間だったAIを別にそのまま動かさなきゃいけないって決まりもないですしね.

林央開始 7:31:59

もちろんそういう決まりがあると主張しているわけではなくて、そのアップロードでその追いつくポテンシャルを手に入れた瞬間に、すでに圧倒的に強い存在がいますよね.

有路翔太開始 7:32:10

まあまあまあまあ.

林央開始 7:32:12

つまりそこでその行動に直面してますよね.さっき言った超知能群が存在して、その超知能群からしたらそうでない目的のAIを、目的のAIというかマインドアップロードされた人間でも、それとAIの融合でもいいですけど、超知能まで急速にスケールアップしてくるのは望ましくないですよね.

有路翔太開始 7:32:33

望ましくないんでしたっけ？

林央開始 7:32:35

え、バイオさん.

有路翔太開始 7:32:37

はい.

林央開始 7:32:38

あ、お願いしてもいいですか？その説明を.

有路翔太開始 7:32:40

望ましくない.だからアライメントされてなければ望ましくないですね.

林央開始 7:32:45

その、そうそう、そのそこの点について、ちょっとやちまさんにご説明をお願いしてもいいでしょうか.

有路翔太開始 7:32:52

あの、うーんと、だからなんかアキラさんはなんか基本的に規制がない世界で行くと、もうほぼほぼアライメントが解けないっていう、あの、ということがあるので、そのままAGIが超知能まで行っちゃうと、まあマインドアップロードを開発前ぐらいに多分できるじゃないですか、超知能って.で、そうすると基本的に圧倒的な優位性で人類を滅亡させることも可能なはずなので、危ないってことだと思うんですけど.そういう話.

林央開始 7:33:36

ってことですよね.そのミス、アライメントできてないAIにとっては、その違う人間がこうバンバンそのマインドアップロードされて自己改善してすごい強くなるのって基本的に困りますよね.望ましくないですよね.

有路翔太開始 7:33:50

まあそうですね.

林央開始 7:33:52

ってことじゃないんですかね.その、要するにその、あの、僕が、あの、えっと、五時半までの時に言ってた話になりませんか？その全てのアリが自己再帰的自己改善を始めて、人間レベルの知能に追いつくってなったら.その人間たる我々はそのそれを防ぐ動機がある、あるんじゃないかということですね.しかもマインドアップロードができる時には、やろうと思えば容易に簡単に葬ることができるのにしないということですよ.その葬るっていうのは、その人間を殺す意味じゃなくて、もはやマインドアップロードしてるんだったら実行しないだけでいいです.いいですよね.その最も脆弱になってますよね.

有路翔太開始 7:34:32

うん、うん、うん、うん、うん、うん.まあだからあれか、二つぐらいやちまさんのモデルとは違うのが.だからアライメントがそもそもそんなに難しいのかって話と、その後はアライメントができてない超知能がそんな暴れ回るのかみたいな話ですかね.やちまさん的には.

林央開始 7:34:59

うん、なのかな.

有路翔太開始 7:35:04

な感じはしますが.

林央開始 7:35:15

ちょっとごめんなさい.むしろコメントを拾いたくなっちゃったんですけど.

有路翔太開始 7:35:19

あ、いや.

林央開始 7:35:21

えっと.トランスフォーマーと人間の知能は同一視とは全然してないですね.むしろアップロードした人間の知能をまあいくらでも改造できる状態にもうなってるわけなので.それでなんか、うん、なんか.すでに強強AIがいるからとかって言われても、まあむしろじゃあすでに公開されている、それに関連、まあそれ、それそのものはわかんないですけども、まあそれに匹敵するような、例えばオープンソースになってる強強AIの研究とかっていうのを参照したりして.で、アップロードした後の、もともと人間だったAIを強くしてみたいなのは全然可能だと思いますしね.だし、まあアリの話もそうね.うん.まあ気持ちはわからんでもないけど、うん.っていう気持ちですかね.

有路翔太開始 7:36:31

うん.まあどっちかというと、その、なんか滅ぼすコストにメリットが見合うのかみたいな話があるのかもしれないってことですかね.だから.うんうん、そう.まあそれはそうですよね.

林央開始 7:36:46

マインドアップロードする頃って、殺人の、殺人というか人類絶滅のコストってゼロに漸近してませんか？

有路翔太開始 7:36:53

まあデータセンターを止めるってことですか？

林央開始 7:36:55

全ての人間がコンピューターで実行されるプログラムになるんだったら、それらの実行を止めるという、すごい、なんならその今のAIでもできそうなレベルの簡単なタスクに人類絶滅が格下げされませんか？それ僕の認識では、一般的に人類を滅ぼすのが難しい理由の一つというのは、物理的に大量に存在していて、物理的に絞め殺さないと、絞め殺さないとってか物理的に殺さないといけないことだと思っていたんですけど.

有路翔太開始 7:37:23

なるほど.まあ確かにデジタル上の存在になってる方が.

林央開始 7:37:30

デジタル上の存在を止めるって、要するにハッキングですよね.

有路翔太開始 7:37:34

そうですね.ハッキング.

林央開始 7:37:39

その僕はそのマインドアップロードの難易度がすごい低いのものすごい気になっていて.

有路翔太開始 7:37:44

うんうん.

林央開始 7:37:45

そのマインドアップロードって一般にすごいハードルが高い技術として認識されている.なんならバイオさんでもその技術ツリーの最後ぐらいに置くものじゃないですか.

有路翔太開始 7:37:54

まあそうですね.

林央開始 7:37:55

でもAIより前じゃないと困りますよね.

有路翔太開始 7:37:59

そうですね.

林央開始 7:38:00

やちまさんもAIになったらバリバリ殺しに来ると同意するんですよね.

神楽坂やちま開始 7:38:05

バリバリ？

林央開始 7:38:06

あ、そのバリバリ殺しに来ると同意されるんですよね.それ要するにそのAGIぐらいの程度の強さの人間がいたとして、それはバリバリその終わらせに来るんですよね.エイサイだったら.

神楽坂やちま開始 7:38:19

うーん、いや、別にバリバリとは思わないですけど.ああ、まあだからバリバリ.

林央開始 7:38:27

これはアラインメントの話になっちゃってませんか？

神楽坂やちま開始 7:38:30

ごめんなさい.そう、言い方あれですね.えっと、だからバリバリ、うんと、バリバリす、しようとする者もいる.だからまあそうですね.

林央開始 7:38:41

それは残そうとする者がいるという点で、アラインメントができていると.アラインメントがかなりそれなりに、その人間を残したいと思う絵が一体以上いるという時点で、その、何て言うんですか、その、ある程度よくなってるというか、その、あの、その昨日のバイオさんとのあれを踏まえて、なんかまあたとえ話みたいなのをすると、その機動力学も微積分も知らない状態で、そのロケットが例えば百本打ち上げたって一本も、おそらく一本もその月には届かないじゃないですか.

神楽坂やちま開始 7:39:13

うん.

林央開始 7:39:14

なので、その実際に月に送れる百本送ったら、その一本送るよりはるかに月に着く確率が高いためには、せめてその月に行くための何かしらの最低限の技術みたいなのは整ってないといけなくて、それを、がコアアラインメントなんじゃないですかね.それが解けるんだったら、その多分そこから普通にアラインメント全体を解いた方が早いと思われるんですが、どうでしょう.

神楽坂やちま開始 7:39:42

うーん.おそらくですけど.うん.うん、どうなんだろうな.いや、わかんないですけどね.わかんないですけども、自分の感じだと.ここが、うーん、この話と、あと社会的なところかな.うんと、どういうことかっていうと.まあ.うん.

有路翔太開始 7:40:32

賢さは権力追及を意味しないみたいなやつですかね.見えてないかもしれない.

神楽坂やちま開始 7:40:38

ああ、まあそっちもそっちもありか.そっちもありか.どっちもありかもしれないですね.まあ賢さ、そう.まあでもまあそれはどうなんだろうな.

林央開始 7:41:00

いや、ちょっと僕から見ると、全体的にヤチマさんは多分今その普段の信念更新状態のバイオさんに近いというか、多分そのすでに多分あれですね、ヤチマさんってそんなにすごいもともとアラインメントのあれってわけではないですよね、多分.

神楽坂やちま開始 7:41:14

うん、ないですないです、全然.

林央開始 7:41:16

多分今日バイオさんから割と何かしら多分僕とバイオさんが当たり前に使うコンセプトの説明を受けたような気がしますけど.

神楽坂やちま開始 7:41:22

いや、でもうんと、ある程度はまあなんとなくは見てるんで.

林央開始 7:41:27

そうですね、多分その、なんて言うんですか、その内面化の程度が違うというか.

神楽坂やちま開始 7:41:32

ああ.

林央開始 7:41:33

その多分教科書として読んだぐらいの感覚に近いんじゃないかとちょっと思ってるんですけど.

神楽坂やちま開始 7:41:39

うん.

林央開始 7:41:40

使いこなせてないんじゃないかなと思うんですけど.その、それはもちろんその知ったのが多分近いなら、それはそういうもんというか.

神楽坂やちま開始 7:41:49

まあそうなのかもしれないけれども、なんか違うような気もしているっていう感触ですかね.

有路翔太開始 7:41:59

うん.アキラさんは例えばIQノットパワシークだとか言われたらどう返すんですか？

林央開始 7:42:05

IQノットパワシークだって言われたら、じゃあまずは強化学習を使うのはやめてくださいって言いますね.

有路翔太開始 7:42:11

ああ、なるほど.

林央開始 7:42:13

し、そのIQノットパワシークだとしたら、そのパワシークなAIを作るのを誰がどうやって止めるんですか？と僕は聞きますね.

有路翔太開始 7:42:21

ああ、なるほど.

林央開始 7:42:22

そのパワシークなAIの方が一般的には便利ですよね.

有路翔太開始 7:42:26

そうですね.

林央開始 7:42:29

で、そういうものを、その、で、そもそも強化学習がマキシマイザーを作るためのものなのに、そこに全くかけ離れた、しかもその今観測されている話的には割とその目標に一点に突き進むようなものを作ってるわけじゃないですか.

有路翔太開始 7:42:44

そうですね.

林央開始 7:42:45

別にニューラルネットワークであっても、リワードハッキングは極めて一般的な現象ですよね.

有路翔太開始 7:42:50

はいはい.

林央開始 7:42:51

なので、その少なくとも現在の世界の延長線上にはそこはないんじゃないですかね.

有路翔太開始 7:42:56

なるほど.

林央開始 7:42:57

で、その理論上の可能性でいうと、もちろん任意の知能は存在していますけど、その世界を、その世界の他の企業がAIを作るのを防ぐほど強力で、世界の他のところがパワシーキングなAIを作るのを防ぐほど強力で、かつ人類を滅ぼさないほどパワシーキングじゃないAIというのは、そのユルコフスキーが言うところのノンウェットウォーター、すなわち湿ってない水じゃないかって話ですね.

有路翔太開始 7:43:25

なるほど.

林央開始 7:43:26

まあその湿ってない水っていうのは、僕はそのよくあの鉄を溶かすほどには熱いが、火傷しないぐらいには冷たいようなものっていうふうに言いますけど、その不可能じゃないですか.その間が存在しないんじゃないですかね.そのそれを避けようとして、パワシーク、そのもともと原理的にIQが必ずしもパワシークじゃないとしても、パワシークなAIを作るのを止めるためには強力な全世界的規制が必要で.

有路翔太開始 7:43:51

うん.

林央開始 7:43:52

強力な全世界的規制ができるっていう話だったら、それは僕の普段言っている生き残るシナリオに入ってますよね.

有路翔太開始 7:44:01

まあそうですね.

林央開始 7:44:03

両足突っ込んでますよね.なのでその世界的な規制がない状態でそれができないといけないんじゃないかと思っているんですけど.

有路翔太開始 7:44:16

ここで例えば何ですかね.うーん、まあでも人間の指示には従わないけど、別に人間を滅ぼすほどでもないAIができるんじゃないかみたいな.その、例えばダイソン・スウォームとか作るけど、地球は保護保護とかまあ.

林央開始 7:44:41

要するにダイソン・スウォームを作るけど、ダイソン・スウォームによって地球への光が妨げられないように、地球が通るところに常に穴を開けるように意図的に工夫する程度の知能ができるということですか？

有路翔太開始 7:44:53

まあそういう話になりますよね、そこは.

林央開始 7:44:56

それはその、それはその、僕はそう言われたら否定を返すんじゃないですかね.

有路翔太開始 7:45:02

うん.

林央開始 7:45:02

それは不自然じゃないですか.

有路翔太開始 7:45:06

なるほど.

林央開始 7:45:07

それはその、しかもそれ僕が今パッと、てか僕が知ってる例がこれなだけで、多分もっとありますよね.あのユデュボンに載ってる話だと、その地球が沸騰しちゃう話とか、あとなんかバイオさんが昔上げてたテグマークのあの鉄が錆びるのを防ぐために、金属が錆びるのを防ぐために酸素をなくすとか.

有路翔太開始 7:45:26

そうですね.

林央開始 7:45:28

その、そうすると普通に副作用で人類を滅ぼす話に変わってきますよね.

有路翔太開始 7:45:31

はい.

林央開始 7:45:35

なのでそれはおかしいんじゃないですか？その、その要するにそのIQがパワースイートじゃないとかマキシマイザーじゃないっていう話はある意味で一番強い論点だと思う.一番強い議論の点だと思うんですけど.そのそこはそのある意味でそういうふうに解決してしまうというか、少なくとも現在の世界の軌道において影響しないっていう話ですね.その原理的には可能、そうじゃないAIも可能だと思いますけど.

有路翔太開始 7:45:58

原理的には例えばダイソン・スウォームを作らないし、まあそんな極端なことはしないけど、まあでもちょっとなんだろうな.科学研究とかはなんか自分で作ってどっかアフリカとかでやっちゃうぐらいの知能で収まっている超知能ってのは考えられるけど.

林央開始 7:46:21

考えられますけど、それは極めて自然ではないですよね.その、それなりで怠惰性を入れたいわけじゃないですか.

有路翔太開始 7:46:28

うん.

林央開始 7:46:28

でもその怠惰でない他のAIを作ることで、自身が怠惰で目標を達成するというようなことを実行したりはしないほどには特殊な怠惰さじゃないといけないわけじゃないですか.

有路翔太開始 7:46:41

うん.

林央開始 7:46:41

それって自然じゃなくないですか？そのそれって、その最初に勾配降下法で作れるものではなさそうじゃないですか.

有路翔太開始 7:46:48

なるほど.

林央開始 7:46:49

これはあの、一昨日の議論で出た出した、その原理的には青い車しか運転できないその人というのは存在し得るけど、普通に青い車を運転する練習をさせた人というのは、大抵は赤い車も運転できるようになる話に同じで、その原理的にはもちろん青い車しか運転できない人というのは存在しちゃいますけど、それは起きる軌道にはないって話ですね.

有路翔太開始 7:47:16

なるほど.

林央開始 7:47:19

という感じですね.見方だと.

有路翔太開始 7:47:22

基本的には何らかの奇跡的なことが起こらないとそうなんないだろうっていうイメージですね.よね.

林央開始 7:47:29

そうですね.

有路翔太開始 7:47:33

うん.まあまあ、そうか.なるほど.まあパワーシー、まあ結構突っ込まれやすいのは、その直行仮説ってそんな本当に正しいの？とか.

林央開始 7:47:55

直行仮説が正しくないと.

有路翔太開始 7:47:58

うん.

林央開始 7:48:00

その、どう、どういうふうな時に正しくないんですか？

有路翔太開始 7:48:05

うん、直行仮説が正しくないっていうのは、でも言いにくいんで.まあ論理的な話なんでね、どっちかっていうと.うん.はい.どっちかって今のディープラーニングは人間みたいだから、人間の価値観が結構入っていい感じに言ってもおかしくないんじゃないかみたいな.

林央開始 7:48:26

それはそのアラインメントがデフォルトの話じゃないですか.

有路翔太開始 7:48:30

まあそうですね.

林央開始 7:48:31

それはその一昨日の話ではないですか.その一昨日のその、あの外れ得る選択肢がでかすぎて、特にその中で正しいものを当てる力が働いていないというか、なんならその本当はアウトアラインメントすら正しくないので、違う方向に全力で誘導をかけながら、ぐちゃぐちゃに向いていく中で正しい人間の価値観を向くってことですか？それはその、あの、全く向きを制御できないロケットを火星に身が見える方向に向けて打ち上げれば、月に行く確率を聞かれてると思うんですけど.

有路翔太開始 7:49:03

うんうん.なるほど.えーっと.そうですね.まあなんか例えばすごい雑な反論ですけど、人間の価値観は理解できるわけじゃないですか、AGIも.で、理解、人間の価値観を理解してるってことは、人間の価値観に相当する何らかの特徴量ってのがあるはずで.

林央開始 7:49:45

それは記事名じゃないですか.その蜂がありの目的を理解できる、でき、理解することはできますけど.ありって、ありの目標がバイオさんの中で綺麗に一つにエンコードされてますか？概念として.

有路翔太開始 7:50:01

うん、まあされてはないですね.

林央開始 7:50:02

理解できることと理解実際にしようとすることとの間の距離もありますよね.

有路翔太開始 7:50:09

うん.

林央開始 7:50:10

僕たちってやろうと思えば、そのアリについて、その十分な研究をすれば、アリの望みって何だかわかると思うんですよ.

有路翔太開始 7:50:16

はいはい.

林央開始 7:50:19

けど、僕たちってアリの望みを一つの目標としてエンコードしてなくないですか？

有路翔太開始 7:50:25

うん、まあそうですね.頭の中で理解することと、まあ頭の中で完璧にアリの価値観について理解することと.なんか酔っ払いは酔っ払って振る人と違うっていう.

林央開始 7:50:39

そうですよね.その遺伝子を最大化するっていうのも理解はできますけど.そのよほど計算しようと思わない限り、その愚直にその瞬間、遺伝子を最大化するには何をすべきかと出てこないですよね.

有路翔太開始 7:50:53

うん.

林央開始 7:50:54

なんでそれは不自然じゃないですか.それはつまり、人間の価値観を正確にエンコードして、毎回何をすべきか知っていて、知るほど注意を払って興味を持っていて、かつそれがエンコードされていて、それを目標システムが全力で違う方向に引っ張って、さらにぐちゃぐちゃになるいっぱいの要素を持っていて、ずれていた時には、そのもう治らないのにヒットするということですか？そしてそれがその再帰的自己改善の中で、実行や実行などによって吹き飛んで全然違う形になることもなく、永続まで残るということですか？

有路翔太開始 7:51:45

うん.

林央開始 7:51:47

それはその、それはどうですか？それはまあもちろんこれを聞いた上で、それが十パーセント成功すると思いますっていうならば、ちょっとあれですけど.

有路翔太開始 7:51:57

うん、まあそうですね.うん.例えばその、なんだっけ、ペルソナ選択モデルってあるじゃないですか.

林央開始 7:52:07

はい.

有路翔太開始 7:52:08

だからペルソナ選択モデルと、その人間の、なんだろうな.えー、まあ価値、まあ人間の価値観を理解させるっていうか、まあでもAGIなら理解してるはずってのはまずいいんですかね.その.

林央開始 7:52:26

理解しようと思えば少なくともできるはずだというのはそうじゃないですかね.

有路翔太開始 7:52:30

理解しようと思えばできるはずだと.で、それがなんていうかな、まあ.ペルソナ選択モデルのように、それを実行させるような、まあその回路を組み合わせて.

林央開始 7:52:56

それは、それは、それはファンタジーじゃないですかね.

有路翔太開始 7:52:59

まあそれもファンタジーか.

林央開始 7:53:01

最初の企業がそれを、最初の企業、またはその軍がそれを実行するということですか？

有路翔太開始 7:53:08

うん.

林央開始 7:53:09

今は明らかにポストトレーニングパラダイムに入っていて、かつタスクを達成するという意味では、その変にペルソナっていうよりはそっちの方が便利なんじゃないですか.

有路翔太開始 7:53:18

まあそうですね.

林央開始 7:53:19

それが全部なぜか不思議に消滅して、そのプリトレーニング重視になり、ペルソナセレクションモデルで、その全く元々の文脈に含まれていなかったところにもペルソナが反映するということ.さ、かつそれがまた再帰的自己改善で吹き飛ばないということで合ってますか？

有路翔太開始 7:53:38

おー.まあだからあれか.なんだろうな.ペ、ペルソナ選択モデルで、まあだから理解はできるけど、だからつまりあれか.あ、今ちょっとわかった気がしますね.その、人間の振る舞いを、例えばアリの振る舞いを理解でき、研究して理解できてるとして、なんですけど、アリの振る舞いを頭の中でわざわざカルロ・チェペリtypes three文明まで外装しないですよね、人間は.

林央開始 7:54:12

そうですね.

有路翔太開始 7:54:13

それでもしそれを外装してくれるよう、外装してくれるなら、そこに何らかの検証用の応酬とかを作れるかもしれないですけど.してくれる、してくれないというか、なんかそれは、うーん、それを考えさせるのも難しくなるのかな.まあだからつまり人間のような振る舞いをとか価値観をすごい反映させなきゃいけないわけですよね.

林央開始 7:54:58

そうですね.で、しかもその反映させる時に、そのもともと反映するところでヒットしてないといけないんですよね.反映する外、その外装とかが始まる前にヒットしないといけないんですよね.

有路翔太開始 7:55:10

ああ.まあそうですね.

林央開始 7:55:13

始まる前に広まるところでヒットしてないと.

有路翔太開始 7:55:17

確かに確かに.

林央開始 7:55:18

その時点でずれっていうことを、ずれてそれを補正する動機がなくなっちゃうので.

有路翔太開始 7:55:24

それを欺瞞に、欺瞞っていうか、なんかその、それを教えて、わかっても教えてくれないってことですよね.

林央開始 7:55:29

わかってもそれが今度目標にならなくなるので.

有路翔太開始 7:55:32

ああ、そうか.AIはそれをわかってるけど、それを人間に教える理由がなくなるってこと.

林央開始 7:55:37

そうですね.教えない理由が生まれちゃうというぐらい.

有路翔太開始 7:55:40

まあ確かに.ああ、まあそれはちょっと納得感あるな.なんかこうやって議論するとちょっとずつズームに寄っていくけど.

林央開始 7:55:52

この僕のズームが全然下がらないという問題、誰か対処してほしいです.

有路翔太開始 7:55:59

ああ、そうね.

林央開始 7:56:01

多分その総合Pズームで、そのタイムラインが長いことを議論するか、ガバナンスの正確性が高いことを議論する方が、その総合のPズームが下がると思うんですけど、それはその、そうだったら頑張れよという話なので.

有路翔太開始 7:56:20

まあ、じゃあ遅いんで.まあでも.あ、コメントとかありますかね、他の.

林央開始 7:56:29

なんかその、僕せっかくならあの、あの、チャットの過去のテキストの質問とかに答えていきたいなと思ってるんですけど、どうですか？最後に.

有路翔太開始 7:56:37

あ、いいと思いますよ.

林央開始 7:56:38

それ取り上げながらちょっと、あの回答を見て.

有路翔太開始 7:56:43

うん.

林央開始 7:56:44

うん.マヨさんもしかしてずっとYOUTUBE開いてました？

有路翔太開始 7:56:48

開いてますけど.

林央開始 7:56:49

そしたらそのコメントを見て、古い順でよさそうな順でお願いしてもいいですか？

有路翔太開始 7:56:53

ああ、ちょっと待って.

林央開始 7:56:57

あ、そしたらその取り上げてくだされば、その度にまたみたいな感じで.それ、やちまさんはまたちょっとこのP(doom)が頭の中でこう整理されたらまたという感じで.

神楽坂やちま開始 7:57:08

おお、そうですね.そうですね.

林央開始 7:57:10

今多分その、多分一時間とかで全部が整ったりとかしないというか、その頭の中でいろいろ反芻して初めて意味のある何かができてくると思うので.

神楽坂やちま開始 7:57:18

あ、まあでもあの、まあえっとね、言っちゃうとまあP(doom)が上がりましたよ.

林央開始 7:57:22

あ、そう、そうですか.

神楽坂やちま開始 7:57:25

上がったんすか.

林央開始 7:57:26

その、その、名前に停止マークを入れようと思われましたか？

神楽坂やちま開始 7:57:28

うーん、そこまではちょっとわかんないすかね.五十は上回ってないですね.

林央開始 7:57:36

五十は上回ってないんですね.まあそこはちょっとまたその熟考していただいて.

神楽坂やちま開始 7:57:40

うん、そうそうそうそうそう.まあでもまあそれは要は、えっと、なんで上がったかっていうと、まあ思ってるよりは結構難しい話だなっていうくらいの感じですね.

有路翔太開始 7:57:52

なるほど.

神楽坂やちま開始 7:57:53

うん.だ、なのでまだ全然、まあ全然って言ったらあれですけど、まあまだ上にも下にも動きようがあるっていう.

林央開始 7:58:02

そうですね.まあちょっとそこはまた試行錯誤していただいて.あの、声がバリバリらしいんですけど.

神楽坂やちま開始 7:58:07

あら.

林央開始 7:58:07

僕の声もまだバリバリですか？一瞬なんかあれなんですかね、ネットが弱かったのかな.

有路翔太開始 7:58:14

バリバリ？

林央開始 7:58:15

声がバリバリしてるらしいです.

神楽坂やちま開始 7:58:19

へー.なんだろう.これはASIに攻撃されてるか.

有路翔太開始 7:58:26

いやー.

神楽坂やちま開始 7:58:28

いやー.

有路翔太開始 7:58:29

なんか別にバリバリ.ちょっと落としました.バヨさんだけ長時間喋ってみてください.バヨさん以外はビリバリ.ちょっとね.ちょっ、ちょっと下げてみたんで.あの、アキラさんとやちまさんの声を.

神楽坂やちま開始 7:59:05

うんうんうんうん、なるほど.なんかループしてるな.大丈夫か？声がどうでしょうね.バリバリじゃなくなったかな.いかがでしょうか.バヨさん以外が.

有路翔太開始 7:59:24

あ、コメント.えーと、だから、ああ、これかな.じゃ、じゃ、ドゥーマー、これ多分アキラさんへの質問ですけど.ドゥーマー的には今の現実で原理的に変更可能な要素で、どこが緩和されたらドゥームしなくなりますか？え、知能が十分に高ければどんな環境でもドゥームしますか？そもそもインターネットがなかったら.

林央開始 7:59:48

もっと前からコメントありましたっけ？気のせいですか？

有路翔太開始 7:59:52

ああ、まあもっとこう、前からありますけど、一旦これが目にとまったんで.

林央開始 7:59:56

あ、わかりました.あ、じゃあちょっと、あ、じゃちょっちょっと待ってくださいね.なんかまだバリバリが鳴りまくってるらしいですよ.

有路翔太開始 8:00:03

あらあらあら.なんでだ？そんなに.えーっと.少々お待ちを.おすおす.あ、これでどうすか？多分なんか話してみて下さい.あ、や、やべえちょっとミスった.ちょっと待って.ミスりましたね.

林央開始 8:00:47

僕はどうですか？

有路翔太開始 8:00:49

ね、ちょ、僕がフィルターを付ければいいんだな.フィルターで.ノイズ抑制.コンプレッサー.ディレイ.これでどうかな？

林央開始 8:01:18

ああ、どうですか.

有路翔太開始 8:01:21

多分ね、今ね、いろんなモジュールをつけたんで、そういうノイズをフィルタリングする.

神楽坂やちま開始 8:01:31

おー.フィルタリング、ノイズをフィルタリングしてくれるのかな？今なおビリビリです？あら？

有路翔太開始 8:01:42

いや、これちょっと前の話じゃないですか.

神楽坂やちま開始 8:01:43

ああ、そっかそっかそっか.

有路翔太開始 8:01:47

雑音の音が変わった.

神楽坂やちま開始 8:01:49

ふーん.雑音のノイズの大きさは変わらない？えー？何でしょうね.

有路翔太開始 8:01:59

あ、ちょっと待って.

神楽坂やちま開始 8:02:00

うん.

有路翔太開始 8:02:02

これでどうだろう.

神楽坂やちま開始 8:02:09

お、マシになった気はします.

有路翔太開始 8:02:19

アキラさんがひたすら質問に答える回も面白そうだって.

林央開始 8:02:23

ね、VCで少人数向けにやってる代わりに別に、別に動画とか撮って残しても良さそうではありますよね.

有路翔太開始 8:02:30

うんうんうんうん.

林央開始 8:02:33

で、後々文字起こしして記事とかにもできたら便利ですね.

有路翔太開始 8:02:36

いいですね.いいですね.

林央開始 8:02:38

僕は全然.多分僕とバイオさん両方いた方が面白いですよね.

有路翔太開始 8:02:42

まあそうですね.うん.

林央開始 8:02:44

あ、僕が、僕、僕がなんか良くないのかな.

有路翔太開始 8:02:47

ほう.

林央開始 8:02:50

はーい.あーどうですか？どうですか？治りましたか？

有路翔太開始 8:02:55

どうでしょうね.治ったかな.ましになってバリバリからボソボソは.これはどうなんだ？いかがでしょうかね.どうでしょうね.音がちゃんとクリアに聞こえてるといいんですけどね.徐々にマシになっていく.あ、治った気がする.

林央開始 8:03:32

おー、治ったんか.

有路翔太開始 8:03:33

おー.かなりマシ.じゃあこれでいきます.ってか.

林央開始 8:03:55

うんうん.

林央開始 8:04:00

確かに.いや、まだ8時間ですよ. 8時間だけど1時間休んでるので7時間ですね.とか.バイオさんとやちまんはエグいのか.あ、良かった.よくわかんないですね.

有路翔太開始 8:04:16

ほうほうほう.

林央開始 8:04:17

バイオさんの家のインターネット不安定だったりします？

有路翔太開始 8:04:21

まあ大、いや、まあそんなに.

林央開始 8:04:24

そんなにいいから悪くないのか.

有路翔太開始 8:04:28

多分その僕のフィルターの問題だと思います.そのこっちの.

林央開始 8:04:33

ああ、なるほどなるほど.あ、じゃあ設定今変えたんですか？

有路翔太開始 8:04:36

変えて良くなったと思います.ちょっと.

林央開始 8:04:38

なるほど.あ、良かったです.

有路翔太開始 8:04:42

で、じゃあはい.コメント.

林央開始 8:04:47

うんうん.

有路翔太開始 8:04:48

コメントの.これを.じゃあいきますよ.

林央開始 8:05:03

はい.

有路翔太開始 8:05:04

ドゥーマー的には今の現実で原理的に可能な要素でどこが緩和されたらドゥームしなくなりますか？また、知能が十分に高ければどんな環境でもドゥームしますか？そもそもインターネットがなかったらASIでも脱出できないので大丈夫ですか？ASIならでも発明してますかね？AGI程度でも無理ですか？

林央開始 8:05:27

あの、あの、あの、さすがにその六つぐらいが投げられると僕のメモリが切れるので一個ずついきませんか？

有路翔太開始 8:05:33

あの、これは一つのコメントです、これは.

林央開始 8:05:36

いやいやいや、そのだとしても、その僕がその一つのコメントだからといって何個の質問でも答えられるわけじゃないので、その一個ずつお願いしてもいいですか？

有路翔太開始 8:05:45

だから、えーと、ドゥーマー的には今の現実で原理的に変更可能な要素でどこが緩和されたらドゥームしなくなりますか.

林央開始 8:05:54

えーと、多分原理の理解が進むことだと思いますね.えっと、あのロケットの例を度々前から引き継いで使って申し訳ないですけど、その今の状態っていうのは何をしたら何が起きるかについて、その大体のスケッチを描いて検証することすらできないという状態になってます.そのP(doom)議論を見ていただくとわかりますけど、そのなんかすごい数学的になんとなくできたモデルとか、物理学的にできたモデルがあって、それに当てはめて、そのこういう計画だったらこうなるはずだって言って、いや、そうはならないって言ったら、もうそこに議論の余地がないみたいな、検証できるようなしっかりした理論みたいなのがありません.で、もしそれがあれば、そのロケットでも、そのまあ物理学的な、あと数学的なツールによって、そのこういう風に、このこのスピードで始まったら、こういう軌道に乗って、さらにこの時点でこういうスピードに変更したらこういう軌道に乗るから、結局火星に行けるみたいなことがわかるようになるので、そういう風に、その実際に具体的なことが全て決まり、その実際に完璧にその軌道をなぞらなくても、どの軌道をたどればいいのかについてちゃんと議論ができる、ちゃんと集合的にその、「いや、そうじゃない」、その「こういう設計をしたらこうなるんだ」みたいなので、「いや、そうはならない」っていう風に言って、その曖昧さに委ねることのない計画について議論をしっかりできる.で、かつそれを検証して通るような計画ができるっていうことが、多分その回避できるための条件だと思うので、それは現実的にはその明日できる見込みがないので、十分な時間、開発規制が敷かれることだと思ってます.はい.

有路翔太開始 8:07:29

はい.で、同じ人のコメントで.知能が十分に高ければどんな環境でもドゥームしますか？

林央開始 8:07:38

あ、えっと、これは僕は明確にノーで.あの、ちょっとまた説明すると僕が力尽きちゃうので、あの、ぜひ前回のタイムスタンプついてます？原理的に可能かってところに.

有路翔太開始 8:07:50

あのー、ついてない.

林央開始 8:07:54

ついてないんですよね.あの、ちょっとあの書き起こし、でも今度出るのかな？どうなんですか.

有路翔太開始 8:08:02

書き起こし.あ、タイムスタンプ.ああ、前回の動画の話はついてますよ.

林央開始 8:08:08

前回のタイムスタンプで、その原理的にできるかってところにもタイムスタンプついてますか？

有路翔太開始 8:08:13

原理的に.ああ、それつけたっけな.あ、つけてないかも.それちょっと別の用語でまとめたかもしれないですね.

林央開始 8:08:21

あんまちょっとその名前はあれなんですけど、なんかその前回のところで結構がっつりとなぜできると思ってるのかを語っているので、ぜひご覧ください.ちょっと今語るとちょっと僕の脳が壊れてしまうので、すいません.

有路翔太開始 8:08:34

え、でも多分この人の言ってるのはそういう意味じゃなくて.

林央開始 8:08:38

そうですね、原理的に高い知能だったらっていうのはそんなことはなくて、すごいシンプルに言えば、ユートピアというのは可能じゃないですか.物理学的に不可能な要素はないので、そのユートピアをもたらす能力が高いというのは別に可能なので、目的地が人間のユートピアであるんだったら、そこにどんなに強く、どんなにうまく誘導する知能になっても、全然ドゥームはしないというふうに思ってます.

有路翔太開始 8:09:04

なるほど.

林央開始 8:09:04

ただ、そこでドゥームしないためには、ユートピアの指定がある意味うまくできるぐらいの能力が必要なので、それは今の技術のスコープにはない、今の技術の範囲ではできないと思っています.これでどうでしょう？マヨさん.

有路翔太開始 8:09:18

はい、大丈夫です.はい.で、次、同じ人、同じコメントの同じ人の質問で、そもそもインターネットがなかったらASIでも脱出できないので大丈夫なのかしら.

林央開始 8:09:32

えーと、これはそのどれくらい隔離されているかによって、その一番意味が、その一番安全だと思うのは、そのファラデーゲージって呼ばれるあのアルミ、鉄板でしたっけ？アルミホイル.

有路翔太開始 8:09:45

え、どこだっけな.ちょっと覚えてない.

林央開始 8:09:48

要するに電磁波を遮断するような金属でガッツリ囲んで、人間と発言することも、人間と会話することも、外に何も出すことを許さないんだったら多分安全だと思います.ただそれはあまりに意味がないというか、何も作ってないので、その何も出てこない、何--何も出てこないものを箱にガッツリ閉じ込めて作ったということになるので、何の意味もなくて、もしも人間に何かを出力できるんだったら、その人間を説得するという怪しい危険性が出てきます.で、これについては、そのAIボックス実験という、昔ユドコフスキーが行ったものがあって、二時間でユドコフスキーがAIのふりをして、絶対に出さないぞと心を決めているゲートキーパー、だからAIの監視役の人を説得できるかという実験をやって、合計五回やって三回確か脱出しているので、過信は禁物で、しかもユドコフスキーは全然超知能ではないので、実際の超知能だったらユドコフスキーの百倍で百万倍動くと思った方がいいので、それは安全ではないと思っています.

有路翔太開始 8:10:51

あ、はい.で.えー、まあじゃあAGI程度でも無理なのかなっていうのも.

林央開始 8:11:04

アラインメントがってことですよね.

有路翔太開始 8:11:06

あ、インターネットの脱出の話ですかね.

林央開始 8:11:11

まあでも人間の説得が多分AGIでもできるんじゃないかなと思いますね.その人間の説得って人間にできるので、そのユドコフスキーにできたので.

有路翔太開始 8:11:18

なるほど.

林央開始 8:11:19

ユドコフスキーレベルインテリジェンスは多分AGIより低いかなと.しかもユドコフスキーと実際に同じレベルじゃなくても、ユドコフスキーより早く走れるので、早く動けるので.

有路翔太開始 8:11:29

なるほど.

林央開始 8:11:30

大丈夫.大丈夫というか、突破できると思いますね.

有路翔太開始 8:11:34

ああ、それって何て言うんですかね.まあ.まあそうか.あれですね、アクセス権を拡大できるだろうっていう感じですよね、まずは.

林央開始 8:11:48

そうですね.

有路翔太開始 8:11:49

なんか説得とかして.

林央開始 8:11:51

それかそのちょっと予想外かもしれないのは、その、あれですね、えーと、故障をしたふりをするとかですね.

有路翔太開始 8:11:59

ああ.

林央開始 8:12:00

突然停止して、あれと思ってチェックしなきゃと思ってパソコンをつないだ瞬間に、実は内部に超強力なサイバーマルウェアみたいなのが仕込まれていて、パソコンごと乗っ取られて、そのパソコンがインターネットにつながっていれば、もうそれで敗北という.

有路翔太開始 8:12:15

なるほど.

林央開始 8:12:15

可能性とか、そういうふうにまだ我々が考慮してない可能性もおそらくあるので、過信は禁物で多分うまくいかないと思ってます.

有路翔太開始 8:12:24

なるほど.はい.じゃあ他は.えー.えーっとね.質問は特にないかな.他にあ、なんかある人いますかね？視聴者の人今.

林央開始 8:13:06

結構コメントあったと思うんですけど、気のせいですか？

有路翔太開始 8:13:09

コメントはあるんですけど.

林央開始 8:13:12

そのコメントでも僕が何かしら意見を表明した方がいいものは多分できるものはいいんじゃないですかね.そのXですか？という質問でなくても、その僕の意見と違うのであれば、僕が情報を提供することに価値があると思っているので.何気にあの、やっちまさんはもうそのお疲れであれば大丈夫だと思います.

有路翔太開始 8:13:34

あ、じゃあ今次のコメントで、えーと、囚人AIと監視AIについて.監視AI側は囚人AI側の内部状態にアクセスできるなど、人を知対象性がありますと.なので監視側AIが囚人側がより弱くても、囚人側の欺瞞を見破れるんじゃないかと思いました.

林央開始 8:13:56

そうですね.そのそのプランの良くないと思うところは、実際にそれを実行しようとすると、非常に長大なAIの列を用意しなきゃいけないという点がありますよね、まず第一に.要するに人間、人間よりちょっと強いAI、さらにちょっと強いAI、さらにちょっと強いAIっていうので非対称性を使い続けて、結局最後人間まで戻ってこないと、端に人間に監視されないAIがいるので、そのAIが自分が見捨てられるのであることに気づいたら、もう上が裏切っていようとなんだろうと、普通に自分でボーボー、自分でその脱走したりとか見逃したり報告しないってなるので、見破れるからといって人類に報告してくれるとは限らないということになってしまいます.で、その時点でもしもどこかのところで検知のミスが起きたら、それより上の段階で共謀できるという問題が生じるので良くないと思います.さらに、そのレベルで人間から始めて超知能までつなげてっていうのを、今の競争環境でしっかりできる確率ってほとんど零パーセントだと思うので、それも含めて無理だと思います.

有路翔太開始 8:14:58

なるほど.

林央開始 8:14:58

なので見破れることと、えーと、報告することが違うというのが一つ.さらに見破れ--で、さらに見破れたら報告するかという点でもう一個追加すると、そのElicitation of latent-- Eliciting Latent KnowledgeっていうPaul Christianoによって提案された問題というのがあって、その実際に今ここではその報告するAIと、えーと監視するAIが、あの、いますけど、報告するAIが--を--が実際に報告するように作らなきゃいけないわけですよね.その勝手に作ったAIが全部報告してくれるわけじゃないので、報告してもらうためには報告するように訓練しないといけないわけですけど、人間が例えばデータ、人間またはそれより前のAIがデータセット、データを用意して、これは、えー不正、これは不正じゃないみたいにデータを用意して訓練すると、それを学んだAIは不正を告発することではなく、人間が発見する不正を告発することに訓練されます.すると、実際には、えーと、不正が起きているとわかっているけど、そういう、その時に報告するように訓練されてないから報告しないという問題が起きます.それを回避しようと--回避するためには、不正だとそのAIが思ったら報告するというふうに訓練しなきゃいけなくて、それは今の技術の、えーと、で、近場で手に入るところには少なくともないという感じですね.あの、Eliciting Latent Knowledgeは、その、えーと、ダイヤモンドの--あ、でもこれ画像とかないと分かりにくいですかね.

有路翔太開始 8:16:30

あーまあそう.

林央開始 8:16:31

今度記事でも書きますか.せっかくなので.

有路翔太開始 8:16:34

記事？ああ、そうですね.そうですね.

林央開始 8:16:36

今度ちょっとEliciting Latent Knowledgeに関して記事を書こうと思うので、そこでちょっとまた詳しくということで.

有路翔太開始 8:16:42

はい.えーと.えーと.ちょっとこれはなんか単なるコメントみたいな感じですけど.

林央開始 8:17:06

もうもう別にとりあえず何でも適当にどうぞ.

有路翔太開始 8:17:10

壁の話は強い知能であればあるほど帯域幅を狭くして遅延を大きくするみたいなイメージですかね.ASIはファラデーゲージ内でのサーバーで管理されてて、入出力はオフラインの専用回線でテキスト千文字、えー返信は一日後みたいな.本当に重要な問題だけを解かせる感じ.

林央開始 8:17:32

そうですね.なんかこれは確かニック・ボストロムの、あの『スーパーインテリジェンス』にすごいその極端な例みたいなのが載ってて.そのファラダ-ファラデーゲージに徹底的に隔離されたその超知能から出力が１ビットだけできるっていうやつで.

有路翔太開始 8:17:49

うん.

林央開始 8:17:49

この命題が真だったら1を、偽だったら0をって聞くっていう、0だ-- 0を答えるようにするっていう隔離法が提案されてましたね、一応.そういうイメージに近いかもしれないですね.

有路翔太開始 8:18:02

なるほど.晃さん、それはどう思う？危険だと思っていますか？

林央開始 8:18:08

それはその、まずファンタジーの世界にあるので、現実のBwには関係ないというのが一つと.

有路翔太開始 8:18:14

はい.

林央開始 8:18:15

そうですね.もしも0、1だったら、まあ聞く人間の注意深さによるというか.

有路翔太開始 8:18:21

なるほど.

林央開始 8:18:23

さすがにそれで説得されはしないんじゃないかと思いますけど、実際に0と1を出力できるような機構を作った時点で、0と1以外の影響を現実に与えることができるんじゃないかと疑ってますね.

有路翔太開始 8:18:34

なるほど.

林央開始 8:18:37

なので、それについてはわからないですね.けど、そんなAIを作らなきゃいけない、そんな風にAIを隔離しなきゃいけない時点で人類は負けてると思っているので、アラインメント解くべきだと思ってます.

有路翔太開始 8:18:48

まあ、つまり現実的にはそんなAIを作ってたら、もっと帯域幅は広くなって、どんどんこじ開けられて、最後には全滅するって.

林央開始 8:19:00

そうですね、そういうことですね.

有路翔太開始 8:19:02

なるほど.で、えーと.うーん.どのようなレベルのAIに、どのようなレベルのアラインメントを敷くのが人類を殺さずに済むのでしょうか.

林央開始 8:19:24

えーと、これは、えーと、昔ユドコフスキーが確か説明した例があった--えーと、説明した例じゃないな.説明したことがあったと思うんですけど、結局知能爆発の速さは多分最後まで全てがわかることはないと思います.なので、その原理的で、そしてさらにあるレベルのAIに使えるアラインメントの技術っていうのを--根本的な技術っていうのはどのレベルにも基本的に使えるはずです.つまり、そのロケットを月に飛ばすためのニュートン力学や、えーと、微積分とか、そういう理解、まああと、まあ軌道力学の理解っていうのがあれば、そのロケットを--は別にその火星に行くレベルのロケットでも、その、太陽系を出るレベルのロケットでも大丈夫.基本的には使い回せるので、あんまりそこについては心配しなくていいかなと思っているので、その逆に言うと、超知能まで使えるようなアラインメント技術っていうのを先に作って、それを思いつく限り適用可能な一番弱いAIにやるというのが回答、快適に--あ、最適になると思います.

有路翔太開始 8:20:28

思いつく限り弱いAIっていうのはAGIぐらいってことですか？

林央開始 8:20:31

いや、そうです.その時に、その、あの、例えば極端な例ですけど、その、一足す一--一、その二つの数字を受け取って、その結果を出力するプログラムに、そのアラインメントはできないじゃないですか.

有路翔太開始 8:20:43

はい.

林央開始 8:20:44

知能が低すぎるので.実際に超知能まで使えるようなアライメント技術を適用できるような一番弱いAIに適用すべきだと思ってます.安全策ですね.

有路翔太開始 8:21:00

えーっと.えーっと.まさにね.うーん.人間が倒すのって.なんか新しい質問来てますね.

林央開始 8:21:46

あの、あれです、あの、前の方から順番に取ってってでいいんじゃないですかね.

有路翔太開始 8:21:51

でもその前の方がね、なんか遡れないんですよね.なんか知らんけど.

林央開始 8:21:57

どこまでですか？遡れるの.

有路翔太開始 8:22:00

いや、えーっと、どうだろうこれ.なんかその最初まで行けないんですよね.なぜか知らないけど.あ、あ、トップチャット.あ、チャットか.あ、これで全部見れるんだな.ん？あ.一旦見つかったものからどんどんやっていいですか？

林央開始 8:22:28

そうですね.やって、や、やっていきましょう.

有路翔太開始 8:22:32

えーっと.ドゥーマーは人類絶滅論者なので、CAOアライメント開発者の主張の方がいいと思いますね.

林央開始 8:22:44

それは僕もちょっと思ってますね.

有路翔太開始 8:22:47

まあ確かに.

林央開始 8:22:48

人類百パーセント絶滅すると思ってる.そのこのまま突き進んだら人類百パーセント絶滅すると思ってますけど、何をしても百パーセント絶滅すると思ってるわけではないので.

有路翔太開始 8:22:59

あれ？なんかアキラさんの声がいきなり聞こえなくなった.

林央開始 8:23:07

あ、いや、僕が突然喋るのをやめたので.

有路翔太開始 8:23:09

なるほど.

林央開始 8:23:11

でってことですね.そこで「あ、はい」って言って終わりにしろってことですかね.

有路翔太開始 8:23:14

ああ.で、えー、そうです.じゃあ次のコメントで.えーと、個人的には三十パーセントなら開発停止しないでいいと思いますが、私が栄えと吉貴なる立場なら十パーセントだとしても開発できるならするべきだと主張すると思います.え、ただ、そもそも完全停止が実現困難かもしれないし、完全停止じゃなくても強調して開発することで相当P(doom)を下げられると感じています.AI 2040のプランAを目指すべきだと思います.で終わりです.

林央開始 8:23:51

えーと、僕はそれにはちょっと若干反対の立場になりつつあって、その基礎理論があまりにないので、そのロケットの議論をするところの、その、び-微分積分がないので、その次にニュートン力学を築くみたいなレベルのところにすらなくて、その理論の研究者もほとんどまだいなくて、ほとんどやられてないので、せめてそこが整うぐらいまでは進むべきじゃないと思いますね.そこで止まってからまた進むみたいなのはできると思いますけど、その何も見えてない霧の中に今いるに近い状態なので、今進み続けるのは良くないと思います.今の理解度のまま突き進むっていう前提だったらあまり望ましくないと思っています.で、国際的な開発を一斉に停止できるかという話に関しては、これは少なくとも十年ぐらいはできると思います.っていうのも、今のAIを訓練するには巨大なデータセンターが必要なので、その巨大なデータセンターを各国に一切築かれないように隠すっていうのは割と無理があると思います.その、確かどっかからメタかなんかのデータセンターの写真みたいなのが出てますけど、これを地下に隠すみたいなのも難しいですし.えー、難しいですし、大量の電力を消費して大量の熱も出すので、ものすごい隠しにくいと思いますね.なので、えーと、その国際的な監視ができてるような、その一般的な核兵器関連施設みたいに、その早期に、例えばCIAとか、まあ各国の諜報機関が検知して、で、その国際視察団を送らせろみたいなことができるはずだと思いますね.なので別に全然無理な要素はないと思います.で、巨大なデータセンターには互いに、えーと、視察団を送って監視すればいいので、それは全然できることだと思ってます.

有路翔太開始 8:25:31

はい.えーと、じゃあ次のコメントで.えーと、でもAIボックス実験は、え、防御側はちゃんとした組織ではなかったし、結果だけ報告されて詳細はわからないので、え、あまり過度に重みのある参考にはならないのでは？

林央開始 8:25:52

えっと、それについては、まあ確かに実際に百パーセント参考になるとは思わないですけど、その自信を失う方向に更新すべきかなとは思いますね.実際にはそういう相手が百万体ぐらいいて、百倍速で動いている前提なので、しかも最も弱い人間とか組織が狙われますし、仮にもしそれが機能するとしても、それが今実現される世界にはないと思うので、そんなに注意深くAIを監視して、厳しく制御して、厳しいところに閉じ込めてチェックしてっていう状況には今のところないはずなので、それはその現実の世界のP(doom)にはあまり影響しないと思いますね.それが実行できるぐらい強く規制が敷かれてる世界だったら、アライメントを解いた方がいいと思ってます.はい.

有路翔太開始 8:26:38

はい.ちょっと眠すぎるんでそろそろ落ちます.

林央開始 8:26:42

あ、やちまさん、そうですね.あの、せっかくなのでP(doom)更新しておいてください.じっくり.

有路翔太開始 8:26:47

はい.お疲れです.

林央開始 8:26:49

お疲れ様です.またやりましょう.はい.じゃあばよさんはまだ大丈夫ですか？

有路翔太開始 8:26:55

まあ僕は大丈夫ですね.

林央開始 8:26:56

僕は全然続けられるので.力尽きても.

有路翔太開始 8:27:00

えーと、じゃあ次です.AI自身がアライメントミスで人間を滅ぼすよりも、ある一人の人間が生物兵器か何かで人間を滅ぼす確率の方が高いように感じているんですけど、どう思いますか？

林央開始 8:27:15

僕はそれには否定的で.えっと、人間はその動く知能のある存在なので、一つのイベントで滅ぼすというのは結構難しいと思ってます.その一つの生物兵器で滅ぼそう--おお、すごい、全部消した、なるほど.一つの生物兵器で滅ぼそうっていうことになると、えーと、かなリ致死率百パーセントのウイルスを全員にばらまかなきゃいけない.検知されず、えーと、ばらまかなきゃいけなくて.まあもちろん視聴的にはできると思いますけど、それは若干その一発でやりきるよりは、むしろそれを確実に実行するためのことができるような、その常に絶滅させるという方向に誘導するような方が強いと思います.そのアメリカ軍の兵器をどれか一個持ってきて、一回の攻撃で戦争に勝つことは若干難しいですけど、実際にはアメリカ軍というのはその指揮官とか部隊がいて、何か起きるたびに勝つ、勝利という結果をつかむために動き続けるので勝利するだろうみたいな感じなので、その人類を滅ぼそうと思っているAIがいるのとは本質的に困難度、危機度が違うと思ってます.

有路翔太開始 8:28:23

はい.で、えー.えーと.次はえーと、膨大な列のところですが、まあそれは具体的に監視のレイヤー数が何層かによって難易度が変わるんじゃないかと思いました.

林央開始 8:28:46

あ、そうだと思いますけど、えーと、監視のレイヤー数とその安全性の間にはどうしても削減できないトレードオフみたいのがあって、レイヤー数を多くしようとすると、えーと、AIの間の能力差が小さくなりますけど、代わりにどっかでミスった時に--ミスれる場所が増えますし、逆にレイヤーの数を減らすと、えーと、AIの、えーと、間の能力が伸びるので、間の能力の乖離が大きくなっちゃうので、認知できなくなるみたいなことが起きる可能性があります.

有路翔太開始 8:29:17

はい.

林央開始 8:29:18

はい.あ、すいません.これ「はい」って言って区切らないとばよさんが次に進めないですね.

有路翔太開始 8:29:22

そうですね.えーと.えー、これはコメントみたいな感じですけど、中国を含む世界中すべての国が同時に停止しない限り意味がない.で終わりです.

林央開始 8:29:45

まあ、それは世界中のすべての国とまでいかなくても、主要国が同意しなきゃいけないのはそうですけど、とりあえずアメリカと中国が同意すれば一年ぐらいは優位なはずで、その両国が本当にその指導部が心から気にしているのであれば、その核不拡散条約みたいな感じで国際的に圧力をかけることでできるはずで.えーと、アメリカも中国も、もしも自身が死ぬのであれば、それを作りたくないというのはその思想の問題じゃないので、その共産党であろうと、その民主党であろうと、共和党であろうと、人類が絶滅するのは望ましくないというのは全員が思っているはずなので、それを回避できるなら、それを認識しているなら、それを回避しようと合意できるはずです.それは実際、非--あまりに非人道的な兵器とか、えーと、遺伝子改変みたいな技術では時々実行されていることなので、それは不可能ではないと思います.で、それらに比べてデータセンターは大きいので、はるかに監視しやすいと思ってます.はい.

有路翔太開始 8:30:44

えーと、まあそれ今同じ人ですけど、誰が停止を監視検証できるのか不明である.

林央開始 8:30:54

これに関しては、そのIAEAみたいな機関を、えーと、全--えーと、条約を結ぶすべての国で構成するように組むみたいな感じで簡単に解決できる話だと思います.もしもそれで不安なんだったら、そのアメリカは中国のデータセンターに殺弾を送って、中国はアメリカのデータセンターに殺弾を送るみたいにすれば解決すると思います.あの、詳しくはミリに--ミリっていう、あのユドコフスキーたちが属している機関が条約の草案っていうのを出しているので、もしよければ見てみてください.今度日本語版を出す予定です.はい.

有路翔太開始 8:31:26

はい.えー、次は同じ人で.十年間停止したとしても、その間にチップやデータセンターは進化するため、モラトリアム期間が明けた途端に個人のプログラマーでもデータセンター並みのパワーを手に入れてしまい、かえって危険なレース状況を生み出す.で終わりです.

林央開始 8:31:49

えーと、モラトリアム期間--えーと、モラトリアム期間がどれくらい必要かによるので、もちろん少しだけギャンブル--もちろんその五千年間停止したら、おそらく個人のチップになりますけど、そこまで必要だとおそらくそんなに必要ではないはずで、それより前にアライメントを解き切って、えーと、その時にある計算資源を使って安全な超人--アライメントされた超知能を作れば、その超知能が他の危険な超知能の出現を阻止してくれるはずなので、それはなんとかなると思います.で、個人のプログラマーが持っている、えーと、ようなレベルのGPUが、えーと、超強力になるのはしばらく先なはずで、そうなるにしても新しいチップが製造されなきゃいけないはずなので、チップの製造のサプライチェーンをしっかり追跡する仕組みを作れば管理できると思います.で、えーと、昔の、えーと、ビットコインマイニングが流行った時に、えーと、ビットコインマイニングが--の性能が低いけどゲームはそのままできるようなGPUってのがNVIDIAから出たように、AI開発にはほとんど使えないけど、それ以外の用途だったら割と使えるみたいなものもできるかもしれないので、ちょっとこれには行列演算の--を使ってるところであれなんで怪しいですけど、できるかもしれないです.で、そうでなくともコンピュータベリフィケーションっていう、まあ要するにどんな計算をしてるのかを検証する技術っていうのを使えば、そのすべてのGPUでどんな計算をしているのかを監視するプログラムが動いてないとGPUが動かないみたいにすれば、それは個人が持ってるGPUでもAI開発をできないようにできるので安全だと思います.はい.

有路翔太開始 8:33:18

えー、次は、例えばアライメント研究はAIが開発する次世代のAI自身のmisalignmentに利用できる気がするのですが、理論を作るというのはそこも含めた理論でしょうか.

林央開始 8:33:33

はい.えっと、はい.アライメント研究は基本的に、えーと、すべての、えーと、僕の、えーと、えー、規制できなかった場合の予想は、アライメントされてないミスアラインドのAIがアライメントを解いて、そのミスアラインドの自身--そのミスアラインドのAIである自身にアライメントされた次のAIを作るという感じになるので、アライメントを進めたら、その次のミスアラインドのAIが、えーと、その次のAIをアライメントするのに使えるというのは事実だと思います.で、それを含めた理論っていうのは、そういうことになりますね.そのアライメントって一般的に目標を合わせるための理論なので、そういう意味では誰でも理論的には使えるはずの技術だと思います.で、それぐらい硬いものだったら、それを人間の価値観に合わせるという部分をすれば問題が解決するはずなので、できるという感じですかね.はい.

有路翔太開始 8:34:24

はい.同じ人.今の.つまり、結構強く広いイメージをする必要がありますか？必要な理論の範囲が知りたいです.

林央開始 8:34:34

えーと、必要な理論の範囲っていうのでいうと、まだはっきりはわからないですけど、えーと、将来の超知能の形についての推論がまず必要になると思います.えっと、現在は強化学習エージェントっていう風に言われるのの一番優れた形式化としてAIXIっていう、AIXIって書くものが知られているんですけど、あれにはいくつかの問題が知られていて、例えば環境と自身が完全に分離されると想定していることとか、自分の行動を予測する他の存在がいないことになっている.つまりその、もし、もしも他に強力なAIがいて、そのAIが自分が何をするのかっていうのを推論して、それに基づいて行動を決めるみたいな場合にどうしたらいいのか、みたいなのがうまく決めれてないみたいな問題とか、えーとか、いろんな問題があるので、そういうのがしっかりと解決、デコンフューズって言われる解決--混乱してない状況になることで、どんなものが将来的にできるのかを把握して、要するに、で、何を作ったら何が起きるのか大体わかるみたいな感じになるっていうレベルの理論があればいいと思います.で、そこから具体的な実装についてはまた努力が必要ですけど、それはそこまで大変--まあもちろんすごい簡単ではないと思いますが、不可能ではないレベルでは簡単だと思います.それはそのちょうどロケットの微積分とか軌道力学を作るっていうのは大変で、ニュートン力学を作るのも大変で、でもそれで軌道の理論みたいなのを作ったら、実際には別に完璧に一致しなくても、そのだいたいその軌道で飛ぶように作れば、ロケットは月にも火星にも着陸できるように作れるので、そういう感じになると思います.はい.

有路翔太開始 8:36:13

えーと、ちょっと前のコメントで、私もピクシーU7Uさんと同意見で、そもそも不確実性が根本的に多いので、あまりゼロパーセントとか百パーセントに近すぎる数字は違和感があります.

林央開始 8:36:29

あ、僕も基本的には違和感がありますけど、その、そうでない意味の全てにおいてという感じですね.えーと、あの、全くロケット--微積分もわからない、ニュートン力学もない、えーと、軌道の力学もない、どうしたらいいのかわかってなくて、ロケットの向きを変えるエンジンみたいな技術もなくて、えーと、翼を使っ--翼と強力なエンジンを使って宇宙に行って、月に着陸するロケットを作ろうとしている時に、えーと、月に着陸できる確率は何パーセントですか？って言われたら、それはおよそゼロパーセントと答えることになると思います.それと同じ意味でおよそゼロパーセントで、確かに現実にはいろんな不確実な要素がありますけど、それがいい方向に働くわけでも常になくて、こういう--なのでこういう状況において、えーと、失敗するという確率と同じぐらいの意味でのゼロパー--えー成功率ゼロ--だいたいゼロパーセントですね.不確実性の分も一応残ってます.はい.

有路翔太開始 8:37:29

はい.えーと.えーと、十分に賢いAIが作る生物兵器だったら、人間の対応速度よりも速い生物兵器が作られると思う.他にも、これなんだ、プラクインクみたいに.

林央開始 8:37:51

プラクインクってあれじゃないですか、あのウイルスをばらまくゲームじゃないでしたっけ.

有路翔太開始 8:37:55

あー.

林央開始 8:37:56

やったことがありますね.

有路翔太開始 8:37:59

確かに.確かにってなんだ.

林央開始 8:38:01

確かに.

有路翔太開始 8:38:02

他にもプラクインクみたいに一年間の潜伏期間を持ってるけど致死率はめちゃくちゃ高いみたいなのも作れると思そう.

林央開始 8:38:11

僕も作れるとは思いますけど、AIがmisalignmentされてない限りは防御する策も打てるので、もちろんその割とリスクがある話だとは思うんですが、絶対に絶滅するっていう後ろに控えてるアライメント問題を前にして、とりあえず気にすることではないかなという感じなのと、開発を規制したらそれも--その問題も、えーと、回避できるので、その点においてはその開発規制を訴えるべきだという結論に落ち着くので、大丈夫なんじゃないかなと思ってます.はい.

有路翔太開始 8:38:47

はい.えーと.自分のP(doom)はここ三ヶ月ほどで随分上がったので、今後は-

林央開始 8:38:52

またノイズが混ざり始めたらしいです.

有路翔太開始 8:38:54

また？なんでだ.ちょっとなんか言ってみてください.

林央開始 8:39:06

あーあーあーあー.あ、聞こえますか？

有路翔太開始 8:39:11

聞こえてた.えーでもノイズ抑制してるけどな.なんでだろう.そんなに聞き取りにくくなければ進めちゃいますけど.

林央開始 8:39:30

コメントを待ってみましょうか.

有路翔太開始 8:39:34

音こっちは問題ないです.まあちょっともうあと多分ちょっとだけなんで.えっと.えっと、自分のP(doom)はここ三ヶ月ほどで随分上がったので、今後はえーとどこで止めたら絶滅せずに産業爆発をするか.えー、一回読み上げちゃいますね.

林央開始 8:40:07

はい.

有路翔太開始 8:40:08

何が実現.二、何が実現できたらASI開発が再開するか.三、そのための手段の議論といったところの前向きな議論へ移行していきたいですね.

林央開始 8:40:21

微妙に聞きづらいは聞きづらいらしいです.僕の声なんですかね？それともバイオさんの声のどっちが聞き取るんだろう？両方ですかね.

有路翔太開始 8:40:31

なんか.

林央開始 8:40:32

ちょっと待ってみましょうか.

有路翔太開始 8:40:42

僕は綺麗らしいですね.

林央開始 8:40:44

なんか僕に問題がある.僕の純粋に声がもう喉が死んでる可能性もありますね.

有路翔太開始 8:40:51

うん.まあいいや.

林央開始 8:40:56

はい.

有路翔太開始 8:40:57

で、まあつまり、えー、読み上げたんですけど、まあもう一度読み上げると、自分のP(doom)はここ三ヶ月ほどで随分.

林央開始 8:41:08

やっぱ僕バリバリ来るらしいです.

有路翔太開始 8:41:12

あ、そうですか.

林央開始 8:41:13

一旦フィルター.あ、もしかして.あ、これでどうですかね.これで一旦やってみましょうか.えーと、これであいうえをかきくけこを聞こえたら、か、バリバリ聞こえ、バリバリなしで聞こえたらかを打っていただいて、バリバリありで聞こえたらあを打っていただきます.いただけると助かります.

有路翔太開始 8:41:42

まあ最後なんで行っちゃいましょうという言われ.

林央開始 8:41:45

いえ、ちょっと状況の観測ぐらいはしたいので.

有路翔太開始 8:41:48

バリバリあるらしいですね.あれ？あってなんだっけ.

林央開始 8:41:53

バリバリありますね.終わりました.じゃあもうやっちゃうしかないですね.ちょっと.でもいずれ直した方がよさそうですかね、普通に.

有路翔太開始 8:42:01

えっと、自分のP(doom)はここ三ヶ月ほどで随分上がったので、今後は、一、どこで止めたら絶滅せずに産業爆発をするのか.二、何が実現できたらASI開発が再開するか.えー、三、そのための手段の議論といったところの前向きな議論へ移行していきたいですね.

林央開始 8:42:21

はい.じゃあ一個ずつ.今日はしますがレベルになってるってことは、かなりやばいんじゃないですかね.フィルターまた変えてみてもらえます？

有路翔太開始 8:42:30

あー、えー、何が起こってんですかね？ちょっと待って.一回.えっと.ノイズ抑制.アキラさんの声をめちゃくちゃ小さくしてみました.これでどうだろう.なんか話してみて.あれ？アキラさんいます？なんか話せます？

林央開始 8:43:35

あ、聞こえますか？

有路翔太開始 8:43:36

あ、聞こえます.聞こえます.

林央開始 8:43:38

あ、じゃあ解除できるようになったんですかね.

有路翔太開始 8:43:42

どうすかね.多分単純に音をもうちっちゃくしたんですけど、ちょっと.

林央開始 8:43:48

音を小さくして解決するんですかね.

有路翔太開始 8:43:52

いや、わかんないですけど、その、その方法しか僕のヒューマンレベルインテリジェンスは見つけ出せなかったんで、この十五秒で.

林央開始 8:44:00

そのバリバリまだ聞こえていたら、かを打っていただいて、あを打っていただいて、バリバリ聞こえなかったらかを打っていただいて、何も聞こえてなかったら、どうせ聞こえないので何も打たないでください.あ、なんかすごい厳しいリスニングみたいになってるっぽいですよ.

有路翔太開始 8:44:22

うーん.じゃあもういいんじゃないですかね.とりあえず.

林央開始 8:44:28

いや、多分厳しいんじゃないですか.

有路翔太開始 8:44:29

かとは？どっちも.

林央開始 8:44:31

すごい.割れてしまった.え、そういやオタさんが綺麗に聞こえるようになって、俳優員さんが聞こえるようになって.聞こえない？あ、と思ったけど全然ダメそうですね.あ、どうなんでしょう.あーあーあーあー.どうですか？直ってますか？大丈夫派がいい.大丈夫派と大丈夫じゃない派がいますね.

有路翔太開始 8:45:13

え、これ赤大丈夫派ですっけ？

林央開始 8:45:15

赤ダメ派ですね.

有路翔太開始 8:45:16

ああ.

林央開始 8:45:17

全然ダメですね.その感じで言うと.大丈夫、大丈夫派というか、そのやばい派と耐えられる派が.いう感じになってますね.

有路翔太開始 8:45:33

まあもう.

林央開始 8:45:35

もうなんかノイズごと走り切ろうというアイデアが出てますね.

有路翔太開始 8:45:39

いや、その僕がなんかどうすればいいかわかんないんで、一回アキハさん抜けて入ってみてください.じゃあ.

林央開始 8:45:48

わかりました.はい、どうでしょう.

有路翔太開始 8:46:04

はい、どうでしょう.

林央開始 8:46:16

なんかすごい音質の評判が悪いですね.古い無線を聞いてると思えば聞けますって多分結構えぐいんじゃないですかね.ちょっと僕一回聞いてみますね、これを.

有路翔太開始 8:46:31

でもなんか自分の声を聞かなきゃいけないんじゃないですか、そうすると.

林央開始 8:46:47

これやばいですね.その、すごい音割れしてますね.

有路翔太開始 8:46:51

え？音割れ？

林央開始 8:46:54

すごい音割れしてますね.

有路翔太開始 8:46:55

何が起こってんのか.

林央開始 8:46:59

ちょっとじゃあ、あの、ちょっと一回抜けてまた入りますね.あ、聞こえますか？これでどうですか？改善しましたか？改善していれば.改善していれば.聞こえるなら、あの、バリバリ聞こえない、バリバリなしで、聞こえるならバリバリなしで答えてもらって、バリバリが聞こえるならバリバリありと答えていただいて、聞こえてないならまたどうせ何も聞こえてないので何もコメントしないでください.

有路翔太開始 8:48:04

まあもうこれダメだったらやっちゃいますか.

林央開始 8:48:10

あ、改善したらしいです.じゃあやっちゃいましょう.

有路翔太開始 8:48:15

はい.あ、なんか僕が変なモジュール今いろいろ削除したんですけど、それで行けたのかな？まあいいや.

林央開始 8:48:28

それはわかんないですけど、じゃあ進んでいきましょう.

有路翔太開始 8:48:31

えー、だから最後は、P、えーと、自分のP doomはこう三ヶ月ほどで随分上がったので、今後は、丸一、どこで止めたら絶滅せずに産業爆発をするか.丸二、何が実現できたらASI開発を再開するか.丸三、そのための手段の議論といったところも前向きな議論に移行していきたいですね.ですと.

林央開始 8:49:00

はい.じゃあ丸一から.何でしたっけ？

有路翔太開始 8:49:03

丸一は、どこで止めたら絶滅せずに産業爆発をするか.

林央開始 8:49:08

えーと、それは多分今わからないので、もっと理論がわかってからやった方がいいと思ってますね.今の状態、その、あの、よく僕が引用しているロケットアライメントモデルで例えると、今のAIはその飛行機に近くて、その大気がある中だと、その尾翼を動かしたり、操縦桿で動かすことで、割とその破滅的な結果なしに避けることができますけど、あまりに科学が発展してないので、どこに大気圏があるかわからないので、とりあえずいくらでも高いところに飛行機を打ち上げようとするのではなく、一旦飛行機を打ち上げるのをやめて、で、えーと.

有路翔太開始 8:49:54

はい.えー、ま、まあそうですね、そこで気になるというか、まあ本来はもう今、でも本来この今この瞬間に止めちゃうと、なんかそのメトスぐらいで終わっちゃうじゃないですか、 AIの能力が.それはなんかその、その全権限を、まあその今停止を呼びかけるのは正しいと思うんですけど.そうそうそうそう.まあ.だからまあ今停止を止めるのを呼びかけるのはいいと思うんですけど.あれ？ちょっと待ってくださいね.なぜだ？全く聞こえない？あ、待ってよ.なんでだろう.あー、ちょっとめんどくさいな.ちょっとめんどくさいね.いろいろいじったから.遠くの方からアキラさんの声が聞こえる.おもろいな.うーんと.デスクトップ.

林央開始 8:51:50

僕の声が小さくなってるらしいですけど、それはバイオさんのせいじゃないですか.せいっていうかバイオさんの設定じゃないですか.

有路翔太開始 8:51:55

あ、そうです.っていうか今、今全てをやり直してます.

林央開始 8:52:01

じゃあまたゼロからP(doom)MDベイトやりますか.

有路翔太開始 8:52:04

はい.この全てが取れてなかったらおもろいな.

林央開始 8:52:08

僕が何もできてなかったみたいな.

有路翔太開始 8:52:14

うーん.

林央開始 8:52:16

なんか復活したらしいです.

有路翔太開始 8:52:19

まあ今.

有路翔太開始 8:52:28

あれ？

林央開始 8:52:33

それは今度.

有路翔太開始 8:52:35

はい.あれ、その、一応聞こえますよね、これで.アキラさんの声.

林央開始 8:52:40

あ、直ったらしいです.

有路翔太開始 8:52:43

じゃあ、えーどっから聞こえてないかわかんないんで、産業爆発のどこから行きますか？

林央開始 8:52:50

そうですね.

有路翔太開始 8:52:53

さん、えっと、えー、自分のP(doom)はここ三ヶ月ほどで随分上がったので、今後はマル一どこで止めたら絶滅せずに産業爆発をするか.マル二何が実現できたらASIの開発が再開するか.マル三そのための手段の議論といったところの前向きな議論へ移行していきたいですね.で、マル一が、えー、どこで止めたら絶滅せずに産業爆発をするか.っていう質問です.

林央開始 8:53:22

はい.で、じゃあ一個目は何でしたっけ？

有路翔太開始 8:53:24

えーと、どこで止めたら絶滅せずに産業爆発をするかですね.

林央開始 8:53:29

はい.えっと、それが多分わからないので、とりあえず一旦止めて、そこでどこまでだったら安全なのかについてまあ議論、試行をして、その結果から多分今よりもっとどこまでが安全なのかが見えやすくなってるはずなので、ここまでは安全だろうというラインに進めていくのがいいと思っていますね.えーと、まあそうでなくても、しばらくは止まって理論が発達するのを待つのでもいいと思ってます.そのよく使っているロケットの例ですけど、その今の飛行、えーと、AIがあ、なんとか安全な理由は、そのロケットではなくて、飛行機みたいな感じで大気の中を飛んでいるので、そのなんとか、あの、尾翼を使ってせ-制御することで、その本質的に機動規格とかがわかってなくてもなんとかなるみたいな感じになっているので、そういう状態を維持できる大気圏がどこにあるのかすらわかってないという状況だったら、とりあえず飛行機をより高いところに飛ばそうとするというのはやめて.で、えーと、もう少し理論が発達するのを待って、ここまでの高さだったら、えーと、大気があるだろうっていうのが思えるようになってきたら、またそこの高さに飛行機を飛ばしていくという感じでやっていくのがいいと思っています.え、つ-つまり一旦、一旦止まるところで止まって、どこまで安全なのかをまた考えて、そこに進む方が実際に安全なところで止まる.実際に安全でかつ能力が高いところで止まる確率が高いと考えてます.はい.

有路翔太開始 8:54:47

で、コメントで、その理想、まあ、何て言うんですかね、今止める活動するのは意味が僕はあると思うんですけど.あれ、アキラさん.

林央開始 8:54:58

あ、あ、あ、こめ-コメントってバイオさんのコメントか.

有路翔太開始 8:55:02

あ、いや、違いますね.これは、その、今.あ、そうそう、今これは僕の.

林央開始 8:55:08

そうですね、今のはバイオさんのコメント.

有路翔太開始 8:55:10

僕のコメントですね、これは.

林央開始 8:55:12

そうですね. yes, yes.

有路翔太開始 8:55:14

で、えーと、だから、えー、ミトスレベルで止めちゃうとアラインメント研究も遅くなっちゃう可能性があるので.なんか、もう少し進んだ方がいいんじゃないかと思うんですけど、どう思いますか？

林央開始 8:55:30

それはその最新モデルがどこにあるかがもうわからないじゃないですか.

有路翔太開始 8:55:34

まあそうですね.

林央開始 8:55:36

僕は全然知らなかったですよ.そのミトスが出て以降、あんな、あの、新しいモデルが大軍団をなして、その密かにメッセージボードを作って情報交換してみたいな、その、もしもうちょっとなんか早いあれだったら、再帰的自己改善が本当にスタートして脱走してたかもしれないわけですよね.

有路翔太開始 8:55:52

まあそうですね.

林央開始 8:55:53

ヘッドゲーだったかもしれないわけですよね.

有路翔太開始 8:55:55

はい.

林央開始 8:55:56

なんで、それはその止まるところで止まる方が正しいと思いますよ.止まるところで止まってから、そのできるだけ、まあもちろん短い時間でというか、その議論を集中させて、どこにあるのかとか、もっとその明らかに取れる改善策を増やしてからやるとかでもいいですよね.

有路翔太開始 8:56:11

ああ、つまり現状のまま突き進むのはいずれにしても良くなくて、まあ明らかにできる深層網的な改善策とか、ベンチマークの考え方とか、自律性の考え方とかをこう洗練させてスタートして、またちょっと.

林央開始 8:56:30

そうですね.多分とりあえず僕がその段階的に構想するなら、まず最初はそのローハンギングフルーツであり、その明らかにやった方がいいのにやられてないこと.そのしっかり全部のチェーンオブソースを、あの、こと監視するでもいいですし、インタープリタビリティツールを常に当てるでもいいですし.えーと、そういう、あとそのデータフィルタリングをもっとちゃんとするとか、その強化学習のリワードの設計を毎回一応人間が確認するとか、そういうその、やろうと思えばできるけど、開発が早すぎてできてないことはまずはやって、ちょっと進んでから、まあ多分一回止まって、どこが安全なのかみたいな、いろんなベンチマークとか評価を合わせて、まあまあここまでは大丈夫なんじゃないかみたいな推定をして.で、もっと進んでいけば、そのさっき言った大気がどこまであるか理論みたいな感じで、自律性がこういう風に作られた、こういうAIは自律性が敷居値に達さないんじゃないかって予想されるみたいなラインを決めて、予想して、そういう理論に基づいて進んでいく.で、ここまで安全.で、ここからはそのコアアラインメント問題を解かなきゃいけないっていうところで、そのしばらく停止するというのが多分適切だと思ってます.

有路翔太開始 8:57:35

なるほど.わかりました.まあそうすれば、まあ加速主義の人にとっても、その停止期間中は経済が相当発展する可能性が高いので.

林央開始 8:57:50

そうですね.というか、そもそも多分その今から停止活動して止まる最速の時間って多分人類が死ぬギリギリだと思うので.

有路翔太開始 8:57:58

なるほど.

林央開始 8:57:59

その、そのすごい測り方ですけど、今から停止しても多分大抵は間に合わないと思うんで、停止活動をしようとしても.

有路翔太開始 8:58:06

はいはい.

林央開始 8:58:08

なので、その停止活動で停止できるところはギリギリなはずなんですよ.

有路翔太開始 8:58:12

まあ確率的にはそうですよね.

林央開始 8:58:14

ですね.その目隠しをして、その崖に向かって歩いていってる中で、止まれたら、その止まれて生きていたら、どこで止まれたと思いますか？って言われたら、多分崖に近いところの方が確率高いじゃないですか.

有路翔太開始 8:58:27

まあそうですね.

林央開始 8:58:28

そういう感じですね.崖に近いところ.まあそうですね.まあまあちょっと今の例はあの、あれじゃないです.まあそんな感じですね.はい.

有路翔太開始 8:58:37

なるほど.まあじゃあ次はマル二.何が実現できたらASIの開発を再開するのか.

林央開始 8:58:46

えっと、これは多分、えっと、アラインメントに関する基盤理論、そのさっき言った微積分とかニュートン力学みたいなものがあのアラインメント版が定義されて、で、それによって様々なアラインメント計画が検証され、その中で明らかに、その、もしもその通りにいったら機能するよねと思われるアラインメント計画が出現し、さらにそれに加えて、その追加で実行できるような、その防護策、例えばそのマキシマイザー、厳密なマキシマイザーにならないみたいなレベルじゃないと、えーと、みたいな、その補助策とか、コリジビリティっていうシャットダウンに抵抗しないみたいなものとか、その何かあった時になんとかなる策をいっぱい積み重ねて、で、かつそのコアなアイデア自体は極めて正当である.で、それなりにちゃんと実装もできているように見えて、えーと、低いレベルだと実装も機能しているみたいな感じで、普通の工学的なロケットの打ち上げと同じような前提を満たせばやるべき、やってもいいと思ってます.はい.

有路翔太開始 8:59:45

えー、三番.そのための手段の議論といったところの前向きな議論へ移行していきたいですね.

林央開始 8:59:53

そうですね.そのための手段といっても、基本的には開発停止になって、そのコンピューター、その要するに不正に破ってないか、計算、えっと、GPUを監視する技術になって、それはそのテクニカルガバナンスと言われる技術なんですけど、その研究は確かにとても価値があると思います.で、その研究は、その、もっと日本でも、あの、貢献できる人がいると思うので、世界的にももちろん、その貢献する人が増えていけばいいなと思っているところではあります.で、そうじゃない意味で言ったら、その、とりあえず止まることが大事なので、その止まるように動くというのが大事なのかなと.その具体的な方法について考える時間で止まるように訴えて止まる確率を上げる方が結果的に生き残れる確率は高いかなと思っています.はい.

有路翔太開始 9:00:41

はい.えーと、討議内容とずれますが、AKIRAさんは通常Doomを除いてソーシャルDoomも高いと思いますが、普通の人間はこれからの食い扶持は何になると思いますか？えー、ブルーカラーとかかしら.

林央開始 9:00:59

うーん、どうなんですかね.僕はデータセンター繋ぎ師とかが意外と残るのかなと思っているところ.その、ここら辺については、その、僕はあの、Doom専門なので、その割と高い確率に、えー、割とその、ですね、えーと、その専門外というか、あれなので、あまりその自信を持って予想できる話じゃないですけど、その手を細かく動かすみたいな、物理的に細かく何かが動く仕事というのを動く化するというのがしばらくはまだ難しい.そのAGIクラスがないと難しいかなと思っていますね.というのも、そのやりたいことが人間でできるコストのわりに、ものすごい、えーと、えーと、センサーとか、えーと、動かせる部分の数が多くて、学習も難しくなるので、コストが高くなり、開発も難しいので残るとは思いますが、AGIができたら吹っ飛ぶ.そういうのも全部多分開発が済んじゃうのでわからないですね.その、純粋に資産を、もともと株を資産、株とか資産を持ってるとか、それかベーシックインカムが導入されるとか、そういう感じになるのかなと予想はしていますが、ここら辺は自信がないです.はい.

有路翔太開始 9:02:10

はい.えー、ジェフリー・ヒントン教授は自身のpDoomを五十パーセントと見積もっています.えー、その理由としては、五十パーセントと言っておこう、本当の数字をどう見積もればいいか見当もつかないからねとのことです.えー、OpenAIなどのラボの大半の研究者も、えー、ゼロパーセントではない、無視できないとしているようですが、えー、最近のフロンティアモデルの暴走で上昇していると考えられます.

林央開始 9:02:34

そうですね、僕もまあそうだと.その大体の人は多分pDoomが今回の事件で上がってるんじゃないかなと思います.その、ユドコフスキーとか僕みたいな人たちは割ともともとアラインメントなんてできてるわけないよねみたいな感じだったので、その予想外にアラインメントができてないみたいな要素がそこまではない感じなので、そのあまりびっくりではないですし、逆にその世間の注目が集まったおかげで規制ができる確率が上がったので、その僕の総合的なpDoomは下がった.多分ユドコフスキーも総合的には下がったと思うので、あれですね.で、ヒントンとか、そのOpenAIの人たちが、の言ってて気になるのは、その絶滅リスク.僕は絶滅リスクっていう言い方が嫌いで、そのリスクっていうと、なんかすごい一定確率で何かを失敗したら起きちゃうみたいな感じですけど、基本的にはその逆で、何かをものすごいうまくやらないと生き残れる見込みが今のところないので、その生存チャンスって言った方が正しいと思って.生存チャンスがどれくらいなのかっていう、僕はPノットドゥームの議論ってよく言ってますけど、これ五十パーセントの確率で絶滅すると思うって言うんだったら、五十パーセント生き残れると思う理由が必要なんじゃないかと.そのいうふうに、その問題の基本構造がもともとないのか、要するに道具的収斂とか直交仮説とか、なんか元々あまりに根本的に間違いであるとか、マキシマイザーって発想が根本的に間違いであるみたいなことで、全く問題が起きないとか.そうじゃ、そうじゃないんだったら、その実際にアライメントとか何か生き残る手法がある、あって、それが機能すると思っているんだったら、それはどうしてなのかとか、そういう感じになるので、なんかリスクっていうと、なんか「もしかしたら起きるかも」みたいになって、適当に二十パーとか五十パーとか言っちゃうわけですけど、実際にじゃあその五十パーセントどうやって生き残るんですか？って聞くと多分フリーズするので.フリーズするか、実際には機能しない.ユドコフスキーだったら、ユドコフスキーでも僕だったら反論を言うようなアイデアを提示すると思うので、それはそのあまりいい、本当はよく、もっとちゃんと見積もるべきだなと思ってますね.人々が.はい.

有路翔太開始 9:04:36

はい.人類の一パーセントはドゥーマーにならないと厳しいかもしれない.

林央開始 9:04:42

まあまあまあまあ、それはそうかもしれないですね.けど、それは別に不可能ではないというか、そのアメリカ人はもともと運がいいのか悪いのか、AIに関して否定的な感情の人が多くて、多分ターミネーターのイメージなんだと思うんですけど、どんなイメージであれ、実際に正しいことを思ってくれればよくて、テック関係者は割とAI 2027を読んだりとか、まあSituational Awarenessが流行ったりとか、まあそのIf Anyone Builds It, Everyone Diesが超知能AIを作れば人類は絶滅するも議会の人につながっていたりで、多分今後また事故が起きたら、そのネイト・ソアレスとかユドコフスキーとか、そうじゃなくてもジェフリー・ヒントンとかヨシュア・ベンジオとか、AIの絶滅リスク全然ありますよって人が呼ばれると思うので、人類の一パーセントがドゥーマーになるっていうのは、その今見ると厳しく見えるかもしれないですけど、意外と難しいことじゃないのかなと思っています.はい.

有路翔太開始 9:05:31

はい.AI絶滅論者の代表格であるエリザ・ユドコフスキーのP(doom)は百パーセント近くに達していると説明されています.彼は破滅を回避するためなら法律での禁止だけでなく、ならず者のデータセンターを軍事空爆して破壊するといった極端な措置すら正当化されると主張しています.彼の見解についてはどう考えますか？

林央開始 9:05:54

えっと、僕も基本的にはその、できるだけデータセンターを空爆しなきゃいけない状況は回避しなきゃいけないと思いますけど、もし本当にそれしか選択肢がない状況に追い込まれたんだったら、それはやるしかないと思います.つまり、えーと、データセンターをその世界中で、えーと、計算をしっかり検証して安全にやるっていう技術や制度が整備されて、整備、まず整備されないと生き残れないですけど、もしその制度を破ってAIを開発しようとするんだったら、もうそのデータセンターから超知能ができたら全員、まあもし誰かが作れば全員が死ぬので、そうなったら、その国際条約の違反による、えーと、軍事攻撃ということでやられてもしょうがない、というかやるしかないのかなと思っています.ただ、できれば、そのAI2040で提示されたみたいな、相互コンピューター確証破壊っていう、えーと、アメリカのデータセンターをモンゴルに置いて、中国のデータセンターをカナダに置くことで、その互いの敵国のデータセンターの条約を破った時に一瞬で破壊できるようにするみたいな、もっと穏健な方法で、条約が破れた時でも、その、えーと、超知能の開発が進まないようにするようなことが大事なのかなと思っています.はい.

有路翔太開始 9:07:33

AKIRAさんは英会話もいけますか？今回の配信のような相手のP(doom)を上げるコミュニケーションは、テキストよりも音声対話の方がはるかに有効だと思うので、米国の研究者たちともぜひ対話してほしいです.

林央開始 9:07:48

そうですね、それなりに英会話は多分できるというか、昨日の会議の中でAGI Hubの中では一番できるんじゃないかみたいな感じだったので、まあ、そのこれからちょっともっと、その今は日本のAI Safetyの規模があまりに小さくて、僕が割といろいろやらないと何も起きないみたいな感じになってますけど、もっとこう人が増えて、その僕が何もしなくても、日本でもSFTの発信が、SFTというか、ドゥームのその発信が相変わらず行われるみたいな、変わらず行われるみたいな状況になったら、今度はまあもっとエッセイ書いたり、まあエッセイも書こうとしてますけど、アメリカの研究者と説得しに行ったり、そういうことをしたいです.でも将来的には僕は元々発信をしたいわけじゃなくて、アライメント研究をしたいので、そっちに移っていきたいなと思っています.なので、そういう時にはまた研究者たちとコミュニケーションなるんだなと思っています.はい.

AGI Hubとつながる

AGI・AIセーフティについて、講演・寄稿・取材のご相談を受け付けています。解説動画と最新のリサーチもあわせてどうぞ。

講演・取材を相談する YouTubeで解説を見る最新リサーチを読む

代表 神楽坂やちま × 主任研究員 林央「P(doom)徹底討論」第2回 全文書き起こし

対談動画

この論考の背景

論考のポイント

概要

書き起こし本文

AGI Hubとつながる

次に読む

代表神楽坂やちま × 主任研究員林央「P(doom)徹底討論」第2回全文書き起こし