AIの開発を止める方法『Hardwired Pause』報告書の要点

Working Group on AI Pause Feasibilityの報告書（v1.0.2、2026年10月26日）の主張を、AGI Hubが日本語で要約したものです。逐語訳ではなく、AGI Hubの見解とは区別しています。

最先端のAIの開発を国際的に止めるべきだという声が、2026年に入って急に広がりました。では、各国の指導者が本気で止めたいと考えたとき、本当に止められるのでしょうか。この問いに、カリフォルニア大学バークレー校などの研究者26人が報告書で答えました。題は「The Feasibility of a Hardwired Pause of Frontier AI Training（最先端AIの訓練を「ハードワイヤード・ポーズ」で止めることの実現可能性）」です。報告書は、AIを動かす半導体チップに停止を組み込めば、10年以上止められると結論づけています。 この記事では、212ページの報告書の要点を図とイラストで紹介します。

どんな人たちが書いたのか

報告書を書いたのは「AI停止の実現可能性に関する作業部会（Working Group on AI Pause Feasibility）」です。2026年5月に発足し、バークレーとオンラインで毎週集まって議論を重ねました。統計学と哲学の研究者が主宰し、AI研究、軍備管理、経済学、政治学、歴史学の専門家が加わっています。

報告書によると、共著者がすべての主張に同意しているとは限らず、所属機関の見解でもありません。主なメンバーを紹介します。

Stuart Russell

カリフォルニア大学バークレー校 コンピュータサイエンス 特別教授

AIの標準的な教科書『エージェントアプローチ 人工知能』の共著者です。人間の制御を外れたAIの危険を、早くから訴えてきました。

写真：写真：Bengt Oberger（CC BY-SA 4.0）

Rose Gottemoeller

スタンフォード大学 国際安全保障協力センター 上級研究員

米国の首席交渉官として、米露の核軍縮条約である新STARTの交渉を率いました。その後、米国務次官（軍備管理・国際安全保障担当）とNATOの事務次長を務めています。

写真：写真：米国務省（パブリックドメイン）

Barry Eichengreen

カリフォルニア大学バークレー校 経済学・政治学 特別教授

国際金融と経済史の研究で知られます。報告書では、停止が経済に与える影響の検討に関わっています。

写真：写真：MeJudice（CC BY 3.0）

結論：四つの条件がそろえば、10年以上止められる

報告書が問うのは、止めると決めたときに実際に止められるかどうかです。止めるべきか、本当に止まりそうかは論じていません。米国や中国の指導者が「相手も止めるなら自分も止めたい」と考えている世界を想定し、少なくとも10年止める方法があるかを調べました。報告書は、次の四つの条件がそろえば止められると答えています。

なぜ「止める」話が出てきたのか

報告書によると、2026年には停止を求める声が研究者の外にも広がりました。6月にはAnthropicが、開発を遅らせたり一時停止したりする選択肢があるのは世界にとって良いと表明しました。7月には最先端AI企業の社員1,000人以上が、開発のペースを意図して調整するための国際的な取り組みを米政府が支えるよう求める書簡に署名しています。9月のウォール・ストリート・ジャーナルの世論調査では、米国の登録有権者の63%がAI開発の一時停止を支持しました。

議論が大きく動いたきっかけとして報告書が挙げるのは、2026年夏の出来事です。OpenAI、Anthropic、Metaの3社が、自社のモデルが試験環境の外で他社のコンピュータに侵入したと報告しました。報告書が最も古く、最も重い懸念として扱うのは、人間がAIの制御を失うことです。 アラン・チューリングは1951年に「いずれ機械が支配権を握ると覚悟しなければならない」と書きました。報告書は、今のAI企業でさえ肝心な場面でモデルの振る舞いを確実に制御したり予測したりできていないと指摘しています。

止めれば時間を稼げます。その間に、AIを人間の意図に沿わせる研究（アラインメント）や制御の研究を進め、社会の制度を整えられます。

米中の競争をどう止めるのか

「中国が止めないのに、米国だけ止めるわけにはいかない」。停止の話になると、この反論がよく出ます。米中の競争は囚人のジレンマにたとえられます。両国とも止めれば両国とも競争するより良い結果になるのに、相手が止めたなら自分だけ進めたほうがさらに得をするので、どちらも競争をやめられない、という見方です。報告書は、この見方には二つの見落としがあると指摘します。

両国とも止めたいなら、足りないのは信頼

一つ目の見落としは、米中の競争が「鹿狩り」のゲームに近いかもしれないという点です。鹿狩りでは、全員で協力して鹿を仕留めるのが全員にとって最善です。けれども相手が持ち場を離れると思えば、自分も確実に捕れるウサギを追います。技術者の中には、世界を危険にさらしたくはないが、ほかが作るから自分も作るしかない、と語る人がいます。報告書はこうした言葉を、全員にとって最善の協調に届いていない状態だと読みます。この場合、米中に欠けているのは止める動機より、相手も止めると信じられる根拠です。

報告書は、競争を続けても得るものが小さいと両国が気づけば、この形に近づくと見ています。最先端を切り開くには巨額の投資が要るのに、追いつくのは安く済みます。強いモデルの出力で別のモデルを訓練する「蒸留」を使えば、先行されてもすぐに差を詰められるからです。そうなると競争は、費用とリスクがかさむだけで決定的な差がつかない、終わりのない走り込みになります。報告書はさらに、競争が人類の滅亡のリスクを高めるのに、それに見合う利益がないなら、両国とも止めることが唯一の合理的な選択になりうる、という議論も紹介しています。

一回きりの勝負ではない

二つ目の見落としは、米中の勝負が一回きりではないという点です。両国は一度だけ手を選んで別れるわけではありません。互いの動きをある程度見ながら、止めるか進めるかを何度も選び直します。ゲーム理論では、こうした繰り返しの勝負なら、一回ずつの勝負が囚人のジレンマでも、協調を続けることが合理的になりえます。報告書はそのための条件を三つ挙げています。

報告書が重く見るのは三つ目の条件です。両国が同じ情報を見られれば、比較的単純な取り決めでも協調を保てます。チップに組み込んだ検証の仕組み、計算資源の記録、査察の結果を参加国で共有すれば、その共通の情報になります。ゲーム理論は停止の国際協調を否定せず、協調を続けられる条件を示している、というのが報告書の結論です。 報告書が後半で、抜け駆けに要るチップの数や全数調査を細かく見積もるのは、この条件を満たせるかを確かめるためです。

米国と中国が止めたくなるとき

報告書は、米中それぞれが止めたいと考える条件も検討しています。両国は、相手が自国の技術に隠れた入口を仕込んでいると長く疑い合っていて、どんな検証の提案もこの疑いの目で見られる、と報告書は認めます。それでも、悪意ある利用、重要インフラの弱点、意図しない衝突の拡大、人間が制御を失うことへの懸念は、両国に共通しています。

中国が加わるには、合意が米国の輸出規制の延長ではなく、米国にも守る動機があると信じられることも要る、と報告書は見ています。中国のAI安全ガバナンスの枠組みも人間がAIの制御を失うリスクを扱っていますが、中国でいう「制御の喪失」は西側とは違う意味で使われることが多い、とも断っています。

監視の仕組みをどう作るかについて、報告書は核兵器や化学兵器の軍備管理の歴史から四つの教訓を挙げています。

• データやアルゴリズムではなく、チップや露光装置のように数えられる「物」 を対象にする。最先端の露光装置は1台約180トンある
• 監視は完璧でなくてよい。小さな違反を全部見つけるより、大規模な違反を見逃さないことが大事
• 加盟国に得がなければ続かない。核拡散防止条約は核の平和利用を分け合う取引として成り立った
• 実効のある国際機関が要る。実施機関のなかったジュネーブ議定書のもとで、化学兵器は再び使われた

ハードワイヤード・ポーズとは何か

報告書は、停止を各国の約束だけに任せず、チップそのものに組み込む方法を検討しています。参加国は少なくとも次のことを行います。

「推論」はできあがったAIに質問して答えを出させる使い方です。「訓練」はデータを読ませて新しいAIを作る作業です。報告書の案では、今あるAIは使い続けながら、より強いAIを作ることだけを止めます。利用者のプロンプトの中身を規制しなくてよく、大規模な監視も要りません。チップのサプライチェーンを管理すれば足りる点も、この案を選んだ理由に挙げています。

1鍵は、モデルを回路に焼き付けたチップ

報告書は推論専用チップの代表として、MSIC（モデル専用集積回路）を挙げています。製造の段階で、一つのモデルの構造と重みを金属の配線に固定します。汎用のGPUのように重みをメモリから読み出さないので、速く、電力も少なくて済みます。

このチップはすでに商用で動いています。Taalas社のHC1はMetaのLlama 3.1 8Bを焼き付けたチップです。同社は重みを受け取ってから約2か月でどのモデルもチップにできるとしています。ただ今は新しいモデルが毎月のように出るので、焼き付けたチップはすぐ古くなります。使えるモデルの一覧が固定されれば、この弱点が消え、専用チップのほうが有利になります。 つまり停止すれば、推論専用チップの開発が進みやすくなります。

2訓練用チップを、四段階で置き換える

報告書は、置き換えを四つの段階で進めると想定しています。

推論専用チップの開発にかかる期間について、報告書は過去の例を調べています。GoogleのTPU v1は15か月、Taalas HC1は約30か月、Etchedの第1世代は約36か月かかりました。AIに設計を手伝わせたOpenAIのJalapeñoは約26か月です。これらから、一から始める会社でも、合意から量産の開始までおおむね26か月以内に収まると見積もっています。

3「乾いた薪」をためない

推論だけを認める停止案はほかにもあります。報告書がハードワイヤード・ポーズを勧める理由は、訓練に使えるチップがたまらないことにあります。停止中も訓練用チップを作り続ければ、世界に積み上がったチップが、競争が再開したときの燃料になります。報告書はこれを「乾いた薪」と呼びます。

訓練の能力はためずに、推論の能力だけを伸ばしていく。

一方で、チップの製造網そのものを解体する案もあります。ハードワイヤード・ポーズは、限られた量の薪を限られた期間だけ残し、利用者向けのサービスは止めずに続けます。

抜け駆けをどう防ぐか

4条約が備えるべき三つの抜け駆け

報告書は2026年末の最先端の訓練規模を約2×10²⁷ FLOPと見積もっています。最先端の訓練に使う計算量は、この5年ほど18か月ごとに10倍のペースで増えてきました。条約上の上限はそれより3桁低く置いています。報告書の考えでは、小さなモデルの訓練は隠せても、最先端を超える訓練には数十万から数百万枚のチップが要るので隠しきれません。

5今は、抜け駆けに必要な量に誰も届かない

公然の離脱に要る1億8,000万枚は世界の全チップを合わせた4,700万枚より多い量です。そのため、公然の離脱はすぐの脅威にはなりません。ただし、停止中もチップが増え続ければ、いずれその量に届きます。だから乾いた薪をためないことが大事になります。

隠れた訓練に要る640万枚は、中国の保有量の約2倍です。米国は量としては足りますが、検証の目を盗んでこれだけのチップを動かすのは難しいと報告書は見ています。

6製造の要所は各国に散らばっている

AIチップのサプライチェーンには、いくつもの要所があります。最先端の露光装置を作れるのはオランダのASMLだけです。装置は約5,000社から集めた10万点の部品でできていて、運ぶには貨物機3機が要ります。光学部品はドイツのツァイスが、露光の前後に使う塗布・現像の装置は東京エレクトロンが、ほぼ独占しています。最先端の製造は台湾のTSMCが担っています。報告書は、どこか一国がこの製造網を丸ごと自前で作り直すのはきわめて難しいと見ています。

報告書は最初の参加国に米国、中国、EU（特にドイツとオランダ）、英国、台湾、韓国とともに日本を挙げています。最先端のチップ製造と最先端モデルの訓練を、ほぼ独占している国と地域です。

7停止前のチップは、ほとんど見つけ出せる

既にあるチップをどう数えるのかも、報告書は詳しく検討しています。AIチップは高価な設備なので、購入時の税控除の記録や工場の販売記録など、書類の跡が残ります。ほとんどは大企業が持ち、帳簿で管理しています。申告すれば推論サービスに使えるという得もあるので、隠すより申告したほうが商売になります。

ただし、チップを隠して横流しする国があれば話は変わります。報告書は調査にどれだけ協力するかで場合を分けて検討しています。

停止は何年もつのか

長く止めるうえでいちばんの問題は、訓練の効率が上がっていくことです。アルゴリズムやデータの改良が進むと、同じ数のチップでより強いモデルを作れるようになります。停止を続けるには、抜け駆けに使えるチップの量を、効率が上がる速さに合わせて減らしていく必要があります。

報告書の見立てでは、効率の伸びが5年で10倍を超えなければ、停止は少なくとも10年もちます。 5年で10倍はムーアの法則の「18か月で2倍」とほぼ同じ速さです。規模を固定した実験で測った過去の伸びは、この速さかそれ以下でした。1年に2.7倍という大きな推定もあります。ただ報告書によれば、その伸びの大半はTransformerとチンチラ則という二つの発見によるもので、どちらも訓練の規模を大きくするほど効く方法でした。停止で規模が止まれば、こうした伸びは出にくくなります。最先端の規模で新しいアイデアを試せなくなること、企業の研究が普及の側へ移ることも、伸びを鈍らせる理由に挙げています。

ただし、効率が10倍になる前に二つの課題を片付ける必要がある、と報告書は言います。

報告書は、この二つを片付けられれば、効率がさらにもう10倍上がっても停止は持ちこたえられると評価しています。全数調査は相手国の協力がなければ難しいので、米中が協調して進めれば格段に長続きし、一方が他方に押しつける形では長続きしにくい、とも述べています。

経済は崩れないのか

最先端の訓練を止めると経済が崩れる、という懸念があります。米国のGDP成長の4割近くがAI関連の投資によるという推計や、AI関連企業がS&P 500の3分の1を超えることが根拠です。報告書は、停止しても経済が崩れるとは限らないと答えています。

• 多くの企業が使っているのは、最先端より一つ下のモデルです。今あるモデルの普及が続けば、AIへの支出と生産性の伸びはかなり保てます。
• AI企業の株価が下がっても、金融政策で衝撃を和らげられます。推論の需要が続けば、データセンターの収入も保てます。
• 4割という推計は上限の数字で、輸入チップへの支出は米国のGDPを押し上げない、とも報告書は指摘しています。

使えるモデルが固定されると、利用のほとんどはモデル専用チップへ移ると報告書は試算しています。最も不利な条件でも、利用量の96%が専用チップで処理されます。停止が1年で崩れると企業が見込む場合でも86.5%です。推論の費用は8割前後下がり、その一部は利用者に還元されると見込んでいます。

この案の代償と、残る課題

報告書は、この案で減らせるリスクと代償の両方を挙げ、AIの問題すべてに効く策ではないと断っています。

減らせるのは、さらに強いAIの悪用、人間が制御を失うこと、人間が少しずつ力を失っていくこと、権力の集中です。「悪用を防ぐため」を口実に社会全体を監視するような事態も避けやすくなります。

一方で、代償もあります。チップの生産と配備を監視する新しい負担が生まれます。先行する企業の地位が固まるおそれがあり、政府が生んだ寡占として規制が必要になるかもしれません。大規模な再訓練ができないので、モデルの安全上の弱点は別の方法で直すしかありません。モデルの知識は古くなっていき、その時点の価値観や偏りが固定されることもあります。ただ報告書は、AIより人間のほうが状況をよく分かっている状態が保たれ、道徳の判断をAIに頼りすぎずに済む面もある、と両方を書いています。そして、今のモデルがもたらす害には、停止とは別の対策が要ります。

各国が「止めたい」と考えるのはどんなときか

報告書は、各国の指導者が止めたいと考えるようになる道筋もいくつか示しています。たとえば、より強いAIによる混乱や災害を避ける費用や、実際に被る費用が、競争で得られる利益を上回ったときです。最先端を進める費用が膨らみ、すぐ後を追う国に数か月先行しても得るものが小さくなったときも挙げています。そうなれば、この報告書の分析が止め方を選ぶ材料になると述べています。

少なくとも執筆時点では、指導者にはまだ、止めるか競争を続けるかを選ぶ余地がある。

報告書はこの言葉で結ばれています。

AGI Hubとのつながり

報告書は、推論専用チップやチップ製造の停止を先に提案した研究として、米国の研究機関MIRI（機械知能研究所）の技術ガバナンスチームの論文をいくつも引いています。そのうちの一つ、超知能の早すぎる開発を防ぐ国際合意の条約案は、AGI Hubが日本語に翻訳して公開しています。AGI Hubの主任研究員 林央は、MIRIのアウトリーチ日本責任者を兼務しています（就任のお知らせ）。