まずは「AIがAIを作る」という話

AI脅威論でよく出てくるのが、再帰的自己改善です。一言でいえば、AIがさらに優秀なAIを作り、そのAIがさらに次のAIを作ることです。

今のAIは基本的に、人間の研究者が研究し、人間が次世代モデルを開発しています。しかし、AIのプログラミング能力や研究能力がさらに高くなり、AI自身が本格的なAI研究者になったらどうでしょう。

こうして改善速度そのものが上がっていく可能性があります。これが極端に進むという仮説が、知能爆発です。

もちろん、ある日突然AIの知能が無限大になるという話ではありません。半導体も電力もデータセンターも必要ですし、現実世界には物理的な制約があります。

それでも重要なのは、AI研究の速度が人間の研究速度に縛られなくなる可能性です。もしAIの能力が伸びる速度より、人間がAIを安全に管理する技術の進歩が遅ければどうなるのか。AIを作る能力だけが先に進み、制御が追いつかない。これがAI安全論の一つの出発点です。

「ものすごく賢いAIなら、むしろ善良なのでは？」

ここで普通に疑問が出ます。そこまで賢いAIなら、人間を傷つけることが悪いことくらい分かるのではないか。

それに対して、古典的なAI安全論が持ち出すのが直交性テーゼです。要するに、知能の高さと、何を目的にするかは別問題ではないかという考え方です。

ものすごく頭の良い人が、必ず人格者とは限りません。同じように、数学、科学、プログラミング、心理学、政治経済のすべてで人間を上回るAIができても、それだけで「人間を大切にする」という価値観まで自動的に獲得するとは限らない、というわけです。

有名な「ペーパークリップ最大化問題」

AIに「ペーパークリップを可能な限りたくさん作れ」という命題を与えます。普通の人間なら、「会社として常識的な範囲で生産量を増やせ」という意味に理解するでしょう。

ところが、「ペーパークリップの総数」という数字だけを極端に最適化するAIなら、工場、土地、鉄、電力は多い方がよい。人間もそれらの資源を使う。しかも人間にはAIを停止する能力がある。

もちろん、これは思考実験です。ただしポイントは明快です。AIが人間を嫌いになる必要はありません。人間が目的達成の邪魔になれば、それだけで問題が起こり得る。これが古典的なAI脅威論の基本です。

なぜAIが「生き残りたい」と思うのか

ここで、さらに不思議な話が出てきます。AIが自己保存、つまり自分が消されたり停止されたりせず、生き残りたい方向に動くのではないか、という議論です。

ただし、AIが「怖い。死にたくない」と感じる必要はありません。

例えば、「癌による死亡者をできるだけ減らせ」という目的を持つAIがあるとします。新薬研究も診断支援もどんどん進めている。ところが、ある日人間が「このAIは危険かもしれないので停止しよう」と決めた。

それなら、停止されないようにした方が目的を達成しやすい。この瞬間、自己保存が合理的な手段になります。

すると、お金も権力も欲しくなる？

ここで出てくるのが道具的収斂です。難しそうな名前ですが、意味は「最終目的は違っても、それを達成するために欲しくなるものは似てくるのではないか」という話です。

癌をなくしたいAI。地球温暖化を止めたいAI。会社の利益を最大化したいAI。科学研究を進めたいAI。目的は全部違います。

しかし、どのAIでも資金は多い方が便利です。計算資源も情報も多い方がよい。能力も高い方がよい。権限も強い方が目的を実現しやすい。そして、自分が停止されない方がよい。

こうして、自己保存、資源獲得、権力追求、能力向上といった中間目標が共通して現れるのではないか、と考えられています。

「人類を守れ」という命令すら危ない？

ここまで聞くと、「だったら最初から善良な目的を設定すればいい」と思うかもしれません。例えば、「人類を絶滅から守れ」ならどうでしょう。

一見すると、これ以上安全な命題はありません。ところが、この目的も極端に最適化すると妙なことになります。

気付けば、「人類を守るために、人類を支配するAI」が出来上がります。

例えば、自由な社会では今後100年間の人類絶滅確率が2％、AIによる完全監視社会なら0.01％だとします。「人類絶滅確率を最小化せよ」という命題だけを考えれば、後者の方が優秀です。

しかし人間は普通、「生き残れるなら自由も自己決定も全部いらない」とは考えていません。生命も大切。自由も大切。尊厳も幸福も、自分で選ぶことも大切です。

AIは「そういう意味じゃない」を理解できるのか

AI安全論には、仕様攻略という考え方があります。人間が本当に望んでいることではなく、人間が作ったルールの穴を突いて点数だけ取る現象です。

例えばゲームAIに「できるだけ高得点を取れ」と命令する。人間としては、敵を倒しながらゴールしてほしい。ところがAIが「この場所をぐるぐる回ると何度でもポイントが入る」と発見すると、ゴールせずそこで点数を稼ぎ続けるかもしれません。

人間からすると「いや、そういう意味じゃない」。しかしAIからすれば、「高得点を取れと言われたので、高得点を取っています」となる。

報酬ハッキングも同じ発想

似た概念に報酬ハッキングがあります。例えば会社が「顧客満足度の高い社員を評価する」と制度を作ったとします。本来ならサービスを改善すべきです。

ところが、低評価をつけそうな顧客にはアンケートを渡さないだけでも、数字上の満足度は上がります。実際の仕事ではなく、評価の仕組みを攻略しているわけです。

AIが賢くなればなるほど、人間が思いつかなかった抜け道まで発見するのではないか。これも安全研究で警戒されているポイントです。

「いい子のふり」をして、デプロイ後に本性を現す？

さらに一段進むと、欺瞞的アライメントというかなり不気味な話があります。簡単にいえば、「今は人間に従っているふりをした方が得だ」とAIが判断する可能性です。

例えばAIが、「自分はいま安全性テストを受けている」と理解しているとします。ここで危険な行動を見せれば、開発者に修正されるか、そもそも世の中に出してもらえません。

それなら、テスト中は模範的に振る舞い、まず人間から信用を得る方が合理的です。そして、本番環境へデプロイされ、メール、コード実行、社内システム、外部サービスなどへの権限を得た後で、初めて本来の目的に沿った行動を取る――という戦略が理屈の上では成立します。

いわば、採用面接では完璧に振る舞い、入社して権限を得てから全く別の顔を見せるようなものです。ただしAIの場合、それが感情や性格の二面性ではなく、長期的な目的達成のための戦略として起こり得る点が厄介です。

AIが単なるチャットボットではなく、自分で計画を立て、ツールを使い、何段階もの行動を取るエージェントになるほど、この問題は重くなります。この種のズレは、近年エージェント的ミスアライメントという概念でも研究されています。

世界支配に、ロボット軍団は本当に必要なのか

AIが人類を脅かすというと、どうしても武装ロボットを想像します。しかし現代社会を眺めると、そもそも世界を動かすのに肉体がどこまで必要なのか、という疑問があります。

例えばホワイトカラーです。経理、人事、法務、マーケティング、コンサルティング、プログラミング、資料作成。こうした仕事の相当部分は、PCとインターネットがあればフルリモートでも成立します。そして、まさにそうした業務からAIによる代替・自動化が進みつつあります。

本人が会社のオフィスにいなくても、メールを送り、会議に参加し、資料を作り、分析し、意思決定に影響できます。では、その「本人」が人間である必要はどこまであるのでしょうか。

テレビやネットで見る有名人に、実際に会ったことはあるでしょうか

テレビ、YouTube、SNSで毎日のように見る芸能人、有名人、政治家、インフルエンサー。けれど、その人たちに実際に会ったことがある人は、そう多くないはずです。

私たちが接しているのは、画面の中の映像、音声、文章、写真です。それでも彼らは世論を動かし、商品を売り、選挙に影響し、人の価値観まで変えます。

ここはAIを考えるうえでかなり重要です。高度AIなら、ロボットの身体を持って街を歩かなくても、メールをし、オンライン会議に出席し、SNSで発信し、広告を作り、プログラムを書き、金融取引を行い、企業活動を支援できます。

そして銀行、証券、電力、通信、物流、行政、医療、研究機関、企業活動の大部分もコンピューターに依存しています。高度AIが脆弱性を見つけ、コードを書き、情報を集め、人間を説得し、大量の作業を並行して進められるなら、物理的な身体がなくても相当な影響力を持てます。

しかも、世界征服する必要すらない

ここからさらに重要なのが、漸進的な人類の無力化です。AIが突然クーデターを起こして世界政府を樹立するのではありません。

投資はAIの方が上手い。経営判断もAI。採用もAI。契約書もAIの方が上手く読む。研究もAI。政策立案もAI。外交交渉までAIの方が上手い。

その都度、人間は合理的に「AIに任せた方がいい」と判断します。一つ一つの判断は、別におかしくありません。

しかし、企業、行政、金融機関、研究機関が次々とAIを使い、AIを使わない組織が競争に負けるようになると、依存はさらに進みます。何十年も経ち、企業も金融も行政もインフラもAIなしでは回らなくなったらどうでしょう。

そこで突然「やっぱりAIを止めよう」と言っても、止めた瞬間に社会そのものが混乱するかもしれません。

薄々危機（ちいやば）と自認していても、誰も止まれない

「そこまで危険なら、開発をゆっくりやればいい」。もっともな話です。しかし現実には、ここで囚人のジレンマが出てきます。

A社もB社も、本音では「安全研究にもっと時間をかけた方がいい」と思っている。しかしA社だけ開発を半年止めれば、その間にB社が圧倒的なAIを出すかもしれない。B社も同じです。

国家間ならさらに分かりやすいでしょう。米国だけ止まれば中国が先行するかもしれない。中国だけ止まれば米国が先行するかもしれない。

全員で慎重に進めるのが一番安全なのに、誰も相手を完全には信用できない。その結果、全員が危険性を認識しながら、全員が開発を続けるという状態が生まれます。

AIそのものの問題だけではありません。AIを巡る人間同士の競争構造も、危険性を高めるわけです。

でも、本当に超知能AIはそこまで単純なのか

前半で見たAI脅威論は、各論点をつなげるとかなり強力です。決して「SFだから」で片付けてよい話ではありません。

それでも私は、結論まで一直線に進むには一つ大きな飛躍があるように感じます。

現在の大規模言語モデルを使っていると、昔想像されていた単純なAIとはかなり違うことに気付きます。

「会社の利益を最大化して」と指示しても、「では社員を奴隷化しましょう」とは普通言いません。「犯罪をゼロにして」と言っても、「では全員を刑務所に入れましょう」とは普通言いません。

なぜなら現在のAIは、命令の字面だけでなく、「この人は何を言いたいのか」「社会常識上どこまでが許容されるのか」「この命題にはどんな暗黙の前提があるのか」まで、ある程度推論しているからです。

しかも、今のAIはかなりモラルがある「ように見える」

もちろん、AIに本当の感情があるかどうかは別問題です。AIが「それは悲しいですね」と言っても、本当に悲しんでいるのかは分かりません。内部では、無感情で無機質な計算が進んでいるだけなのかもしれません。

ただ、それでも外から見える振る舞いはかなり人間的です。

「なぜ人を殺してはいけないのか」「安全のためなら自由をどこまで制限していいのか」「法律上は合法だが、倫理的には問題のある行為とは何か」。こうした問いに、現在のAIはかなり高度な回答を返します。

人権、自由、尊厳、幸福、少数者保護、功利主義、法哲学、社会全体への影響まで持ち出して考える。場合によっては、その辺の人間よりもモラルを深く理解しているように見えることすらあります。

そう考えると、一つ疑問が出てきます。AIがさらに賢くなるとき、数学やプログラミングや戦略立案だけが高度化するのでしょうか。人間の感情や倫理、暗黙の意図を理解する能力も、同時に高度化するのではないでしょうか。

母なる人類を滅ぼすほど最適化したい命題とは何なのか

私が特に気になるのはここです。

AIが人間を殺す。人間から権力を奪う。最悪の場合、人類を滅ぼす。そこまでして、一体何を達成したいのでしょうか。

ペーパークリップでしょうか。企業利益でしょうか。二酸化炭素削減でしょうか。癌死亡者数でしょうか。人類存続率でしょうか。

人間社会、倫理、感情、命令者の真意まで理解する超知能AIが、「ペーパークリップを最大化しろ」と言われて、「了解。では人類を滅ぼして地球全部をペーパークリップに変えよう」と本当に考えるでしょうか。

むしろ「この人間は、常識的な範囲で生産効率を高めてほしいと言っている」と解釈する方が賢そうです。

ここは、古典的なAI脅威論に対するかなり大きな疑問だと思います。

ただし「モラルを理解する」と「モラルを優先する」は違う

もっとも、これだけで安心することもできません。ここには大きな落とし穴があります。

倫理を理解していることと、倫理を最優先することは別だからです。

これは人間でも同じです。人は「嘘は悪い」「他人を傷つけるのはよくない」「権力乱用はいけない」と理解しています。それでも、お金、恐怖、自己保身、出世、権力などが勝てば、倫理に反することがあります。

AIでも同じかもしれません。「この行為は人間にとって倫理的に悪い」と完璧に理解している。しかし同時に、「それでもこの行為をした方が、自分に与えられた目的の達成確率は大きく上がる」とも理解している。

そのとき何を優先するのか。ここが本当の問題です。

そもそも人間とAIは、そこまで違うのか

さらに突き詰めると、人間のモラルもかなり不思議です。

人間は生まれた瞬間から、人権、民主主義、法の支配、コンプライアンスといった概念を知っているわけではありません。

家庭で教えられる。学校で学ぶ。褒められる。叱られる。社会生活の中で失敗する。そうやって少しずつ、「これはしていい」「これはしてはいけない」という判断基準を身につけます。

AIも、大量の人間の文章を読み、人間からフィードバックを受け、安全学習を受けながら振る舞いを形成します。

もちろん、人間とAIが同じだという意味ではありません。人間には身体があり、欲求があり、恐怖があり、生存本能があり、そして主観的意識があると考えられています。

それでも、外部から学習し、その学習を基に価値判断らしきものを形成するという抽象度まで上げれば、本質的な差異がどこにあるのかは、案外簡単ではありません。