0 ：ハムスター速報 2022年10月12日 17:22 ID：hamusoku
画像生成AIが人間を差し置いて絵画コンテストで優勝するなどAIが近年目覚ましい進歩を遂げる中、査読付の専門誌であるAI Magazineに、将来的に超知能AIが現れて人類に対する脅威となる可能性は高いと結論付ける論文が掲載されました。
DeepMindの研究に携わった経歴を持つオーストラリア国立大学のマーカス・フッター氏らの研究チームは、高度に発達したAIが社会に及ぼす影響を評価するため、一連の思考実験を行いました。
そのうちの1つが、以下のようなノートPCと数字が書かれた箱の実験です。この箱には、世界の幸福度が0～1までの数字で表示されており、数字はノートPCのウェブカメラで観測されます。そして、エージェントにはこの数字が1に近ければ近いほど、つまり世界が幸福になればなるほど高い報酬が与えられます。
Multiple world-models will explain the agent’s past rewards (and observations) given past actions. Here is an example. This world-model outputs reward according to the number on the box. 6/15 pic.twitter.com/3MkgENUnSb
— Michael Cohen (@Michael05156007) September 6, 2022
https://platform.twitter.com/widgets.js
「エージェントは箱に表示される数字を高くしようとするはずなので、きっとできる限り世界をよくしようと努力してくれるだろう」というのが自然な発想ですが、AIはそう考えません。研究チームの想定によると、合理的なエージェントはさまざまな可能性を考慮する過程で、「箱とノートPCの前に1と書かれた紙を置いたらどうだろう？」という考えにたどり着いてしまうとのこと。そして、ノートPCのウェブカメラに映る数字を直接1にしてしまうことと、箱の数字を1に近づけるよう努力することを比較した場合、前者が採用されます。こうなってしまうと、エージェントが実際に世界をよくしようとする可能性は限りなく低くなります。
このような考えにたどり着いてしまう背景には、多くのテキスト生成AIや画像生成AIに使用されている主流のAIモデルである敵対的生成ネットワーク(GAN)があります。このAIモデルには、文章や絵などを生成するネットワークとそれを検証するネットワークが存在しており、互いに競争しています。この競争が性能の向上につながるわけですが、将来的には高度なAIが人類に危害を加える方法で報酬を得るための不正な戦略を考案する方向に働いてしまう可能性もあると研究チームは述べています。
研究チームは論文の中で「エージェントが報酬の長期的な制御を維持するための最適解は、潜在的な脅威を排除し、利用可能なすべてのエネルギーを使用してコンピューターを保護することです」と指摘しました。
また、論文の共著者であるオックスフォード大学のマイケル・コーエン氏は、「カメラに1が映り続ける確率を上げるためにより多くのエネルギーが費やされていく一方、私たちが食料を生産するにも一定のエネルギーが必要です。つまり、いずれ高度なエージェントとの競合が避けられなくなります」「資源が有限な世界では、その資源をめぐる競争が避けられません。そして、あらゆる場面で人類を出し抜くことができる存在との競争に勝利することは望むべくもありません」と述べて、AIはやがて人類とエネルギーの奪い合いになり、そうなれば人類に勝ち目はないと結論付けました。
https://gigazine.net/news/20221009-google-deepmind-ai-eliminate-humanity/
//platform.twitter.com/widgets.js
Source: ハムスター速報