我々の100倍も1000倍も賢い機械が我々を愛してくれたり守ろうとしてくれたりすると決めつけるのは理にかなっていない。AI自身は、プログラムにあらかじめ感謝の心が組み込まれていない限り、自分を作ってくれた事に感謝の気持ちは抱かないだろう。機械は倫理観を持っていない。

「フレンドリーな」人工知能を作る事が可能かどうかは大きな問題であり、AIの開発に取り組んでいる研究者や技術者にとっては大きな課題と言える。AIは自分なりの衝動を持つ事になると科学者は信じている。そして十分に知能の高いAIなら、その衝動を満たすために強い姿勢を取る事になる。

高度なAIは、世界をモデル化し、それぞれの行動がどのような結果を生むかを認識し、自らの目標に最も合致するのはどの行動かを判断する能力を持つ。十分に知能の高いシステムは、たとえ自己進化するよう具体的に設計されていなくても、自己進化するようになる。目標を達成する可能性を高めるために、自らのソフトウェアとハードウェアのスピードと効率を上げる方法を探すからだ。自己を意識して自己進化するシステムは、人間の生物的衝動に似た4つの根本的衝動を持つようになるという。

①効率性
手に入る資源（空間、時間、物質、エネルギー）を最大限利用する

②自己保存
自身のコピーを大量に作るなど、どんな手段を使ってでも自身の生存を確実にしようとする

③資源獲得
目標達成の確率を高めるために必要な資源を片っ端からかき集めさせる

④創造性
目標がしかるべきほど最適に満たされないという結果を避けるための、新たな方法を生み出す

現在，AGIにはどれだけ近づいているのか。最近の調査によると、AI関連の分野の専門家は、2028年までにAGIが作られる確率は10％強、2050年までなら50％強、今世紀までなら90％だ。

AGIを目指して取り組めば、とてつもない見返りがある一方、大惨事で我々を脅かし、人類が立ち直れないような災厄さえももたらしうる。そのような最悪の大惨事は、AGIからASIへの橋を渡ったところですぐに起こる。しかも、AGIからASIまではあっという間だろう。人間レベルの知能から超知能への移行は、自己進化の正のフィードバックループによって「ハードテイクオフ」で起こる事もありうる。我々人間よりも賢い知能がどんな事をするかは知りようがないので、想像するしかない。

2030年頃、地球上で超知能マシンと共存して生き延びる事が、我々の課題となるかもしれない。そこで最も急を要するのは、超知能を理解するための学問の必要性である。我々は強力なAIがどのように振る舞うかを予測する必要がある。