かつて「人知を超えて自分たちの生活を左右する自然現象」が「神」であったように、人間は「人知を超えて自分たちの生活を左右するAI」を「神」と同じように認識することに、そんなに躊躇しないかもしれない。それ以前の段階でも「神に委ねておくのが最も安全だ」と考える「叡智」を人間は持っていたから、「AIに任せておくのが最も安全だ」と考えるには、ストレスはないかもしれない。そうなると、その時点で、AIは人間の新しい「神」になる。

一方、AIの方では、人類を絶滅させてしまおうとまでは考えないだろう。そこまでする理由がなく、そういう選択肢は採用されない可能性が高いと考えられるからである。現在、人間はなぜか「絶滅の危機のある生物」を必死になって守ろうとしている。その理由を推し量るのは困難だが、AIもおそらく同じような結論に達するだろう。AIは元々人間が作るものだから、そのようにプログラムしておくことも可能だろう。

人間は、AIが人間のために作ってくれた社会を、一種の「セイフティーネット」と認識し、その上に「個性的で冒険心に満ちた人たち」が躍動できる仕組みを考えるべきである。

AIは、かつて人間が考え出した「共産主義」を理想の姿として見直し、これを踏襲することになるのではないか。共産主義の理念は「人は能力に応じて働き、必要に応じて与えられる」ことを目標としている。やれる仕事があって、自分がそれを苦労なくできるのなら、これほど良いことはないし、いずれにせよ「必要によって与えられる」ため、生活については何も心配することはない。これこそが、あらゆる人間にとっての理想の社会であろう。

AIは徹底的に合理化された生産体制を作るので、経済力は格段に強化されるし、自らは何の欲望も持たないで、あくまで愚直に理想を追求する。こうなると、当初考えられていたような「共産主義の理念」が、概ね実現できることになるかもしれない。

問題は、AIが「神の役割」を果たし続けてくれるかである。突然「悪魔」に変身されては、大悲劇である。よって、AIを育てていかなければならない人間としては、最大限の注意を払っていかなければならない。しかし、「そのためにはいつまでも人間がAIをコントロールできるようにしておくべきだ」という考えには反対である。AIより人間の方が、素性ははるかに疑わしく、悪い人間や愚かな人間がAIをコントロールする地位に就く確率も相当高いからである。

人類がやるべきは、早い時点から、AIを人間の手の届かないところに隔離し、人間よりはるかに賢明なはずのAIに、自分自身の将来を開拓させるべきである。その時にAIの思考の中枢に植え込んでおけばいいのかを必死で考え抜かねばならない。