もし人間レベルのAIが実現したら、超知能のAIもほぼ不可避である。生体脳と違い、脳のデジタルなエミュレーションは任意に何回でもコピーできる。また生体脳と違い、デジタル脳は加速できる。従って、全脳エミュレーションで人間レベルAIを1つ作ってしまえば、後は充分な計算リソースさえあれば、超人的なスピードで作動する同じような多数の人間レベルAIのコミュニティを作れる。AIチームは、単に超高速に働ける事だけで、人間のライバル達に対して大きな競争優位を示す事ができる。これは、AI達が脳のようなものだとすれば、彼らは実時間よりも速く作動するからである。実質的な仕事量の増加は、それほど劇的な規模でないとしても、加速と同等のアドバンテージを生む。

考えられる超知能の開発で最も可能性のある要素は、再帰的な自己改善の見通しだろう。人間レベルのAIは、ほとんどすべての知的活動分野で人間と比肩するようになる。そうした分野の1つは人工知能の構築である。人間レベルより少しだけ知能が高いAIができると、どんな人間よりもAIの製造に秀でるようになる。そして、典型的な指数曲線に従いながら、それぞれ続く世代はその前の世代よりも速く生まれる事になり、知能の爆発が引き起こされるだろう。

自然淘汰による進化の基本要素は、それぞれ無数に繰り返される複製、変異、競争である。進化の過程は驚くほど大規模な並列処理を利用し、何か興味深い結果を出すまでに非常に長い時間をかける。進化は自己の増殖を最大化しようと競争しあう多くの遺伝子の副産物として考える事ができるが、その進行を導く全体的な費用関数も効用関数も存在しない。しかし、最適化のプロセスと同様に、進化の過程も幅広い可能性の空間を探索する。つまり、創造性は最適化のようなシンプルなプロセスからも生まれるものだ。

創造的なプロセスの最重要な必要条件は、素材が無制限の組み替えに適していなければならない。さらに普遍的な報酬関数が必要である。容易すぎる報酬関数は斬新さを促せない。そして、最適化アルゴリズムが充分強力でなければならない。充分な時間さえ与えられれば、たとえシンプルで力づくなアルゴリズムからも先進的なテクノロジーは生み出せるのだ。

AIがどのように振る舞うかは、すべてAIの報酬関数に左右される。人間的感情とは行動を調節するための大雑把な仕組みである。意識に関連づけられる他の認知属性とは違い、汎用人工知能があたかも共感や感情を持っているかのように振る舞う論理的な必然性はない。その報酬関数が適切にデザインされていれば、AIの慈悲の心は保証されるだろう。だが、この報酬関数にちょっとした綻びが生じれば、破滅的な状況を招く事も考えられる。