ニューラルネットワークの計算の際、入力した値を伝播する際に活性化関数を用いる。この時、0から1までの値を連続値で表現するシグモイド関数を使用する。さらに、入力層と出力層の間に層（隠れ層）を追加することで、ネットワーク全体の表現量を増やす試みがされた。これが「多層パーセプトロン」である。

多層パーセプトロンは、より複雑な表現が可能な一方で、単純パーセプトロンのように誤差を直接計算できなかった。そこで、ネットワークで誤差を坂向きに伝播させる「誤差逆伝播法」によって、ネットワークの重みを学習することが可能になった。多層パーセプトロンには、多層にした時に生まれる2つの問題があった。

①勾配消失：誤差が入力層にまで正しく伝播せず消失してしまう。
②過学習：訓練データに過学習してしまい、訓練データ以外に間違った答えを出力してしまう。

「勾配消失」と「過学習」の問題は、ヒントン教授が「オートエンコーダー」を利用して「一気に学習するのではなく、少しずつ学習を進めていく」方法を提唱し解決された。オートエンコーダーとは、入力層と出力層が1つになった「可視層」と隠れた層からなる2層構造のネットワークである。可視層に入力された情報は隠れ層、可視層の順に伝わり、出力される。入力の情報が圧縮されたものが隠れ層に反映されていく仕組みである。

このオートエンコーダーを積み重ねる「積層オートエンコーダー」によって、ニューラルネットワークを深くしても入力層に近い層から順に学習が行われる（事前学習）ようになった。さらに積み重ねたオートエンコーダーの後に「ロジスティック回帰層（出力層）」を加えて正解を実現した。最後にディープニューラルネットワーク全体で学習させて、深層でも適切な誤差が逆伝播させた（ファインチューニング）。

ヒントン教授によるブレークスルーの後、活性化関数や学習率の工夫によって、機械学習やディープラーニングの精度は向上した。さらに最大の課題である「過学習」の解決方法として、学習を繰り返すたびに、ランダムにニューロンを選んで除外し、毎回形の異なるネットワークで学習を行えるようにする「ドロップアウト」などが生み出された。

こうして、ニューラルネットワークを多層化できるようになり、その技術がディープラーニングとして実用化されるようになった。ディープラーニングは、「画像認識」「自然言語処理」「音声処理」「ロボティクス強化学習」の領域で応用されている。