単純なパーセプトロンは、線形分離可能な問題、つまり一本の直線でデータを分類できるようなタスクしか解けません。古典的な例がXOR（排他的論理和）問題です。この問題では、2つの入力が異なる場合に1、同じ場合に0を出力しますが、これを2次元平面上にプロットすると、どのように直線を引いてもデータを正しく分離することはできません。

この限界を乗り越えるために考案されたのが、層を重ねるというアイデアです。入力層と出力層の間に「中間層（隠れ層）」を挟んだ多層パーセプトロン（MLP）は、非線形な決定境界を作り出すことができます。中間層が入力データの特徴をより複雑な表現に変換し、出力層がその表現を基に最終的な分類を行うのです。この層を重ねるという単純な発想が、今日のディープラーニングの基礎を築きました。

ネットワークが深くなると、学習、つまり重みの調整が複雑になります。出力層の誤差は計算できても、中間層のニューロンが最終的な誤差にどれだけ「責任」があるのかをどう判断すればよいのでしょうか。

ここで登場するのが誤差逆伝播法（バックプロパゲーション）です。このアルゴリズムは、まず出力層で予測と正解の誤差を計算します。次に、その誤差を一つ前の層へと逆向きに伝え、各ニューロンの重みが誤差にどれだけ貢献したかに応じて、連鎖律（チェインルール）を用いて重みを少しずつ更新していきます。このプロセスをネットワーク全体にわたって繰り返すことで、複雑なモデルでも効率的に学習させることが可能になります。

しかし、層が深くなるにつれて新たな問題が浮上しました。勾配消失問題です。誤差を逆伝播させる際、活性化関数（特にシグモイド関数）の微分値が何度も掛け合わされます。この微分値が1より小さい場合、層を遡るごとに勾配（誤差情報）が指数関数的に小さくなり、入力層に近い層の重みはほとんど更新されなくなってしまうのです。これでは、深いネットワークの利点を活かせません。

この問題を劇的に改善したのが、活性化関数ReLU（Rectified Linear Unit）です。ReLUは、入力が0以下なら0を、0より大きければ入力をそのまま出力するという非常にシンプルな関数です。正の領域では微分値が常に1であるため、勾配が途中で消失することなく、深い層まで効率的に伝播します。この単純なブレークスルーが、より深いネットワークの学習を可能にし、ディープラーニングの発展を加速させました。

MLPは汎用的な構造ですが、特定の種類のデータには、より効率的なアーキテクチャが存在します。

**畳み込みニューラルネットワーク（CNN）**は、画像認識に特化しています。小さなフィルター（カーネル）で画像をスキャンし、エッジや模様といった局所的な特徴を抽出します。この「畳み込み」と、特徴の位置ずれを吸収する「プーリング」を繰り返すことで、画像の階層的な特徴を効率的に学習します。画像のどの部分に特徴が現れても検出できる点が強みです。

一方、**リカレントニューラルネットワーク（RNN）**は、系列データ、例えば文章や時系列データのために設計されました。内部に「状態」を持ち、過去の情報を記憶しながら現在の入力を処理します。この再帰的な構造により、単語の順序など、系列の文脈を捉えることができます。

最後に、深いネットワークが直面するもう一つの大きな課題が過学習（オーバーフィッティング）です。モデルが複雑になるほど、訓練データに過剰に適合してしまい、未知のデータに対する予測性能（汎化性能）が低下する現象です。

これに対処するため、正則化というテクニックが用いられます。例えば、L2正則化は大きな重みにペナルティを課してモデルの複雑さを抑え、ドロップアウトは学習中にランダムにニューロンを無効化することで、特定のニューロンへの過度な依存を防ぎます。これらの手法は、モデルが訓練データの本質的なパターンのみを学習するよう促します。

単純なパーセプトロンの限界から始まり、層を深くする必然性、そしてそれに伴う課題と解決策を見てきました。これらの基本的な構成要素と原理の理解は、Transformerのような、より高度なアーキテクチャを学ぶ上での強固な土台となります。