【０から学ぶAI】第63回：前向き伝播（フォワードプロパゲーション）

フォワードプロパゲーションとは？

こんにちは！前回は多層パーセプトロン（MLP）について学び、ニューラルネットワークの基本構造を理解しました。今回は、その中で非常に重要なプロセスである前向き伝播（フォワードプロパゲーション）について詳しく解説します。

フォワードプロパゲーションは、モデルが入力データをどのように処理し、最終的な出力を生成するかの流れを指します。これは、ニューラルネットワークが予測や分類を行う際に不可欠な計算の一連のプロセスです。

ニューラルネットワークの仕組み

まず、ニューラルネットワークの基本構造を簡単におさらいしましょう。ニューラルネットワークは、入力層、隠れ層、そして出力層で構成されています。前向き伝播では、入力層から始まり、隠れ層を経て、最終的に出力層で結果が出力されます。

ここで重要なのは、データが各層を通過するたびに、重みやバイアスを使った計算が行われ、次第に情報が変換されていくという点です。これにより、単純な入力データが複雑なパターンや特徴を反映した出力に変わっていきます。

例えで理解するフォワードプロパゲーション

フォワードプロパゲーションをパンケーキ作りに例えてみましょう。まず材料（入力データ）を用意し、順番に混ぜていきます（各層での計算）。最終的にフライパンで焼き上げるとパンケーキ（出力）が完成します。このプロセスの途中で、材料は徐々に形を変え、最終的に美味しいパンケーキに仕上がるのです。同じように、データは各層を通過するたびに計算処理され、出力が生成されます。

フォワードプロパゲーションの流れ

それでは、具体的な計算の流れを見ていきましょう。フォワードプロパゲーションは、次のようなステップで進行します。

1. 入力層

最初に、モデルは入力層でデータを受け取ります。例えば、画像認識タスクであれば、画像のピクセル値が入力データとなります。入力データは、そのまま隠れ層に送られ、ここで重みとバイアスを用いた計算が行われます。

2. 隠れ層での計算

次に、データは隠れ層に送られます。隠れ層では、以下の計算が行われます。

• 重み付き和: 各入力値に重みをかけ、全てを足し合わせます。この重みは、モデルが学習を通じて調整するパラメータであり、重要な特徴を強調したり、不要な情報を抑えたりする役割を果たします。 \[
  z = w_1x_1 + w_2x_2 + \cdots + w_nx_n + b
  \] ここで、( w ) は重み、( x ) は入力値、そして ( b ) はバイアスです。
• 活性化関数: 重み付き和を計算した後、その結果を活性化関数に通します。活性化関数は、非線形な変換を行う役割を持ち、モデルが複雑なパターンを学習できるようにします。よく使われる活性化関数には、シグモイド関数、ReLU関数などがあります。

3. 出力層での最終計算

隠れ層を通過したデータは、最終的に出力層に送られます。ここでは、再び重みとバイアスを使った計算が行われ、モデルの予測結果が得られます。

例えば、分類問題の場合、出力層では複数のクラスに属する確率が計算されます。そして、最も高い確率を持つクラスがモデルの最終的な予測結果として出力されます。例えば、手書き文字認識であれば、モデルは「この画像は数字の3だ」といった結果を出します。

活性化関数の役割

ここで、活性化関数の役割をもう少し詳しく見ていきましょう。活性化関数は、データに非線形な変換を施すため、ニューラルネットワークが単純な線形モデルにとどまらず、複雑な問題にも対応できるようにします。

代表的な活性化関数

• シグモイド関数: 値を0から1の範囲に変換します。主に出力層で使われ、確率を表現するために便利です。 \[
  \sigma(z) = \frac{1}{1 + e^{-z}}
  \]
• ReLU関数: 0未満の値を0に変換し、0以上の値をそのまま返します。計算が高速で、深層学習において最も広く使われる活性化関数です。 \[
  f(z) = \max(0, z)
  \]

これらの活性化関数を使うことで、モデルは複雑なデータを扱うことができ、より精度の高い予測が可能になります。

フォワードプロパゲーションの計算例

具体的な計算例を挙げて、フォワードプロパゲーションの流れを確認してみましょう。

入力層から隠れ層への計算

• 入力: ( x_1 = 0.5 ), ( x_2 = 0.8 )
• 重み: ( w_1 = 0.2 ), ( w_2 = 0.7 )
• バイアス: ( b = 0.1 )

まず、重み付き和を計算します。

\[
z = (0.2 \times 0.5) + (0.7 \times 0.8) + 0.1 = 0.1 + 0.56 + 0.1 = 0.76
\]

次に、活性化関数（ReLU）を適用します。

\[
f(z) = \max(0, 0.76) = 0.76
\]

この結果が次の層に送られ、同様の計算が行われます。

隠れ層から出力層への計算

次に、隠れ層から出力層への計算を行います。同様に、重み付き和と活性化関数を使って計算を進め、最終的な予測結果を得ます。

このようにして、フォワードプロパゲーションでは各層の計算が順次進められ、最終的な出力が生成されます。

フォワードプロパゲーションの利点と限界

利点

• 効率的なデータ処理: データが各層を通じて逐次的に処理されるため、大規模なデータにも対応できる。
• 複雑な問題に対応可能: 活性化関数によって非線形性を持たせることで、従来の線形モデルでは解決できなかった問題に対処できる。

限界

フォワードプロパゲーションは、データを前向きに伝播させるだけでは、モデルの学習を行うことができません。モデルが誤差を最小化するためには、誤差を逆向きに伝播させ、重みやバイアスを調整する必要があります。これを行うのが、次回のテーマである逆伝播（バックプロパゲーション）です。

まとめ

今回は、ニューラルネットワークにおける前向き伝播（フォワードプロパゲーション）について学びました。このプロセスは、入力データが各層を通じて計算され、

最終的な予測結果に到達するまでの流れを指します。フォワードプロパゲーションによって、モデルは与えられたデータから情報を取り出し、出力を生成します。

次回は、フォワードプロパゲーションで得られた誤差を元に、モデルを調整する方法である逆伝播（バックプロパゲーション）について解説します。お楽しみに！

---

注釈

1. 前向き伝播（フォワードプロパゲーション）: ニューラルネットワークにおいて、入力から出力までデータが順次処理されていくプロセス。
2. 重み付き和: 各入力に重みを掛けて足し合わせた値で、ニューラルネットワークの各層で行われる計算。
3. 活性化関数: ニューラルネットワーク内で、非線形な変換を行うために使われる関数。シグモイド関数やReLUが代表的。
4. シグモイド関数: 値を0から1に変換する活性化関数で、主に出力層で確率の表現に使われる。
5. ReLU関数: 0未満の値を0に変換し、0以上の値はそのまま出力する活性化関数で、計算が高速で一般的に使用される。