【０から学ぶAI】第275回：畳み込みの基本

前回のおさらいと今回のテーマ

こんにちは！前回は、画像の前処理について解説し、リサイズ、正規化、フィルタリングなどの手法を学びました。

今回は、画像処理の基礎的な操作である畳み込み（Convolution）について説明します。畳み込みは、画像処理や機械学習、特に畳み込みニューラルネットワーク（CNN）で広く使用される手法であり、フィルタを使って画像から特徴を抽出するために用いられます。

畳み込みとは？

1. 畳み込みの定義

畳み込みは、フィルタ（カーネル）を画像全体に適用し、各ピクセルの周辺の値を使って新しいピクセル値を計算する操作です。これにより、エッジ検出やぼかしなどの画像処理が可能になります。

2. 畳み込みの役割

畳み込みの主な役割は、以下の通りです。

• 特徴抽出：画像からエッジや模様などの特徴を検出する。
• フィルタリング：画像のノイズ除去や強調を行う。
• 変換：画像のぼかしやシャープ化を実現する。

畳み込み操作は、特に畳み込みニューラルネットワーク（CNN）で重要な役割を果たし、画像分類や物体検出などのタスクで使用されます。

畳み込みの仕組み

1. フィルタ（カーネル）の適用

畳み込みの基本は、フィルタ（カーネル）を使って画像に操作を加えることです。フィルタは通常、小さな行列（例：3×3、5×5）として定義されます。このフィルタを画像に対してスライドさせながら、各位置でフィルタの値と画像のピクセル値を乗算し、その結果の和を新しいピクセル値として設定します。

2. 畳み込み操作の手順

畳み込み操作は、以下の手順で行われます。

1. フィルタを画像の最初の位置に重ねる
   画像の左上からフィルタを適用します。
2. フィルタの各要素と画像の対応するピクセルを乗算し、その結果を合計
   例えば、3×3のフィルタの場合、9つの乗算結果を合計します。
3. 計算結果を新しい画像の対応する位置に保存
   計算された値を新しいピクセルとして出力画像に設定します。
4. フィルタを1ピクセルずつ（ストライド幅）移動し、上記の操作を繰り返す
   フィルタが画像全体に適用されるまで繰り返します。

3. パディングとストライド

畳み込み操作には、パディングとストライドという重要な概念があります。

• パディング（Padding）：画像の境界部分の処理を行うために、画像の周囲にゼロなどの値を追加する操作です。これにより、出力画像のサイズを調整することができます。
  • ゼロパディング：画像の周囲にゼロを追加して、フィルタが境界付近にも適用できるようにする。
  • なし：パディングを行わない場合、出力画像のサイズは元の画像より小さくなります。
• ストライド（Stride）：フィルタを適用する際の移動幅です。ストライドが1の場合、フィルタを1ピクセルずつ移動します。ストライドが2以上の場合、フィルタを2ピクセル、3ピクセルといった幅で移動させるため、出力画像が小さくなります。

畳み込みの例

1. 平滑化フィルタ（平均化フィルタ）

平滑化フィルタは、画像をぼかしてノイズを低減するためのフィルタです。たとえば、次のような3×3の平均化フィルタを使って畳み込みを行います。

1/9  1/9  1/9
1/9  1/9  1/9
1/9  1/9  1/9

このフィルタを画像に適用すると、各ピクセルが周囲9ピクセルの平均値で置き換えられ、ぼかし効果が得られます。

2. エッジ検出フィルタ

エッジ検出は、画像内の急激な色の変化を検出するために行われます。例えば、以下のようなSobelフィルタはエッジ検出に使用されます。

• 水平方向のエッジ検出（Sobelフィルタ）

-1  0  1
-2  0  2
-1  0  1

• 垂直方向のエッジ検出（Sobelフィルタ）

-1 -2 -1
 0  0  0
 1  2  1

これらのフィルタを画像に適用することで、水平方向および垂直方向のエッジが検出されます。

OpenCVでの畳み込みの実装

OpenCVを使って、畳み込みを行う方法を紹介します。以下の例では、cv2.filter2D()関数を使用して、カスタムフィルタを適用します。

平滑化フィルタの適用

import cv2
import numpy as np

# 画像の読み込み
image = cv2.imread('example.jpg')

# 3x3の平均化フィルタ
kernel = np.ones((3, 3), np.float32) / 9

# 畳み込みの適用
smoothed_image = cv2.filter2D(image, -1, kernel)

# 結果の表示
cv2.imshow('Original Image', image)
cv2.imshow('Smoothed Image', smoothed_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

このコードでは、3×3の平均化フィルタを用いて画像を平滑化しています。

エッジ検出フィルタの適用

# 水平方向のSobelフィルタ
sobel_horizontal = np.array([[-1, 0, 1],
                             [-2, 0, 2],
                             [-1, 0, 1]])

# 畳み込みの適用
edges_horizontal = cv2.filter2D(image, -1, sobel_horizontal)

# 結果の表示
cv2.imshow('Original Image', image)
cv2.imshow('Horizontal Edges', edges_horizontal)
cv2.waitKey(0)
cv2.destroyAllWindows()

このコードでは、水平方向のSobelフィルタを使用してエッジを検出しています。

畳み込みの応用例

1. 畳み込みニューラルネットワーク（CNN）

畳み込みは、畳み込みニューラルネットワーク（CNN）で特徴量を抽出するために広く使用されています。CNNでは、複数の畳み込み層を重ねて画像の高次元特徴を学習し、画像分類や物体検出、セグメンテーションなどのタスクを実現します。

2. 画像フィルタリング

畳み込みを使ったフィルタリングは、画像のぼかしやシャープ化、エッジ検出など、さまざまな画像処理に応用されます。畳み込みのカーネルを適切に設計することで、目的に応じた画像の変換が可能です。

まとめ

今回は、畳み込みの基本について解説しました。畳み込みは画像処理の基礎であり、フィルタを使って特徴を抽出するための重要な手法です。平滑化やエッジ検出といった具体的な応用例も紹介しました。畳み込みは、コンピュータビジョンや機械学習における様々な場面で利用されています。

次回予告

次

回は、エッジ検出について解説します。Sobel法やCanny法を用いたエッジ検出の方法を学びましょう。

---

注釈

1. フィルタ（カーネル）：畳み込みに用いる行列で、画像の特徴を抽出するために使用される。
2. パディング：畳み込み時に画像の境界部分のデータを補完する操作。
3. ストライド：フィルタを適用する際の移動幅。