【０から学ぶAI】第191回：画像生成の評価指標 〜 FIDスコアなどの評価方法を解説

前回の振り返り：Pix2Pix

前回は、Pix2Pixについて解説しました。Pix2Pixは、画像から画像への変換を行うモデルで、例えば白黒画像をカラー化する、スケッチからリアルな画像を生成するといったさまざまな変換タスクに応用されます。生成器と識別器の協調によって高品質な画像を生成する技術ですが、生成された画像の品質をどのように評価すべきかが重要な課題です。

今回は、画像生成の評価指標について、特にFIDスコア（Fréchet Inception Distance）などを使って生成された画像の品質を定量的に評価する手法を紹介します。

画像生成の評価指標とは？

画像生成モデルが生成する画像の品質を評価するためには、定量的な評価指標が必要です。人間の目による主観的な評価だけではなく、機械的に画像の質を測定するための方法が必要です。

主な評価指標としては、以下のようなものがあります。

• FIDスコア（Fréchet Inception Distance）
• IS（Inception Score）
• PSNR（Peak Signal-to-Noise Ratio）
• SSIM（Structural Similarity Index）

1. FIDスコア（Fréchet Inception Distance）

FIDスコアは、生成された画像の品質を評価するための最も広く使われている指標の一つです。FIDスコアは、生成された画像と実際のデータ（トレーニングデータ）との間の距離を測定します。具体的には、画像の特徴量を取り出し、その分布の違いを測定することで画像の類似性を定量的に評価します。

FIDスコアの計算方法

1. Inceptionネットワークを使用して、生成された画像と実データの特徴ベクトルを抽出します。
2. これらの特徴ベクトルの分布を、多次元の正規分布としてモデル化します。
3. 生成された画像と実データの分布間のFréchet距離（分布の違い）を計算し、その値をスコアとして用います。

FIDスコアの解釈

FIDスコアは低ければ低いほど良いとされています。スコアが低いほど、生成された画像が実際のデータに近いことを示しています。例えば、自然な風景や人間の顔などのリアルな画像を生成する場合、低いFIDスコアが目標となります。

2. IS（Inception Score）

Inception Score（IS）は、GANの性能を評価するために開発されたもう一つの指標です。このスコアは、生成された画像が「どれだけ多様で、分類可能か」を評価します。具体的には、生成された画像が異なるクラスに分類されるか、そして各クラスの信頼度が高いかを測定します。

ISの計算方法

1. Inceptionネットワークを使って、生成された画像を分類します。
2. 生成された画像の分類の多様性（異なるクラスに属するか）と信頼度（そのクラスに属する可能性が高いか）を計算し、それをスコアとして示します。

ISの解釈

ISは、スコアが高ければ高いほど良いです。生成された画像が多様であり、異なるクラスに分けられることが望ましいとされています。しかし、ISにはいくつかの欠点があり、生成された画像が人間にとって本当にリアルかどうかは評価できません。

3. PSNR（Peak Signal-to-Noise Ratio）

PSNRは、主に画像の再構成タスクで使用される評価指標で、再構成された画像がオリジナルの画像にどれだけ近いかを測定します。ノイズのレベルを定量化することで、元の画像に対してどれだけ精度高く復元できたかを評価します。

PSNRの計算方法

PSNRは、再構成された画像と元の画像との間のピクセルごとの差を計算し、その差の逆数をスコアとして出力します。数値が高いほど、ノイズが少なく、元の画像に近いことを示します。

PSNRの解釈

PSNRは、高ければ高いほど良いとされます。しかし、PSNRはピクセルごとの誤差に基づくため、視覚的なリアリズムを必ずしも正確に評価できないという欠点もあります。

4. SSIM（Structural Similarity Index）

SSIMは、画像の構造的な類似性を測定する指標です。ピクセル単位の差ではなく、画像全体の構造を基にして画像の品質を評価するため、視覚的なリアリズムをより正確に反映します。主に圧縮後の画像の品質を評価するために使用されます。

SSIMの計算方法

SSIMは、再構成された画像と元の画像の輝度、コントラスト、構造的な類似性を比較することで算出されます。これにより、視覚的にどれだけ元の画像に近いかが評価されます。

SSIMの解釈

SSIMは、1に近いほど良いです。1に近いほど、再構成された画像が元の画像と非常に類似していることを意味します。

画像生成評価の課題

評価指標は非常に重要ですが、生成された画像の品質を正確に測定することは依然として課題です。例えば、FIDやISのような定量的な指標だけでは、画像のリアリズムや自然さを完全には反映できないことがあります。そのため、これらの指標に加えて、視覚的な確認や主観的な評価も組み合わせて行うことが推奨されています。

まとめ

今回は、画像生成の評価指標について解説しました。主にFIDスコアが多くの研究で使用されており、生成された画像が実データとどれだけ近いかを定量的に評価する方法として重要です。しかし、他にもInception Score（IS）やPSNR、SSIMといったさまざまな指標があり、それぞれの指標が異なる観点から画像の品質を評価します。次回は、テキスト生成モデルの仕組みを詳しく学びます。

---

次回予告

次回は、テキスト生成モデルの詳細について解説します。言語モデルを使ったテキスト生成の仕組みやその応用について学び、どのようにして文章が自動的に生成されるかを探ります。次回もお楽しみに！

---

注釈

1. FIDスコア（Fréchet Inception Distance）: 生成された画像と実データの分布間の距離を測定する評価指標。低ければ低いほど良い。
2. Inception Score（IS）: 生成された画像がどれだけ多様で、分類可能かを評価する指標。スコアが高いほど良い。
3. PSNR（Peak Signal-to-Noise Ratio）: 画像再構成タスクで使用される指標で、再構成された画像と元の画像のピクセルごとの差を評価する。高ければ良い。
4. SSIM（Structural Similarity Index）: 画像の構造的な類似性を評価する指標。1に近いほど、再構成された画像が元の画像に近い。