【０から学ぶAI】第23回：データの標準化と正規化

前回のおさらいと今回のテーマ

こんにちは！前回は、データセットに含まれる異常な値をどのように検出し、処理するかを学びました。異常値を適切に処理することで、モデルの予測精度や信頼性を高めることができましたね。今回は、データをモデルがうまく学習できるように整えるための重要なステップであるデータの標準化と正規化について解説します。

標準化と正規化は、データのスケールを揃えるための手法です。異なる単位やスケールのデータが混在する場合、そのままではモデルが適切に学習できないことがあります。これを避けるために、データのスケールを揃えることが必要です。

データの標準化とは？

標準化の定義

標準化は、データの平均を0、標準偏差を1にする変換のことを指します。これにより、異なるスケールのデータを比較可能な形に揃えることができます。

例えば、身長と体重のデータを同時に扱う場合、単位が異なるため、それぞれのスケールも異なります。標準化を行うことで、これらのデータを同じ基準で比較できるようになります。

標準化の計算方法

標準化の計算方法は非常にシンプルです。以下の式を用いて行います。

標準化された値 = (元の値 - 平均) / 標準偏差

具体例を挙げてみましょう。例えば、あるデータセットでの身長の平均が170cm、標準偏差が10cmだとします。180cmの人の身長を標準化すると、次のように計算されます。

標準化された値 = (180 - 170) / 10 = 1

この計算結果は、180cmの身長が平均よりも標準偏差1つ分高いことを示しています。

標準化のメリットと注意点

標準化の大きなメリットは、異なるスケールのデータを揃えることで、モデルが特定の特徴量に偏ることなく学習できるようになることです。特に、線形回帰やサポートベクターマシン（SVM）など、データのスケールがモデルのパフォーマンスに直接影響を与えるアルゴリズムでは、標準化が重要です。

一方で、標準化には注意点もあります。例えば、データに外れ値が含まれていると、その影響で平均や標準偏差が大きく歪んでしまう可能性があります。そのため、外れ値の処理を行った後に標準化を行うことが推奨されます。

データの正規化とは？

正規化の定義

正規化とは、データを一定の範囲（通常は0から1の範囲）に収めるための変換のことを指します。これにより、すべてのデータが同じスケールで扱われ、モデルが各特徴量に対して公平に学習できるようになります。

例えば、収入（単位：円）と年齢（単位：年）を同時に扱う場合、収入の値は年齢に比べて非常に大きいため、モデルが収入に偏って学習してしまう可能性があります。正規化を行うことで、これを防ぎ、モデルが各特徴量をバランスよく学習できるようになります。

正規化の計算方法

正規化の計算方法も非常にシンプルです。以下の式を用いて行います。

正規化された値 = (元の値 - 最小値) / (最大値 - 最小値)

例えば、あるデータセットで収入が200万円から1000万円の範囲に分布しているとします。600万円の収入を正規化すると、次のように計算されます。

正規化された値 = (600 - 200) / (1000 - 200) = 0.5

この計算結果は、600万円の収入がデータセットの範囲内でちょうど中間に位置していることを示しています。

正規化のメリットと注意点

正規化の主なメリットは、異なるスケールのデータを統一することで、モデルが各特徴量に対して公平に学習できることです。特に、ニューラルネットワークなど、データのスケールが大きく異なるとモデルの学習が不安定になるアルゴリズムにおいて、正規化が効果的です。

一方で、正規化には注意点もあります。データの範囲が変動すると、正規化された値も大きく変動するため、新しいデータが追加されるたびに再度正規化を行う必要があることです。また、データの分布が偏っている場合、正規化された値が0や1に偏ってしまう可能性があるため、そのような場合は他の手法を検討することも重要です。

標準化と正規化の使い分け

標準化と正規化は、どちらもデータのスケールを揃えるための手法ですが、適用する場面が異なります。

• 標準化は、データが正規分布に近い場合や、線形回帰やSVMなどのアルゴリズムを使用する場合に適しています。データの平均と標準偏差を基準にスケールを揃えるため、データのばらつきを抑えつつ、各特徴量の相対的な関係を保つことができます。
• 正規化は、データが広範囲に分布している場合や、ニューラルネットワークなどのアルゴリズムを使用する場合に適しています。データを0から1の範囲に収めることで、アルゴリズムが安定して学習できるようになります。

これらの手法は、モデルの性能を最大化するために欠かせないステップです。どちらを使用するかは、データの特性や使用するアルゴリズムに応じて判断する必要があります。

具体的な例とケーススタディ

例えば、住宅価格を予測するモデルを構築する場合を考えてみましょう。この場合、住宅の広さ（平方メートル）や価格（万円）、築年数（年）など、異なるスケールのデータが含まれています。これらのデータをそのまま使用すると、モデルが価格に強く影響され、他の特徴量を無視してしまう可能性があります。

ここで、各特徴量を標準化することで、すべてのデータが同じスケールで扱われ、モデルが各特徴量を均等に考慮できるようになります。また、ニューラルネットワークを使用する場合は、正規化を行うことで学習が安定し、より正確な予測が可能になります。

次回

今回は、データのスケールを揃えるための重要な手法であるデータの標準化と正規化について解説しました。データのスケールを揃えることで、モデルが各特徴量をバランスよく学習できるようになります。次回は、文字データを数値データに変換する方法であるカテゴリ変数のエンコーディングについて詳しく解説します。引き続き、一緒に学んでいきましょう！

まとめ

今回は、データのスケールを揃えるための手法である標準化と正規化について詳しく解説しました。これらの手法を用いることで、モデルが各特徴量を均等に学習でき、より正確な予測が可能になります。次回は、文字データを数値に変換する方法であるカテゴリ変数のエンコーディングについて見ていきますので、お楽しみに！

---

注釈

• 標準化: データの平均を0、標準偏差を1にする変換方法。データのばらつきを抑えることができ

る。

• 正規化: データを0から1の範囲にスケーリングする方法。異なるスケールのデータを揃えるために使用する。
• サポートベクターマシン（SVM）: 機械学習アルゴリズムの一つで、データをクラスに分類するために使用される。
• ニューラルネットワーク: 人工知能の一種で、人間の脳の神経回路を模倣したモデル。