前回の振り返り：異常値の検出
前回は、データ中の異常値を見つけ出すための手法を解説しました。ZスコアやIQR、ボックスプロットといった手法を使うことで、他のデータから大きく外れた異常値を視覚的かつ数値的に特定できることがわかりました。異常値は、誤ったデータや珍しいイベントの指標であり、適切な処理が求められます。
今回は、データの分布と基本的な統計量について解説し、平均、中央値、標準偏差といった統計量がどのようにデータ分析で役立つのかを詳しく説明します。
データの分布とは？
データの分布は、データがどのように配置されているか、または値がどの範囲に集中しているかを表すものです。データがどの範囲に集中しているのか、またはばらついているのかを知ることで、データの特性を理解しやすくなります。
例えで理解するデータの分布
データの分布は「クラス全体のテストの点数分布」に例えられます。全員がほぼ同じ点数を取った場合、点数の分布は狭く集中していますが、成績にばらつきがある場合は、分布が広がります。データの分布を理解することは、データの中心傾向やばらつきを把握する上で非常に重要です。
統計量とは？
統計量とは、データセット全体を簡潔に要約するための数値です。統計量を使うことで、データの中心や広がり、形状を理解しやすくなります。代表的な統計量には、平均、中央値、標準偏差、分散などがあります。
代表的な統計量
ここでは、データ分析においてよく使われる基本的な統計量を紹介します。
1. 平均（Mean）
平均は、すべてのデータポイントの値を合計し、それをデータの個数で割ったものです。平均は、データセット全体の「中心」を示しますが、外れ値に影響を受けやすいという特徴があります。
例えで理解する平均
平均は「クラス全体のテストの点数の合計を生徒の人数で割ること」に似ています。全員の得点を足して平均点を計算することで、クラス全体の学力を示す一つの指標が得られます。
2. 中央値（Median）
中央値は、データを小さい順に並べた時の中央に位置する値です。外れ値の影響を受けにくいため、平均よりもデータの「中心」をより正確に表すことがあります。特に、異常値が多いデータセットでは、中央値がデータの代表値として適しています。
例えで理解する中央値
中央値は「テストの点数を全員分並べて、その中間に位置する生徒の点数」を考えることに似ています。成績が極端に良い生徒や悪い生徒がいても、その影響を受けにくい指標です。
3. モード（Mode）
モードは、データの中で最も頻繁に現れる値です。モードは、特にカテゴリデータにおいて、どの値が最もよく出現するかを知るのに役立ちます。
例えで理解するモード
モードは「クラスの中で最も多くの生徒が取った点数」に例えることができます。例えば、70点を取った生徒が最も多ければ、それがモードです。
4. 分散（Variance）と標準偏差（Standard Deviation）
分散は、各データポイントが平均からどれだけ離れているかの程度を示す指標で、データのばらつきを数値化したものです。分散の平方根が標準偏差で、これによりデータのばらつきをより直感的に理解できます。標準偏差が大きいほど、データのばらつきが大きいことを示し、小さいほど、データは平均値の周りに集中しています。
例えで理解する標準偏差
標準偏差は「クラスのテストの点数がどれだけ平均点からばらついているか」を示します。点数がほとんど同じであれば標準偏差は小さくなり、点数に大きなばらつきがあれば標準偏差は大きくなります。
5. 四分位範囲（Interquartile Range, IQR）
四分位範囲（IQR）は、データを四分位数に分け、その範囲を使ってデータのばらつきを示します。Q1（第1四分位）とQ3（第3四分位）の差がIQRであり、中央の50%のデータがどの範囲にあるかを示します。外れ値を検出する際にも使われます。
例えで理解する四分位範囲
IQRは「クラス全体の成績を4つに分けて、中央の生徒たちの成績範囲を考えること」に似ています。これにより、極端に高いまたは低い点数を除外した、中心部分のデータを理解することができます。
データの分布を視覚化する方法
データの分布や統計量を理解するためには、視覚化も重要です。ここでは、代表的なデータの視覚化手法を紹介します。
1. ヒストグラム（Histogram）
ヒストグラムは、データを一定の範囲に分け、それぞれの範囲に属するデータの数を示すグラフです。データの分布状況を一目で把握することができ、特にデータのばらつきを理解するのに役立ちます。
例えで理解するヒストグラム
ヒストグラムは「テストの点数を10点ごとに分けて、各範囲に何人の生徒がいるかを示すグラフ」に例えられます。これにより、どの点数帯に生徒が集中しているかがわかります。
2. 箱ひげ図（Box Plot）
箱ひげ図は、データの四分位範囲と外れ値を視覚的に示すグラフです。箱の中央には中央値が表示され、データの分布や外れ値が簡単に確認できます。
例えで理解する箱ひげ図
箱ひげ図は「クラス全体の成績分布を箱で整理し、外れ値を見つけるツール」に似ています。多くの生徒が中央の箱に収まり、極端に高いまたは低い成績は箱の外に表示されます。
統計量の活用例
統計量は、データ分析だけでなく、ビジネスや研究の意思決定にも大きな役割を果たします。例えば、以下のような場面で使われます。
- 売上分析：売上データの平均や中央値、標準偏差を使って、季節ごとの売上傾向や異常な月の売上を確認します。
- 品質管理：製品の品質データを基に、平均値や分散を計算し、製品のばらつきを管理します。異常なデータがあれば、その原因を調査します。
- マーケティング分析：顧客データの統計量を使って、ターゲット顧客の特徴を把握し、効果的なマーケティング施策を打ち出します。
まとめ
今回は、データの分布と統計量について解説しました。平均や中央値、標準偏差などの統計量を理解することで、データの特性や傾向をより深く把握できるようになります。また、データの分布を視覚的に表現するヒストグラムや
箱ひげ図などのツールを使うことで、データの傾向や異常値を簡単に確認できるようになります。
次回予告
次回は、カテゴリ変数の扱い方について解説します。ラベルエンコーディングやワンホットエンコーディングといった手法を用いて、カテゴリデータをどのように処理するかを学びましょう。
注釈
- 平均（Mean）: データの中心を示す値で、すべてのデータを合計し、その個数で割ったもの。
- 中央値（Median）: データを小さい順に並べた時の中央の値。外れ値の影響を受けにくい。
- 標準偏差（Standard Deviation）: データが平均からどれだけばらついているかを示す指標。
- 分散（Variance）: データのばらつきの大きさを示す指標で、標準偏差の平方。
- IQR（四分位範囲）: 第1四分位と第3四分位の差。外れ値の検出に使われる。
コメント