用語集 ~ディープラーニング~

畳み込みニューラルネットワーク (CNN: Convolutional Neural Network)

畳み込みニューラルネットワーク（Convolutional Neural Network, CNN）は、特に画像や映像などの2次元データの処理に適したニューラルネットワークの一種です。CNNは、画像の空間的な特徴（エッジやテクスチャなど）を自動的に学習する能力を持っており、畳み込み層、プーリング層、全結合層などから構成されます。畳み込み層では、フィルター（カーネル）を使って画像の局所領域を処理し、特徴マップを生成します。プーリング層では、空間的な情報を圧縮し、計算コストを削減すると同時に過学習を防ぎます。CNNは、画像分類、物体検出、顔認識、医療画像分析など、さまざまなコンピュータビジョンのタスクにおいて圧倒的な性能を発揮します。また、CNNは画像データだけでなく、音声処理や自然言語処理などの分野でも応用されることがあります。

リカレントニューラルネットワーク (RNN: Recurrent Neural Network)

リカレントニューラルネットワーク（Recurrent Neural Network, RNN）は、時系列データや順序のあるデータを処理するために設計されたニューラルネットワークの一種です。RNNは、ネットワーク内に「ループ構造」を持ち、過去の情報を内部状態として保持しながら、新しい入力に基づいて出力を生成します。これにより、音声認識や自然言語処理、時系列予測など、データの時間的な依存性を考慮したタスクに適しています。しかし、従来のRNNは、長期的な依存関係を学習する際に「勾配消失問題」を引き起こしやすく、長いシーケンスを扱うのが困難です。これを克服するために、長短期記憶（LSTM）やゲート付き再帰単位（GRU）といった改良型のRNNが開発され、より長期的な依存関係の学習が可能となっています。

長短期記憶 (LSTM: Long Short-Term Memory)

長短期記憶（Long Short-Term Memory, LSTM）は、リカレントニューラルネットワーク（RNN）の一種で、時間依存性のあるデータを処理する際に、長期的な依存関係を学習できるように設計されたモデルです。LSTMは、入力ゲート、忘却ゲート、出力ゲートという3つのゲート構造を持ち、これらを使って情報を制御し、重要な情報を記憶したり、不要な情報を忘れたりします。これにより、RNNで問題となる「勾配消失問題」を軽減し、長期間にわたる情報を保持しながら、適切に学習することができます。LSTMは、音声認識、翻訳、時系列予測、自然言語処理など、多くの応用分野で優れた成果を上げています。特に、文章生成や機械翻訳のように、長い文脈を持つタスクにおいて効果的です。

ゲート付き再帰単位 (GRU: Gated Recurrent Unit)

ゲート付き再帰単位（Gated Recurrent Unit, GRU）は、リカレントニューラルネットワーク（RNN）の変種で、LSTMと同様に、時間依存性のあるデータを処理するために設計されたモデルです。GRUは、LSTMと同様に「ゲート機構」を持ちますが、構造がよりシンプルで、LSTMの3つのゲート（入力ゲート、忘却ゲート、出力ゲート）に対して、GRUは更新ゲートとリセットゲートの2つのゲートだけを持っています。このシンプルさにより、GRUは計算効率が高く、トレーニング時間が短くなる傾向があります。GRUは、LSTMと比較して同等の性能を発揮することが多く、時系列予測や自然言語処理、音声認識など、さまざまなシーケンシャルデータの処理において広く使われています。LSTMとGRUの選択は、具体的なタスクやデータに応じて行われます。

オートエンコーダー (Autoencoder)

オートエンコーダー（Autoencoder）は、教師なし学習におけるニューラルネットワークの一種で、入力データを圧縮し、特徴を抽出するためのモデルです。オートエンコーダーは、通常、エンコーダーとデコーダーの2つの部分から構成されており、エンコーダーが入力データを低次元の特徴空間（潜在空間）に圧縮し、デコーダーがその圧縮された情報を基にして元のデータを再構成します。このプロセスにより、データの特徴を学習し、次元削減やデータのノイズ除去に利用されます。オートエンコーダーは、教師なし学習のため、ラベルなしデータを使ってデータのパターンを学習できる点が特徴です。また、変分オートエンコーダー（VAE）やスパースオートエンコーダーなどの拡張モデルもあり、データ生成や異常検知など、さまざまな応用に利用されています。

変分オートエンコーダー (VAE: Variational Autoencoder)

変分オートエンコーダー（Variational Autoencoder, VAE）は、オートエンコーダーを拡張した生成モデルであり、入力データを潜在空間にエンコードし、そこからデータを生成する能力を持っています。VAEの主な特徴は、通常のオートエンコーダーと異なり、潜在変数を確率分布（通常は正規分布）として扱う点にあります。これにより、データを再現するだけでなく、新しいデータの生成も可能になります。VAEは、エンコーダーが入力データを潜在空間にエンコードし、そこからサンプルを生成します。その後、デコーダーがそのサンプルを元にデータを再構成します。VAEは、画像生成や異常検知、データのノイズ除去などに応用されており、特に生成モデルとしてGAN（生成敵対ネットワーク）と並んで注目されています。VAEの強みは、潜在空間の意味を持つ分布に基づいた新しいデータ生成ができる点です。

生成敵対ネットワーク (GAN: Generative Adversarial Network)

生成敵対ネットワーク（Generative Adversarial Network, GAN）は、2つのニューラルネットワーク、生成器（Generator）と識別器（Discriminator）が互いに競い合いながら学習することで、リアルなデータを生成するモデルです。生成器は、ランダムなノイズからデータ（例：画像）を生成し、識別器はその生成データが本物か偽物かを判別します。この対立的なプロセスを繰り返すことで、生成器はより本物に近いデータを生成できるようになります。GANは、画像生成、ビデオ生成、スタイル変換などの分野で非常に成功を収めており、例えば、絵画風の画像変換や高解像度画像生成に応用されています。ただし、GANの学習は不安定になりやすく、学習が収束しないことがあるため、トレーニングの際には調整が必要です。GANの特徴は、生成されたデータが非常にリアルである点にあり、生成モデルの一つとして注目を集めています。

トランスフォーマー (Transformer)

トランスフォーマー（Transformer）は、自然言語処理（NLP）における革新的なニューラルネットワークモデルで、従来のリカレントニューラルネットワーク（RNN）や長短期記憶（LSTM）の代替として広く利用されています。トランスフォーマーは、自己注意機構（Self-Attention）を中心に構築され、シーケンシャルなデータを効率的に処理します。従来のRNNやLSTMは、データを順次処理するため計算が非効率的でしたが、トランスフォーマーは全ての入力トークン間の依存関係を並列的に計算することで、計算効率を大幅に向上させています。トランスフォーマーは、機械翻訳、テキスト生成、文書分類など、NLPのあらゆるタスクで成功を収めており、GoogleのBERTやOpenAIのGPTなどの大規模モデルもトランスフォーマーに基づいています。トランスフォーマーは、長い文脈を効率的に学習でき、並列計算が可能な点が特徴です。

アテンション機構 (Attention Mechanism)

アテンション機構（Attention Mechanism）は、ニューラルネットワークが入力データの中で特に重要な部分に「注意」を向けることを可能にする手法です。特に自然言語処理や機械翻訳のタスクで効果的に利用されます。アテンションは、モデルが全ての入力を一度に処理するのではなく、各入力の重要度に基づいて重み付けを行い、より関連性の高い情報に焦点を当てます。これにより、長いシーケンスや文脈のあるデータでも重要な部分を抽出して処理することができます。アテンション機構は、トランスフォーマーモデルの中心的なコンポーネントであり、特に自己注意（Self-Attention）によって、入力トークン間の依存関係を効率的に学習します。アテンション機構は、機械翻訳や要約、質問応答など、様々なNLPタスクで成功を収めており、文脈の理解において非常に重要です。

自己注意 (Self-Attention)

自己注意（Self-Attention）は、アテンション機構の一種で、入力シーケンス内の各要素が他の要素に対してどれだけ重要かを学習する手法です。自己注意は、トランスフォーマーにおいて中心的な役割を果たし、各トークンが他のすべてのトークンに対してどの程度依存しているかを計算します。これにより、文脈全体を考慮した上で、各トークンが持つ意味や役割をより正確に捉えることができます。自己注意は、従来のRNNやLSTMとは異なり、並列的に全ての入力を処理できるため、長いシーケンスに対しても高効率で動作します。特に、機械翻訳や文章生成のタスクでは、文脈全体を見渡しながら翻訳や生成を行うことが可能になるため、高精度な結果が得られます。自己注意は、トランスフォーマーやBERT、GPTなどのモデルに不可欠な技術で、NLPにおけるモデル性能を大きく向上させました。

マルチヘッドアテンション (Multi-Head Attention)

マルチヘッドアテンション（Multi-Head Attention）は、トランスフォーマー（Transformer）におけるアテンション機構の拡張版で、入力データに対して複数の異なるアテンションを並行して適用し、異なる視点からデータ間の依存関係を学習できるようにする手法です。具体的には、アテンションを複数のヘッドに分け、それぞれ独立してアテンションを計算した後、それらの結果を結合して最終的な出力を得ます。これにより、モデルは異なる特徴空間での関係性を同時に捉えることができ、より豊かな表現を学習します。例えば、文章の中で異なる単語同士の関係を複数の観点から考慮することが可能です。マルチヘッドアテンションは、自然言語処理（NLP）のタスクにおいて非常に効果的であり、機械翻訳や文章生成、文書分類などで高い性能を発揮します。また、トランスフォーマーモデルの重要な要素であり、BERTやGPTなどのモデルでも採用されています。

位置エンコーディング (Positional Encoding)

位置エンコーディング（Positional Encoding）は、トランスフォーマーモデルで使用される手法で、シーケンシャルなデータ（例えば文章や時系列データ）における位置情報をモデルに伝えるためのものです。トランスフォーマーは並列処理が可能である一方で、入力の順序情報を直接扱う仕組みがないため、位置エンコーディングを使って各要素の順序や位置をエンコードします。具体的には、サイン波やコサイン波を基にした数列を入力に追加することで、各要素の位置情報を保持します。これにより、トランスフォーマーは文中の単語の位置関係を考慮しながら学習を進めることが可能になります。位置エンコーディングは、自然言語処理において、文脈理解や機械翻訳、テキスト生成などのタスクで重要な役割を果たし、文中の単語間の依存関係を正確に捉えるために不可欠です。

残差ネットワーク (ResNet: Residual Network)

残差ネットワーク（Residual Network, ResNet）は、非常に深いニューラルネットワークを効率的に学習できるように設計されたモデルで、2015年に登場して以来、画像認識分野で革新的な成果を上げています。ResNetの特徴は、「残差ブロック」と呼ばれる構造で、これにより、各層の出力に入力を直接加算するスキップ接続（ショートカット接続）が導入されています。スキップ接続は、深い層を持つモデルでも勾配消失問題を軽減し、より効率的に学習を進めることができるようにします。この構造により、非常に深い層（数百層）を持つモデルでもトレーニングが可能となり、より複雑なデータのパターンを学習できます。ResNetは、ImageNetコンペティションでの成功をきっかけに広く使用され、現在でも画像分類、物体検出、画像セグメンテーションなど多くの視覚タスクで用いられています。

デンセネット (DenseNet)

デンセネット（DenseNet）は、ニューラルネットワークの一種で、各層の出力がすべての後続層の入力として使われる構造を持つモデルです。この「密接な接続（Dense Connection）」によって、モデルはより効率的に情報を伝達し、勾配消失問題を軽減します。DenseNetでは、各層がそれまでの全ての層の出力を参照できるため、特徴量の再利用が進み、パラメータ数を抑えながらも高い表現力を持つことが可能です。また、従来のモデルと比べて層ごとの情報流れが良いため、深いネットワークでも効率的にトレーニングできます。DenseNetは、特に画像認識や物体検出、画像セグメンテーションといった分野で広く利用されており、ResNetと同様に深層学習における重要な進展をもたらしたモデルです。さらに、DenseNetは、少ないパラメータで高精度なモデルを実現することができ、メモリ効率が高い点も特徴です。

モバイルネット (MobileNet)

モバイルネット（MobileNet）は、軽量かつ高効率なニューラルネットワークで、特にモバイルデバイスや組み込みシステムなど、リソースが限られた環境での利用を目的として設計されたモデルです。モバイルネットの主な特徴は、深層方向分離畳み込み（Depthwise Separable Convolution）と呼ばれる手法を採用している点で、これにより通常の畳み込み操作を2段階に分け、計算量を大幅に削減します。具体的には、まず各入力チャネルごとに畳み込みを行い、その後、各チャネル間での結合を行うことで、少ない計算リソースで高精度な特徴抽出が可能になります。モバイルネットは、特に画像認識や物体検出などのタスクに適しており、スマートフォンやIoTデバイスでリアルタイムに動作するAIアプリケーションに広く利用されています。また、計算効率が高く、モデルのサイズが小さいため、リソースが限られた環境でも高度なAI機能を提供することが可能です。

EfficientNet

EfficientNetは、ニューラルネットワークのスケーリングを効率的に行うために設計されたモデルで、より少ない計算リソースで高精度なモデルを実現することを目的としています。EfficientNetの特徴は、モデルの深さ（Depth）、幅（Width）、解像度（Resolution）を統一的にスケーリングする手法「コンパウンドスケーリング」を採用している点です。従来のモデルは、個々のパラメータを独立して調整していましたが、EfficientNetではこれら3つの要素をバランスよく拡張することで、計算効率を大幅に向上させています。EfficientNetは、ImageNetなどのベンチマークで他のモデルに比べて少ないパラメータで高精度を達成しており、特に画像分類や物体検出などのタスクにおいて優れた性能を発揮します。リソースが限られたモバイルデバイスやエッジデバイスでも効率よく動作できるため、さまざまな実務アプリケーションに適用されています。

セマンティックセグメンテーション (Semantic Segmentation)

セマンティックセグメンテーション（Semantic Segmentation）は、画像内の各ピクセルに対して、その所属するクラスを割り当てるタスクです。例えば、車や道路、木など、画像内の物体が何であるかをピクセル単位で識別し、同じクラスに属するピクセルをグループ化します。この手法は、物体の細かな輪郭を認識する必要があるため、物体検出よりも詳細な情報を提供します。セマンティックセグメンテーションは、自動運転、医療画像解析（臓器や病変の分割）、ロボットビジョンなど、視覚情報を詳細に解析する必要がある分野で広く利用されています。一般的には、畳み込みニューラルネットワーク（CNN）をベースにしたアーキテクチャが使われ、U-NetやFully Convolutional Networks (FCN) が代表的なモデルとして知られています。ただし、セマンティックセグメンテーションでは、同じクラスに属する物体が複数あっても区別はされず、一つのクラスとしてまとめられます。

インスタンスセグメンテーション (Instance Segmentation)

インスタンスセグメンテーション（Instance Segmentation）は、セマンティックセグメンテーションの拡張版で、画像内の各物体をピクセル単位で分類するだけでなく、同じクラス内の異なる物体（インスタンス）を個別に識別するタスクです。例えば、画像内に複数の車がある場合、セマンティックセグメンテーションではすべての車が同じクラスとしてラベル付けされますが、インスタンスセグメンテーションでは、それぞれの車が個別のインスタンスとして認識されます。これにより、画像内の各物体をより詳細に解析することが可能です。インスタンスセグメンテーションは、自動運転、監視システム、医療画像解析など、多くの応用分野で活用されており、Mask R-CNNなどのアルゴリズムがよく使用されます。この手法は、物体検出とセマンティックセグメンテーションを組み合わせたアプローチで、より精密な物体認識を実現します。

バッチ正規化 (Batch Normalization)

バッチ正規化（Batch Normalization）は、ニューラルネットワークの学習を安定化し、収束を早めるための手法で、特に深いネットワークにおいて効果を発揮します。バッチ正規化は、各ミニバッチごとに層の入力を正規化することで、各層の出力の分布が一定になるように調整します。これにより、勾配消失問題や勾配爆発問題を軽減し、学習を高速化します。また、バッチ正規化は、学習率に対してモデルをよりロバストにするため、高い学習率でも安定したトレーニングが可能になります。さらに、バッチ正規化は正則化効果も持ち、過学習を防ぐ効果もあります。バッチ正規化は、畳み込みニューラルネットワーク（CNN）やリカレントニューラルネットワーク（RNN）をはじめ、様々なモデルで広く使用されており、モデルの精度とトレーニングの効率を大幅に向上させます。

レイヤーノーマライゼーション (Layer Normalization)

レイヤーノーマライゼーション（Layer Normalization）は、ニューラルネットワークのトレーニングを安定させるための正規化手法の一つで、バッチ正規化とは異なり、バッチ全体ではなく、各層ごとに正規化を行います。具体的には、各ニューロンの出力を正規化して、層内の各ニューロンが同じスケールで学習できるように調整します。この手法は、特にリカレントニューラルネットワーク（RNN）やトランスフォーマーモデルで効果的です。バッチ正規化がバッチサイズに依存するのに対し、レイヤーノーマライゼーションは、バッチサイズの制約がなく、小規模データやリアルタイム処理のような状況でも安定した学習が可能です。レイヤーノーマライゼーションは、主に自然言語処理（NLP）や強化学習の分野で広く採用されており、特にシーケンスデータを扱うモデルでトレーニングを安定化し、収束速度を向上させる役割を果たします。

ドロップアウト (Dropout)

ドロップアウト（Dropout）は、ニューラルネットワークの過学習（オーバーフィッティング）を防ぐための正則化手法の一つで、トレーニング中にランダムに一部のニューロンを無効化（出力をゼロに）することで実現されます。具体的には、各トレーニングステップごとに、ネットワーク内のノードの一部をランダムに選び、そのノードの出力をゼロにします。これにより、ネットワークが特定のニューロンに過度に依存するのを防ぎ、モデルの汎化能力を向上させます。ドロップアウトは、特に深層ニューラルネットワーク（Deep Neural Networks）で有効で、モデルの複雑さを減らし、トレーニングデータに対して過剰に適合しないようにします。ドロップアウトの無効化率（通常は0.2から0.5程度）はハイパーパラメータとして設定され、推論時には全てのノードを使用して予測が行われます。ドロップアウトは、画像認識や自然言語処理など、幅広い分野で使用されています。

活性化関数 (Activation Function)

活性化関数（Activation Function）は、ニューラルネットワークにおいて、各ニューロンの出力を決定するために使用される非線形の関数です。活性化関数は、入力信号を処理し、ニューロンの出力を計算する際に、モデルに非線形性を導入する役割を果たします。これにより、ネットワークは単純な線形関係を超えた複雑なパターンや特徴を学習することができます。代表的な活性化関数には、シグモイド関数、ReLU（Rectified Linear Unit）、tanh（双曲線正接関数）などがあります。適切な活性化関数の選択は、ニューラルネットワークの学習効率や性能に大きな影響を与えるため、タスクに応じて選定することが重要です。例えば、画像処理ではReLUが広く使われ、分類問題ではシグモイド関数やソフトマックス関数が利用されます。

ReLU (Rectified Linear Unit)

ReLU（Rectified Linear Unit）は、ニューラルネットワークで最も一般的に使用される活性化関数の一つで、特にディープラーニングにおいて非常に効果的です。ReLUの数式は非常にシンプルで、入力が正の値の場合はそのまま出力し、負の値の場合は0を出力します。具体的には、関数は次のように定義されます：
$f(x) = \max(0, x)$
この非線形性により、ReLUはモデルに複雑なパターンを学習させることができます。ReLUの主な利点は、他の活性化関数（シグモイド関数やtanhなど）と比較して勾配消失問題が発生しにくい点です。また、計算が非常に軽く、トレーニングの収束が速いという利点もあります。ただし、負の入力に対して常に0を返すため、「死んだReLU」問題（特定のニューロンが学習中に常に0を出力する状態）に注意が必要です。この問題を解決するために、ReLUの変種であるLeaky ReLUやParametric ReLUなどが提案されています。

Leaky ReLU

Leaky ReLUは、ReLUの変種であり、ReLUの「死んだReLU」問題を軽減するために開発された活性化関数です。通常のReLUは、負の入力に対して常に0を出力しますが、Leaky ReLUでは、負の入力に対しても小さな勾配を許容します。具体的には、負の入力に対して小さな負のスロープを導入することで、ニューロンが完全に「死んで」しまうことを防ぎます。Leaky ReLUの数式は次のように表されます：
$f(x) = \max(0.01x, x)$
ここで、0.01は負のスロープの大きさを示しており、これはハイパーパラメータとして調整可能です。Leaky ReLUは、負の入力に対しても学習が進むため、従来のReLUよりも安定した学習を実現します。特に、ディープラーニングモデルで発生しがちな勾配消失問題を改善するために有効です。Leaky ReLUは、画像認識や自然言語処理など、広範なタスクで使用されています。

シグモイド関数 (Sigmoid Function)

シグモイド関数（Sigmoid Function）は、ニューラルネットワークにおいてよく使われる活性化関数の一つで、入力を0から1の範囲に変換する非線形関数です。シグモイド関数は次のように定義されます：
$f(x) = \frac{1}{1 + e^{-x}}$
この関数は、入力が正の値であれば出力が1に近づき、負の値であれば出力が0に近づくという特性を持っています。そのため、シグモイド関数は2値分類問題などでよく使用され、出力が確率として解釈できるため、ロジスティック回帰などにも応用されています。ただし、シグモイド関数にはいくつかの欠点があります。特に、入力が非常に大きいか小さい場合、勾配が非常に小さくなり、学習が進みにくくなる「勾配消失問題」が発生しやすいことです。現在では、ReLUなどの活性化関数がディープラーニングで主流となっていますが、シグモイド関数は依然として分類タスクや出力層で使用されることが多いです。

タンハ関数 (Tanh Function)

タンハ関数（Tanh Function）は、ニューラルネットワークで使用される活性化関数の一つで、シグモイド関数に似た非線形関数です。ただし、シグモイド関数が出力範囲を0から1の間に制限するのに対し、タンハ関数は出力を-1から1の範囲にスケーリングします。数式で表すと、タンハ関数は次のように定義されます：
$f(x) = \tanh(x) = \frac{e^x – e^{-x}}{e^x + e^{-x}}$
この関数は、入力が大きな正の値であれば1に近づき、負の値であれば-1に近づきます。タンハ関数の特徴は、出力がゼロ中心に分布することです。これにより、シグモイド関数と比較して勾配の流れが改善され、学習が進みやすくなります。ただし、タンハ関数もシグモイド関数と同様に、大きな値や小さな値に対しては勾配が小さくなるため、「勾配消失問題」が発生する可能性があります。現在では、ReLUのような他の活性化関数がディープラーニングで主流となっていますが、タンハ関数は依然としていくつかのタスクで使用されています。

ソフトマックス関数 (Softmax Function)

ソフトマックス関数（Softmax Function）は、主に分類問題の出力層で使用される活性化関数で、多クラス分類問題において各クラスの確率を出力するために使われます。ソフトマックス関数は、入力された実数値を0から1の範囲の確率値に変換し、出力が全体で1に正規化されるように調整します。数式で表すと、ソフトマックス関数は次のように定義されます：
$\text{softmax}(x_i) =\frac{e^{x_i}}{\sum_{j=1}^{n} e^{x_j}}$
ここで、$( x_i )$ は各クラスの出力値で、$( n )$ はクラスの総数です。各クラスの出力が他のクラスと比較してどれだけ高いかを基に、各クラスが正しいクラスである確率を計算します。ソフトマックス関数は、クロスエントロピー損失関数と共に多クラス分類問題でよく使用され、分類問題の最後の層として使われます。例えば、画像認識において、ある画像が猫、犬、鳥のいずれかに分類される場合、ソフトマックス関数を使って各クラスの確率を計算し、最も確率が高いクラスを選択します。

勾配消失問題 (Vanishing Gradient Problem)

勾配消失問題（Vanishing Gradient Problem）は、ディープラーニングにおいて、特にリカレントニューラルネットワーク（RNN）や深いニューラルネットワークで発生しやすい問題で、誤差逆伝播法を用いて学習を行う際に、層が深くなるにつれて勾配（パラメータの更新量）が急激に小さくなる現象です。勾配が小さすぎると、モデルのパラメータが十分に更新されず、学習が進まなくなります。特にシグモイド関数やタンハ関数など、出力範囲が限られた活性化関数を使用する場合、この問題が顕著に現れます。勾配消失問題は、長期的な依存関係を持つデータ（例えば時系列データや長いシーケンス）を学習する際に特に深刻です。この問題を解決するために、ReLUのような勾配が小さくなりにくい活性化関数が広く使用されるようになりました。また、LSTMやGRUのような特殊なRNNアーキテクチャも、勾配消失問題に対処するために開発されました。

勾配爆発問題 (Exploding Gradient Problem)

勾配爆発問題（Exploding Gradient Problem）は、勾配消失問題とは逆に、ディープラーニングにおいて誤差逆伝播法を使用したトレーニング中に勾配が極端に大きくなり、パラメータの更新量が過度に増加してしまう現象です。この現象は、特にRNNや非常に深いニューラルネットワークで発生しやすく、大きすぎる勾配が原因でモデルのトレーニングが不安定になり、学習が正しく進まなくなることがあります。勾配爆発は、学習率が大きすぎる場合や、ネットワークの初期化が不適切な場合にも起こりやすいです。勾配爆発問題を防ぐためには、勾配クリッピング（Gradient Clipping）という手法がよく使われます。この手法では、勾配がある一定の閾値を超えた場合に、その値を制限することで、勾配が過度に大きくなるのを防ぎます。勾配爆発はモデルの精度や安定性に悪影響を与えるため、特に深いニューラルネットワークや長いシーケンスを処理するモデルでは重要な課題です。