【０から学ぶAI】第247回：Word2Vecの仕組み

前回のおさらいと今回のテーマ

こんにちは！前回は、単語埋め込み（Word Embedding）について学びました。単語を低次元のベクトルで表現し、意味的な関係を反映することで、自然言語処理（NLP）の多くのタスクで役立つ手法でした。BoWやTF-IDFと比べて、単語間の意味的な類似性を考慮できる点が特徴でした。

今回は、単語埋め込みの代表的な手法であるWord2Vecについて解説します。Word2Vecは、単語の意味的な類似度を学習するためのモデルであり、単語をベクトル空間上で表現するための基本的なアプローチです。この記事では、Word2Vecの基本的な考え方、主要な手法（CBOWとSkip-gram）、具体的な仕組みについて説明します。

Word2Vecとは？

1. Word2Vecの基本概念

Word2Vecは、Googleが開発した単語埋め込みアルゴリズムで、単語を意味的な特徴を持つ低次元の連続値ベクトルに変換するための手法です。Word2Vecは、単語同士の意味的な類似性や関係性を捉えるために、各単語の周辺の単語（コンテキスト）を利用して、その単語の意味を学習します。

学習が完了すると、単語はベクトル空間に配置され、意味的に類似する単語同士が近くに位置するようになります。例えば、「王」と「女王」、「犬」と「猫」は、それぞれ近い位置に配置されます。

2. 分布仮説に基づく学習

Word2Vecは分布仮説に基づいています。この仮説は、「意味が類似する単語は似たような文脈で使用される」という考え方で、単語の意味をその周囲の単語によって定義するものです。Word2Vecは、この仮説を利用して単語間の関係を学習し、単語ベクトルを生成します。

Word2Vecの主要な手法：CBOWとSkip-gram

Word2Vecには、以下の2つの学習方法があります。

1. CBOW（Continuous Bag of Words）

CBOWモデルは、周囲の単語（コンテキスト）を使って、中心の単語を予測する手法です。具体的には、周辺のN個の単語から中心の単語を推定するように学習します。このモデルは、大量のデータで訓練する際に効率的で、特に頻繁に出現する単語の学習に適しています。

例えば、文「The cat sits on the mat」があるとき、”cat”を中心の単語とすると、その周囲の単語（”The”, “sits”, “on”, “the”）から”cat”を予測します。

2. Skip-gram

Skip-gramモデルは、CBOWとは逆に、中心の単語から周囲の単語を予測する手法です。Skip-gramは、まれに出現する単語や新しい単語の学習に優れており、文脈から広い範囲の関連性を学習することができます。

上記の例では、”cat”を中心の単語とし、”The”, “sits”, “on”, “the”といった周囲の単語を予測するようにモデルを訓練します。

Word2Vecの仕組み

1. ニューラルネットワークの構造

Word2Vecは、単層のニューラルネットワークを用いて単語ベクトルを学習します。モデルは以下の3つの層から構成されています。

• 入力層：ターゲット単語（CBOWの場合はコンテキスト単語、Skip-gramの場合は中心単語）がOne-Hotエンコーディングされた形式で入力されます。
• 隠れ層：通常は、単語ベクトルの次元数に対応するノードを持つ1層のみの全結合層です。この層の重み行列が学習され、各単語に対する埋め込みベクトルを生成します。
• 出力層：予測されたターゲット単語がOne-Hotエンコーディング形式で表されます。

2. 学習の流れ

Word2Vecの学習は、以下の流れで進みます。

1. 単語のペアの生成：トレーニングデータから、ターゲット単語とコンテキスト単語のペアを生成します。CBOWではコンテキストからターゲットを、Skip-gramではターゲットからコンテキストを予測するペアが作られます。
2. ニューラルネットワークの訓練：生成されたペアを使って、ネットワークを訓練します。入力層にOne-Hotエンコーディングされたベクトルが与えられ、出力層で予測された単語の確率が計算されます。
3. 誤差の逆伝播：予測結果と正解ラベルの誤差を計算し、その誤差を逆伝播させてネットワークの重みを更新します。この重みが単語の埋め込みベクトルとして利用されます。

3. ネガティブサンプリングと階層的ソフトマックス

Word2Vecの学習には、計算効率を向上させるための2つの手法がよく使用されます。

a. ネガティブサンプリング

ネガティブサンプリングは、Skip-gramやCBOWで使用される手法で、出力層の全単語に対して予測を行う代わりに、少数の「正例」（ターゲットとなるコンテキスト単語）と「負例」（ターゲットではない単語）に対してのみ予測を行います。これにより、計算コストが大幅に削減され、効率的に学習が行えます。

b. 階層的ソフトマックス

階層的ソフトマックスは、単語の出現確率を効率的に計算する手法で、二分木を使って単語の確率分布をモデル化します。この手法では、単語の予測に必要な計算量が対数時間で済むため、特に大規模な語彙での効率化に有効です。

Word2Vecの応用

1. 単語の類似度計算

Word2Vecで学習した単語ベクトルは、ベクトル空間での距離を使って単語間の類似度を計算することができます。例えば、「王」－「男」＋「女」＝「女王」のように、単語ベクトルの計算で意味的な関係を表現することも可能です。

2. テキスト分類

学習された単語ベクトルを使って文書全体の特徴ベクトルを生成し、テキスト分類タスクに応用できます。例えば、ニュース記事のジャンル分けや感情分析などに利用されます。

3. 機械翻訳

Word2Vecは、機械翻訳にも応用されています。異なる言語での単語ベクトルを同じベクトル空間にマッピングすることで、異なる言語間の意味的な対応を学習することが可能です。

Word2Vecの限界と改良手法

1. 文脈依存の問題

Word2Vecでは、同じ単語は常に同じベクトルで表現されますが、文脈によって意味が異なる単語（多義語など）では適切に表現することが難しいです。この問題を解決するためには、BERTのような文脈依存型のモデルを利用することが効果的です。

2. 語彙外単語の問題

Word2Vecでは、訓練データに含まれていない単語（語彙外単語）には対応できません。この問題を克服するために、FastTextのようにサブ

ワード情報を取り入れる手法が開発されました。

まとめ

今回は、Word2Vecの基本的な仕組みとその学習手法（CBOWとSkip-gram）、さらに効率化のための技術（ネガティブサンプリングと階層的ソフトマックス）について解説しました。Word2Vecは、単語の意味的な関係をベクトル空間で表現する強力な手法で、NLPの多くの応用で役立っています。次回は、Word2Vecと異なるアプローチをとるGloVeモデルについて解説します。

次回予告

次回は、GloVeモデルについて説明します。共起行列を用いた単語埋め込み手法の仕組みや、Word2Vecとの違いを紹介します。お楽しみに！

---

注釈

1. 分布仮説：「意味が類似している単語は、似たような文脈で使用される」という考え方。
2. One-Hotエンコーディング：単語を語彙のサイズ分の次元で表現し、単語に対応する位置だけが1で他は0のベクトル。
3. ネガティブサンプリング：学習の際、少数の負例を使用して計算量を削減する手法。