前回のおさらいと今回のテーマ
こんにちは！前回は、画像認識に強いCNN（畳み込みニューラルネットワーク）を実装し、手書き数字を分類するモデルを構築しました。CNNは画像データの特徴を階層的に学習するため、画像処理分野で非常に強力なツールです。
今回は、RNN（再帰型ニューラルネットワーク）を使って、時系列データや自然言語処理（NLP）に強いモデルを実装します。RNNは、データの時間的な依存関係や連続的な関係性を捉えるのに適しており、音声認識、文章生成、株価予測など、シーケンシャルなデータを扱う多くの分野で活用されています。それでは、Kerasを使って基本的なRNNを構築していきましょう。
RNNとは？
再帰型ニューラルネットワーク（RNN: Recurrent Neural Network）は、シーケンシャルなデータ（時系列データやテキストデータなど）を処理するために設計されたネットワークです。RNNは、過去の情報を現在の計算に反映させる構造を持っており、過去のステップでの出力を次のステップの入力として利用することで、データの時間的な依存関係をモデル化します。
RNNの基本構造
RNNは、隠れ層が時間軸に沿って再帰的に繋がっていることが特徴です。通常のニューラルネットワークが入力から出力への順伝播のみを行うのに対し、RNNは過去の情報を保持しながら再帰的に計算を進めます。これにより、時系列データやテキストのようなシーケンシャルな情報を効率的に処理することができます。
Kerasを使ったRNNの実装
それでは、Kerasを使ってシンプルなRNNモデルを実装していきます。今回は、Kerasに含まれるIMDBデータセットを使用して、映画レビューの感情分類（ポジティブかネガティブか）を行うモデルを構築します。
1. 必要なライブラリのインポート
まず、TensorFlowとKerasのライブラリをインポートします。
import tensorflow as tf
from tensorflow.keras import layers, models2. データセットの準備
IMDBデータセットは映画のレビュー（テキスト）と、それがポジティブ（1）かネガティブ（0）かのラベルが含まれています。KerasにはIMDBデータセットが組み込まれているため、簡単に読み込むことができます。
# データセットの読み込み
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.imdb.load_data(num_words=10000)
# データのパディング（長さを統一）
x_train = tf.keras.preprocessing.sequence.pad_sequences(x_train, maxlen=100)
x_test = tf.keras.preprocessing.sequence.pad_sequences(x_test, maxlen=100)- num_words=10000: 最も頻繁に出現する上位10,000語のみを使用します。
- pad_sequences(): 各レビューの長さを100に統一するため、短いレビューにはパディング（0を追加）を行います。
3. RNNモデルの構築
次に、Kerasを使ってシンプルなRNNを構築します。今回は、LSTM（Long Short-Term Memory）というRNNの拡張版を使用します。LSTMは、通常のRNNよりも長期的な依存関係を捉えることが得意で、テキストや時系列データの処理に優れています。
# モデルの定義
model = models.Sequential()
model.add(layers.Embedding(input_dim=10000, output_dim=32, input_length=100))
model.add(layers.LSTM(32))
model.add(layers.Dense(1, activation='sigmoid'))- Embedding: テキストデータをベクトル表現に変換する層です。
input_dimは単語数（ボキャブラリーサイズ）、output_dimはベクトルの次元数、input_lengthはシーケンスの長さを指定します。 - LSTM: RNNの一種で、長期的な依存関係を学習するために最適化されています。
unitsはLSTM層のユニット数です。 - Dense: 全結合層で、最終的にシグモイド関数を使って出力を0〜1の範囲に変換し、二値分類を行います。
4. モデルのコンパイル
次に、モデルをコンパイルして、損失関数、最適化アルゴリズム、評価指標を設定します。
model.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])- optimizer=’adam’: Adamは効率的な最適化アルゴリズムで、LSTMなどのRNNに適しています。
- loss=’binary_crossentropy’: 二値分類のため、損失関数には
binary_crossentropyを指定します。 - metrics=[‘accuracy’]: モデルの性能を正解率で評価します。
5. モデルの訓練
データセットを使ってモデルを訓練します。
history = model.fit(x_train, y_train, epochs=10, batch_size=64, validation_split=0.2)- epochs=10: データセットを10回繰り返して訓練します。
- batch_size=64: 1回の更新で使用するサンプル数。
- validation_split=0.2: 訓練データの20%を検証データとして使用します。
6. モデルの評価
テストデータを使って、モデルの性能を評価します。
test_loss, test_accuracy = model.evaluate(x_test, y_test)
print(f"Test accuracy: {test_accuracy:.2f}")7. モデルの予測
訓練が完了したモデルを使って、テストデータで予測を行います。
predictions = model.predict(x_test)
# 最初の5つの予測結果を表示
for i in range(5):
print(f"Actual: {y_test[i]}, Predicted: {1 if predictions[i] > 0.5 else 0}")- predict(): モデルがテストデータを使って予測を行います。
predictions[i] > 0.5で0と1の分類結果を出力します。
RNNのカスタマイズと拡張
Kerasを使って、さらに複雑なRNNを構築することも可能です。
GRU（Gated Recurrent Unit）の使用
GRUはLSTMの簡易版で、パフォーマンスが向上する場合があります。Kerasで簡単に置き換えることができます。
model = models.Sequential()
model.add(layers.Embedding(input_dim=10000, output_dim=32, input_length=100))
model.add(layers.GRU(32))
model.add(layers.Dense(1, activation='sigmoid'))双方向RNN（Bidirectional RNN）
テキストデータなどでは、前後の文脈を同時に考慮することが有効です。KerasのBidirectionalラッパーを使って、双方向RNNを構築できます。
model = models.Sequential()
model.add(layers.Embedding(input_dim=10000, output_dim=32, input_length=100))
model.add(layers.Bidirectional(layers.LSTM(32)))
model.add(layers.Dense(1, activation='sigmoid'))まとめ
今回は、Kerasを使ってRNN（再帰型ニューラルネットワーク）を実装し、テキストデータの感情分類モデルを構築しました。RNNは、シーケンシャルなデータの依存関係を捉えるのに非常に強力なツールで、LSTMやGRUなどの拡張も存在します。これを応用して、様々
なシーケンシャルなデータに対するモデルを構築してみましょう。
次回予告
次回は、モデルの保存と読み込みについて解説します。学習済みモデルをファイルに保存し、再利用する方法を学びましょう！
注釈
- LSTM（Long Short-Term Memory）: 長期的な依存関係を学習するためのRNNの一種で、一般的なRNNよりも安定した学習が可能。
- Embedding層: テキストデータをベクトル表現に変換し、ネットワークに入力するための層。
コメント