G検定（JDLA） 練習問題 31：系列モデル：LSTMの構造
自然言語処理におけるRNN（再帰型ニューラルネットワーク）の一種であるLSTM（Long Short-Term Memory）について、正しいものはどれか。
- LSTMは入力・出力・忘却の3ゲート構造で情報の保持と忘却を制御し、長い系列依存を学習しやすくする
- LSTMは畳み込み層のみで構成されており、時系列データではなく画像データの処理に特化したモデルである
- LSTMは通常のRNNと異なり、逆伝播（バックプロパゲーション）を一切必要とせず、順伝播のみで学習が完結する
- LSTMのセル状態（cell state）は、学習が進むにつれて必ず時間とともに指数的に増大する設計になっている
- LSTMは再帰構造を持たないため、任意の順序でデータを入力しても出力結果は変化しない
Qraftユーザーの成績：難易度 Cランク（レーティング1191）・正答率 61%（17/28回正解）
レーティングは解いた人の実力と正誤から算出する難しさ（初期値1200）。ランクはその全問題中の順位（S+が最難関、F-が最易）
正解と解説を見る
正解：LSTMは入力・出力・忘却の3ゲート構造で情報の保持と忘却を制御し、長い系列依存を学習しやすくする
LSTMは通常のRNNで生じやすい勾配消失問題（＝層を遡って誤差を伝える際に勾配が非常に小さくなり学習が進まなくなる問題）に対処するため、ゲート構造を用いて情報の流れを制御する仕組みを持つ。
【正解の理由】
LSTMは入力ゲート、出力ゲート、忘却ゲートという3つのゲートとセル状態を組み合わせることで、必要な情報を長期にわたって保持しつつ不要な情報を忘却できる設計になっており、長期依存関係の学習に強いという特徴がある。
【不正解の理由】
• 「畳み込み層のみで構成」：畳み込み層はCNNの構成要素であり、LSTMはゲート構造を持つ再帰型ユニットで構成される
• 「逆伝播を一切必要とせず」：LSTMも他のニューラルネットワークと同様、誤差逆伝播法によりパラメータを更新して学習する
• 「セル状態は必ず指数的に増大」：セル状態はゲートにより適切に情報が加減されるよう学習され、指数的に増大するよう設計されているわけではない
• 「再帰構造を持たないため入力順序で結果が変化しない」：LSTMは再帰構造を持ち、系列の順序情報を利用するため、入力順序が変われば出力も変化する