G検定（JDLA） 練習問題 70：強化学習：深層強化学習における学習安定化手法
📊 Qraftユーザーの成績
- 難易度 Bランク（レーティング1200）
- 難易度 766位/2795問中
- 正答率 —（0回）
深層強化学習（DQNなど）において用いられる手法「Experience Replay」に関する説明として、正しいものはどれか。
- エージェントが環境を探索して得た過去の経験データをメモリに保存し、そこからランダムにサンプリングして学習に用いることで学習を安定させる。
- エージェントが得た報酬の履歴を時系列順にすべて保持し、直近のデータのみを重点的に学習に用いることで環境の変化へ即座に適応させる。
- 複数の異なるエージェントを同時に並列環境で動作させ、それぞれの経験データをリアルタイムで共有し合うことで全体の学習速度を向上させる。
- 過去の学習済みモデルが出力した行動価値の予測値を教師データとして利用し、現在のモデルを効率的に事前学習することで学習を安定させる。
- エージェントが一度も経験したことのない未知の状態を人工的に生成してメモリに追加し、多様な状況に対する汎化性能を意図的に向上させる。
正解と解説を見る
深層強化学習（DQNなど）において学習を安定させるために用いられる「Experience Replay（経験再生）」に関する説明として、「エージェントが環境を探索して得た過去の経験データをメモリに保存し、そこからランダムにサンプリングして学習に用いることで学習を安定させる」が正解です。
【正解の理由】
強化学習では、時系列順に得られるデータ間の相関が強いため、ニューラルネットワークの学習が不安定になりがちです。Experience Replayは、経験（状態・行動・報酬・次の状態）をバッファに蓄積し、ランダムに取り出してミニバッチ学習を行うことで、データの時間的相関を打ち消し学習を安定させる手法です。
【不正解の理由】
• 「エージェントが得た報酬の履歴を時系列順にすべて保持し、直近のデータのみを重点的に学習に用いることで環境の変化へ即座に適応させる」は、ランダムサンプリングによる時間的相関の排除というExperience Replayの核心に反するため誤り
• 「複数の異なるエージェントを同時に並列環境で動作させ、それぞれの経験データをリアルタイムで共有し合うことで全体の学習速度を向上させる」は、A3C（Asynchronous Advantage Actor-Critic）などの分散強化学習手法の説明であり誤り
• 「過去の学習済みモデルが出力した行動価値の予測値を教師データとして利用し、現在のモデルを効率的に事前学習することで学習を安定させる」は、ターゲットネットワーク（Target Network）や蒸留に近い概念であり誤り
• 「エージェントが一度も経験したことのない未知の状態を人工的に生成してメモリに追加し、多様な状況に対する汎化性能を意図的に向上させる」は、データ拡張（Data Augmentation）やモデルベース強化学習でのシミュレーションの説明であり誤り