G検定（JDLA） 練習問題 51：強化学習：基礎概念
機械学習における「マルコフ決定過程（MDP）」に関する記述として、正しいものはどれか。
- 強化学習の基本的な枠組みであり、次の状態と報酬が、現在の状態と行動のみに依存して決まる確率モデル。
- 深層学習における最適化アルゴリズムであり、過去の勾配情報の指数移動平均を用いて学習率を調整する。
- 自然言語処理における系列変換モデルであり、入力系列を固定長のベクトルに圧縮してから出力系列を生成する。
- 教師なし学習のクラスタリング手法であり、データの確率密度分布の山の頂点を探索してグループを分ける。
- 画像認識における物体検出の仕組みであり、画像全体を一度の推論で処理して物体の位置とクラスを特定する。
正解と解説を見る
正解：強化学習の基本的な枠組みであり、次の状態と報酬が、現在の状態と行動のみに依存して決まる確率モデル。
マルコフ決定過程（MDP: Markov Decision Process）は、強化学習においてエージェントと環境の相互作用を数学的に定式化するための枠組みです。正解はこの内容の通りです。
【正解の理由】
「未来の状態は現在の状態と行動のみによって決定され、過去の履歴には依存しない」というマルコフ性を持ち、状態・行動・報酬・遷移確率によって定義される確率モデルであることが正しく説明されています。
【不正解の理由】
• 「深層学習における最適化アルゴリズムであり、過去の勾配情報の指数移動平均を用いて学習率を調整する」という説明は、AdamやRMSpropといった最適化手法のものです。
• 「自然言語処理における系列変換モデルであり、入力系列を固定長のベクトルに圧縮してから出力系列を生成する」という説明は、Seq2Seq（Sequence-to-Sequence）モデルのものです。
• 「教師なし学習のクラスタリング手法であり、データの確率密度分布の山の頂点を探索してグループを分ける」という説明は、Mean Shift（ミーンシフト）クラスタリングなどの手法のものです。
• 「画像認識における物体検出の仕組みであり、画像全体を一度の推論で処理して物体の位置とクラスを特定する」という説明は、YOLO（You Only Look Once）などの物体検出モデルのものです。