G検定（JDLA） 練習問題 18：最適化アルゴリズム（Adam）
深層学習モデルの学習における最適化手法「Adam」について、正しいものはどれか。
- 勾配の1次・2次モーメントを利用し、パラメータごとに学習率を適応調整する最適化手法である
- 全学習データを一度にまとめて処理し、勾配を1回だけ計算してパラメータを更新する手法である
- 決定木を複数組み合わせて予測精度を高めるアンサンブル学習の手法である
- 学習率を固定値のまま一切変化させずに学習を進める最も単純な勾配降下法である
- 教師なし学習における次元削減のための手法である
Qraftユーザーの成績：難易度 Cランク（レーティング1175）・正答率 62%（26/42回正解）
レーティングは解いた人の実力と正誤から算出する難しさ（初期値1200）。ランクはその全問題中の順位（S+が最難関、F-が最易）
正解と解説を見る
正解：勾配の1次・2次モーメントを利用し、パラメータごとに学習率を適応調整する最適化手法である
Adamは勾配の1次モーメントと2次モーメントの推定値を用いて、パラメータごとに適応的な学習率を実現する最適化手法である。
【正解の理由】
Adam（Adaptive Moment Estimation）は、モメンタム（＝勾配の移動平均を使って更新方向を滑らかにする手法）の考え方とRMSPropのような学習率の適応調整の考え方を組み合わせたアルゴリズムであり、勾配の1次モーメント（平均）と2次モーメント（分散に相当する量）を推定してパラメータごとに学習率を調整する。これにより収束が速く、ハイパーパラメータの調整に対してロバストな学習が可能になる。
【不正解の理由】
• 「全学習データを一度にまとめて処理し、勾配を1回だけ計算」はバッチ学習（フルバッチ勾配降下法）の説明であり、Adamの特徴ではない
• 「決定木を複数組み合わせて予測精度を高めるアンサンブル学習の手法」はランダムフォレストやブースティングなどの説明であり、Adamとは無関係である
• 「学習率を固定値のまま一切変化させずに学習を進める最も単純な勾配降下法」は確率的勾配降下法（SGD）の基本形の説明であり、Adamは学習率を適応的に調整する点が特徴である
• 「教師なし学習における次元削減のための手法」はPCAなどの説明であり、Adamは最適化アルゴリズムであって次元削減手法ではない