G検定(JDLA) 練習問題 12:正則化手法(ドロップアウト)
ディープラーニングにおける「ドロップアウト(Dropout)」について、正しいものはどれか。
- 学習時にニューロンをランダムに無効化して過学習を抑制する手法である
- テスト(推論)時にニューロンをランダムに無効化することで、モデルの汎化性能を評価する手法である
- 学習データを人工的に増幅させることで、モデルの表現力を高める手法である
- 勾配消失問題を解決するために、活性化関数をReLUに置き換える手法である
- 重みの値が大きくなりすぎないように、損失関数にペナルティ項を追加する手法である
正解と解説を見る
正解:学習時にニューロンをランダムに無効化して過学習を抑制する手法である
正解は「学習時に一定の確率でランダムにニューロンを無効化することで、特定のニューロンへの依存を減らし過学習を抑制する手法である」です。
【正解の理由】
ドロップアウト(Dropout)は、学習時にランダムに一定割合のニューロンを一時的に無効化して学習を行うことで、特定のニューロンに依存した学習を防ぎ、過学習(=モデルが訓練データを覚えすぎて、未知のデータにうまく対応できなくなる状態)を抑制する正則化手法です。
【不正解の理由】
• 「テスト(推論)時にニューロンをランダムに無効化することで、モデルの汎化性能を評価する手法である」という説明は誤りです。通常、テスト時には全てのニューロンを使用し、学習時の無効化確率に応じて出力をスケーリングして補正します。
• 「学習データを人工的に増幅させることで、モデルの表現力を高める手法である」という説明は誤りです。これはデータ拡張(Data Augmentation)の説明であり、ドロップアウトとは異なる手法です。
• 「勾配消失問題を解決するために、活性化関数をReLUに置き換える手法である」という説明は誤りです。ドロップアウトはニューロンを無効化する正則化手法であり、活性化関数の変更とは無関係です。
• 「重みの値が大きくなりすぎないように、損失関数にペナルティ項を追加する手法である」という説明は誤りです。これはL1・L2正則化(重み減衰)の説明であり、ドロップアウトとは異なる手法です。