G検定（JDLA） 練習問題 8：勾配消失問題

正解は「層を深くするほど誤差逆伝播の際に勾配が層を遡るごとに縮小し、入力層付近の重みがほとんど更新されなくなる現象である」です。

【正解の理由】
勾配消失問題（Vanishing Gradient Problem）は、誤差逆伝播（＝出力側の誤差を入力側に向かって伝えながら各層の重みを調整する仕組み）において、連鎖律により勾配が層を遡るたびに掛け合わされていくため、シグモイド関数のように微分値が小さい活性化関数を使っていると勾配が指数的に小さくなり、入力層に近い層の重みがほとんど更新されなくなる現象です。

【不正解の理由】
• 「勾配消失問題は学習率を極端に大きくすることで根本的に解決できる」という説明は誤りです。学習率を大きくしても勾配消失そのものは解決せず、学習が不安定になるだけです。
• 「勾配消失問題はシグモイド関数をReLU関数に置き換えることでは全く改善しない」という説明は誤りです。ReLUは正の領域で微分値が常に1であるため、勾配消失の緩和に有効とされています。
• 「勾配消失問題は浅いネットワークほど深刻になり、層数を増やすと自然に解消される」という説明は誤りです。実際は逆で、層数が多い深いネットワークほど勾配消失は深刻になります。
• 「勾配消失問題とは、出力層の誤差が入力層に伝わる前に勾配が指数的に増大し発散する現象を指す」という説明は誤りです。これは勾配爆発問題の説明であり、勾配消失問題とは逆に勾配が大きくなりすぎる現象を指します。