G検定（JDLA） 練習問題 37：CNNアーキテクチャ：層を深くするための工夫
深層学習における「ResNet（Residual Network）」で導入された残差接続（スキップ接続）について、正しいものはどれか。
- ある層の入力を後方の層の出力に加算する経路を設け、層を深くしても勾配消失を緩和し学習を容易にする。
- 各層の出力を常に0から1の範囲へ正規化し、活性化関数への入力を制御するための仕組みである。
- 全結合層を一切使わず、畳み込み層のみでネットワーク全体を構成するための設計手法である。
- 学習中に一部のニューロンをランダムに無効化し、過学習を抑制するための正則化手法である。
- 複数のモデルの出力を多数決で統合し、最終的な予測の精度を高めるための集約手法である。
正解と解説を見る
正解：ある層の入力を後方の層の出力に加算する経路を設け、層を深くしても勾配消失を緩和し学習を容易にする。
ResNetの残差接続は、ある層への入力を、その先の層の出力に直接足し合わせるショートカット経路を設ける仕組みで、非常に深いネットワークでも勾配消失問題を緩和し安定した学習を可能にします。
【正解の理由】
恒等写像に近い経路を用意することで、逆伝播時に勾配がショートカット経路を通じて浅い層まで伝わりやすくなり、層数を増やしても性能が劣化しにくくなります。
【不正解の理由】
• 「出力を常に0から1の範囲へ正規化する」という説明は誤り。これはバッチ正規化など別の正規化手法の説明に近い
• 「全結合層を使わず畳み込み層のみで構成する」という説明は誤り。残差接続自体は層の種類を限定する仕組みではない
• 「一部のニューロンをランダムに無効化する」という説明は誤り。これはドロップアウトの説明である
• 「複数モデルの出力を多数決で統合する」という説明は誤り。これはアンサンブル学習の考え方であり、残差接続とは異なる仕組み