G検定（JDLA） 練習問題 29：ニューラルネットワークの重み初期化手法
深層学習モデルの学習を安定させ収束を早めるための重みの初期化手法「He初期化（Heの初期値）」について、正しいものはどれか。
- ReLUに適した初期化手法で、前層のユニット数に応じ重みの分散を調整する
- 全ての重みを0で初期化することで、対称性を保ちながら学習を安定させる手法である
- 学習が進むにつれて重みの値を徐々に大きくしていく手法である
- 重みを学習データのラベル情報に基づいて事前に決定する手法である
- 全結合層の重みを一様分布ではなく常に正の値のみで初期化する手法である
Qraftユーザーの成績：難易度 Bランク（レーティング1215）・正答率 58%（11/19回正解）
レーティングは解いた人の実力と正誤から算出する難しさ（初期値1200）。ランクはその全問題中の順位（S+が最難関、F-が最易）
正解と解説を見る
正解：ReLUに適した初期化手法で、前層のユニット数に応じ重みの分散を調整する
He初期化はReLU系の活性化関数を用いる際に、前層のユニット数に基づいて重みの分散を調整し、層を重ねても信号のスケールが極端に増減しないようにする初期化手法である。
【正解の理由】
ReLUは負の入力を0にする性質上、出力の分散が縮小しやすいため、Xavier初期化よりも分散を大きく取るように設計されたHe初期化を用いることで、深いネットワークでも勾配消失・爆発を抑えられる。
【不正解の理由】
• 「全ての重みを0で初期化する」は誤り。重みを全て同じ値にすると各ユニットが同じ勾配を持ち対称性が崩れず学習が進まなくなる
• 「学習が進むにつれて重みの値を徐々に大きくしていく」は初期化の説明ではなく誤り
• 「重みを学習データのラベル情報に基づいて事前に決定する」は誤り。初期化は通常ランダムな分布に基づいて行われ、ラベル情報は用いない
• 「常に正の値のみで初期化する」は誤り。He初期化は平均0の分布（正規分布や一様分布）から重みをサンプリングする