G検定（JDLA） 練習問題 64：機械学習アルゴリズム：回帰モデルの正則化
機械学習における回帰モデルの正則化手法に関する説明として、正しいものはどれか。
- リッジ回帰は重要でない特徴量の重みを完全にゼロにする性質があり、不要な変数を取り除く特徴量選択の役割を果たす手法である。
- ラッソ回帰は一部の重みを正確にゼロにする働きを持つため、モデルを簡素化して実質的な特徴量選択を行うことができる手法である。
- エラスティックネットはすべての変数の重みを均等に縮小することで、データセット内の欠損値を自動的に補完する効果を持つ手法である。
- ロジスティック回帰に正則化項を追加することで、連続値を出力する回帰問題に対しても高い精度で予測を行えるようになる手法である。
- 線形回帰の損失関数に特徴量の二乗和を加えることで、外れ値の影響を完全に排除し、常に安定した予測結果を出力できる手法である。
正解と解説を見る
正解：ラッソ回帰は一部の重みを正確にゼロにする働きを持つため、モデルを簡素化して実質的な特徴量選択を行うことができる手法である。
ラッソ回帰（L1正則化）は、学習の際に不要な特徴量の重み（パラメータ）を完全にゼロにする性質があり、結果として特徴量選択の効果をもたらします。正解はこの性質を述べた説明です。
【正解の理由】
ラッソ回帰は損失関数に重みの絶対値の和（L1ノルム）をペナルティとして加える手法であり、最適化の過程で一部の重みが正確にゼロに収束するため、モデルが単純化され重要な変数が選択されます。
【不正解の理由】
• 「リッジ回帰は重みを完全にゼロにする性質がある」という説明は誤り。リッジ回帰（L2正則化）は重みをゼロに近づけますが、完全にゼロにはしません
• 「エラスティックネットが欠損値を自動的に補完する」という説明は誤り。エラスティックネットはL1とL2の正則化を組み合わせたものであり、欠損値補完の手法ではありません
• 「ロジスティック回帰に正則化を加えると連続値の予測ができる」という説明は誤り。ロジスティック回帰は分類（確率の出力）のための手法です
• 「特徴量の二乗和を加えて外れ値の影響を完全に排除する」という説明は誤り。正則化は外れ値の影響を完全に排除するものではなく、二乗和を加えるのはリッジ回帰のペナルティ項の説明です