G検定（JDLA） 練習問題 35：損失関数：多クラス分類における誤差関数
ディープラーニングの学習において用いられる損失関数のうち、多クラス分類タスクで一般的に用いられる「交差エントロピー誤差（クロスエントロピー損失）」について、正しいものはどれか。
- 交差エントロピー誤差は出力確率分布と正解ラベルとのずれを測る指標で、正解クラスの予測確率が低いほど損失が大きくなる
- 交差エントロピー誤差は回帰タスク専用の損失関数であり、分類タスクに用いることはできない
- 交差エントロピー誤差は予測値と正解値の差の二乗を平均することで計算される損失関数であり、平均二乗誤差と全く同じ計算式である
- 交差エントロピー誤差は出力層の活性化関数にReLU関数を用いることを前提として設計された損失関数であり、ソフトマックス関数と組み合わせて使うことはできない
- 交差エントロピー誤差の値は必ず0から1の範囲に収まるように正規化されている
Qraftユーザーの成績：難易度 Dランク（レーティング1124）・正答率 66%（23/35回正解）
レーティングは解いた人の実力と正誤から算出する難しさ（初期値1200）。ランクはその全問題中の順位（S+が最難関、F-が最易）
正解と解説を見る
正解：交差エントロピー誤差は出力確率分布と正解ラベルとのずれを測る指標で、正解クラスの予測確率が低いほど損失が大きくなる
交差エントロピー誤差は、確率分布同士のずれを測る指標であり、正解クラスの予測確率が1に近いほど損失が小さく、0に近いほど損失が大きくなる性質を持つ。
【正解の理由】
交差エントロピー誤差は分類問題においてモデルの出力する確率分布と正解ラベル（多くの場合one-hotベクトル）との乖離を測るもので、正解クラスに対する予測確率が低いほど損失が急激に大きくなる特性があり、多クラス分類のソフトマックス出力と組み合わせて広く用いられる。
【不正解の理由】
• 「回帰タスク専用」：交差エントロピー誤差は主に分類タスクで用いられ、回帰タスクには平均二乗誤差などが一般的に用いられる
• 「差の二乗を平均する計算式で平均二乗誤差と全く同じ」：平均二乗誤差は予測値と正解値の差の二乗を平均する計算であり、対数を用いる交差エントロピー誤差とは計算式が異なる
• 「ReLU関数を前提としソフトマックスと組み合わせられない」：交差エントロピー誤差はむしろソフトマックス関数と組み合わせて多クラス分類の出力層で用いられるのが一般的である
• 「値は必ず0から1の範囲に収まる」：交差エントロピー誤差は予測確率が0に近づくほど値が非常に大きくなり得るため、0から1に収まるとは限らない