G検定（JDLA） 練習問題 57：モデル評価：ROC曲線とAUC
機械学習モデルの評価に用いられる「ROC曲線」と「AUC」に関する説明として、正しいものはどれか。
- 閾値を変化させたときの真陽性率と偽陽性率の関係をプロットしたものであり、曲線の下の面積が1に近いほど性能が良い。
- 回帰問題において実際の値と予測値の誤差を二乗して平均したものであり、値が0に近いほどモデルの予測性能が高い。
- モデルの学習時の誤差と検証時の誤差の推移をエポックごとにグラフ化したものであり、過学習の兆候を検知するために用いる。
- データセットをK個に分割し、検証用データを変えながら学習と評価を繰り返すことで、モデルの汎化性能を推定する手法である。
- 予測確率と実際のラベルの分布の差を情報理論の観点から計算したものであり、分類タスクの損失関数として広く用いられる。
正解と解説を見る
正解：閾値を変化させたときの真陽性率と偽陽性率の関係をプロットしたものであり、曲線の下の面積が1に近いほど性能が良い。
ROC曲線とAUCについて、閾値を変化させたときの真陽性率と偽陽性率の関係をプロットしたものであり、曲線の下の面積が1に近いほど性能が良いという説明が正解です。
【正解の理由】
ROC曲線（Receiver Operating Characteristic curve）は、二値分類モデルの性能を評価するためのグラフです。縦軸に真陽性率（TPR）、横軸に偽陽性率（FPR）をとり、分類の判定基準（閾値）を変化させたときの推移を描きます。この曲線の下の部分の面積をAUC（Area Under the Curve）と呼び、1に近いほど分類性能が高い（0.5のときはランダムな予測と同じ）と判断されます。
【不正解の理由】
• 「回帰問題において実際の値と予測値の誤差を二乗して平均したものであり、値が0に近いほどモデルの予測性能が高い」という説明は、平均二乗誤差（MSE）に関するものです。
• 「モデルの学習時の誤差と検証時の誤差の推移をエポックごとにグラフ化したものであり、過学習の兆候を検知するために用いる」という説明は、学習曲線（Learning Curve）に関するものです。
• 「データセットをK個に分割し、検証用データを変えながら学習と評価を繰り返すことで、モデルの汎化性能を推定する手法である」という説明は、交差検証（クロスバリデーション）に関するものです。
• 「予測確率と実際のラベルの分布の差を情報理論の観点から計算したものであり、分類タスクの損失関数として広く用いられる」という説明は、交差エントロピー誤差に関するものです。