G検定(JDLA) 練習問題 68:機械学習システムの運用:運用時のモデル精度低下現象
📊 Qraftユーザーの成績
- 難易度 Bランク(レーティング1200)
- 難易度 766位/2795問中
- 正答率 —(0回)
機械学習システムの運用における「コンセプトドリフト」に関する記述として、正しいものはどれか。
- 入力データの分布自体は変化していないが、入力データと正解ラベルの関係性が時間の経過とともに変化し、モデルの予測精度が低下する現象。
- モデルの学習データに含まれる一部の特徴量に偏りがあるため、特定の属性を持つユーザーに対してのみ予測精度が極端に低下してしまう現象。
- 学習データとテストデータの分布が異なるため、学習時と比較して実際の運用環境でモデルの予測精度が大きく低下してしまうと判断される現象。
- モデルの更新頻度が高すぎるため、過去に学習した重要なパターンが新しいデータによって上書きされ、全体の予測精度が低下してしまう現象。
- システムのインフラ環境が変化したことで、学習済みモデルからの推論結果を返すまでのレイテンシが増大し、実用上の予測精度が低下する現象。
正解と解説を見る
正解:入力データの分布自体は変化していないが、入力データと正解ラベルの関係性が時間の経過とともに変化し、モデルの予測精度が低下する現象。
AIシステムを運用する中で生じる「コンセプトドリフト(Concept Drift)」に関する説明として、「入力データの分布自体は変化していないが、入力データと正解ラベルの関係性が時間の経過とともに変化し、モデルの予測精度が低下する現象」が正解です。
【正解の理由】
コンセプトドリフトとは、入力されるデータの特徴自体は変わらなくても、時間の経過や社会的な背景の変化によって、予測すべきターゲット(正解ラベル)との関係性が変わってしまう現象を指します。
【不正解の理由】
• 「モデルの学習データに含まれる一部の特徴量に偏りがあるため、特定の属性を持つユーザーに対してのみ予測精度が極端に低下してしまう現象」は、データバイアスに関する説明であり誤り
• 「学習データとテストデータの分布が異なるため、学習時と比較して実際の運用環境でモデルの予測精度が大きく低下してしまうと判断される現象」は、データドリフト(または共変量シフト)に関する説明であり誤り
• 「モデルの更新頻度が高すぎるため、過去に学習した重要なパターンが新しいデータによって上書きされ、全体の予測精度が低下してしまう現象」は、破局的忘却(Catastrophic Forgetting)に関する説明であり誤り
• 「システムのインフラ環境が変化したことで、学習済みモデルからの推論結果を返すまでのレイテンシが増大し、実用上の予測精度が低下する現象」は、システムパフォーマンスの劣化に関する説明であり、コンセプトドリフトではないため誤り