G検定（JDLA） 練習問題 71：自然言語処理：言語モデルの評価指標
📊 Qraftユーザーの成績
- 難易度 Bランク（レーティング1200）
- 難易度 766位/2795問中
- 正答率 —（0回）
自然言語処理における言語モデルの評価指標「パープレキシティ」に関する説明として、正しいものはどれか。
- 言語モデルが次に出現する単語を予測する際の迷いの大きさを示す指標であり、値が小さいほど予測精度が高くモデルの性能が良いと判断される。
- 言語モデルが生成した文章と人間が作成した正解文章との一致度を示す指標であり、値が大きいほど予測精度が高くモデルの性能が良いと判断される。
- 言語モデルが学習データに含まれない未知語に遭遇した割合を示す指標であり、値が小さいほど予測精度が高くモデルの性能が良いと判断される。
- 言語モデルが一度に処理できる文脈の最大長をトークン単位で示す指標であり、値が大きいほど予測精度が高くモデルの性能が良いと判断される。
- 言語モデルが文章を生成する際にかかる平均的な計算時間を測定する指標であり、値が小さいほど予測精度が高くモデルの性能が良いと判断される。
正解と解説を見る
正解：言語モデルが次に出現する単語を予測する際の迷いの大きさを示す指標であり、値が小さいほど予測精度が高くモデルの性能が良いと判断される。
自然言語処理における言語モデルの評価指標である「パープレキシティ（Perplexity）」に関する説明として、「言語モデルが次に出現する単語を予測する際の迷いの大きさを示す指標であり、値が小さいほど予測精度が高くモデルの性能が良いと判断される」が正解です。
【正解の理由】
パープレキシティは、言語モデルが次にどの単語が出現するかを予測する際の「分岐数（候補の数）」の期待値を表す指標です。値が小さい（＝次にくる単語の候補を適切に絞り込めている）ほど、モデルの予測性能が高いと評価されます。
【不正解の理由】
• 「言語モデルが生成した文章と人間が作成した正解文章との一致度を示す指標であり、値が大きいほど予測精度が高くモデルの性能が良いと判断される」は、BLEUスコアやROUGEスコアなどの説明であり誤り
• 「言語モデルが学習データに含まれない未知語に遭遇した割合を示す指標であり、値が小さいほど予測精度が高くモデルの性能が良いと判断される」は、未知語率（OOV rate）に関する説明であり誤り
• 「言語モデルが一度に処理できる文脈の最大長をトークン単位で示す指標であり、値が大きいほど予測精度が高くモデルの性能が良いと判断される」は、コンテキストウィンドウ（Context Window）に関する説明であり誤り
• 「言語モデルが文章を生成する際にかかる平均的な計算時間を測定する指標であり、値が小さいほど予測精度が高くモデルの性能が良いと判断される」は、推論速度やレイテンシに関する説明であり誤り