G検定（JDLA） 練習問題 74：大規模言語モデルの微調整
📊 Qraftユーザーの成績
- 難易度 Bランク（レーティング1200）
- 難易度 766位/2795問中
- 正答率 —（0回）
大規模言語モデル（LLM）のファインチューニング手法である「LoRA（Low-Rank Adaptation）」に関する説明として、正しいものはどれか。
- モデルの全パラメータを学習対象とし、新たなデータセットに適合させる最も基本的な手法である。
- モデルの重みの更新分を低ランクの行列で近似し、少数のパラメータのみを学習する軽量化手法。
- 教師モデルの出力を生徒モデルに学習させ、精度を保ったままモデルのサイズを圧縮する手法だ。
- プロンプト内に外部データベースの検索結果を埋め込み、モデルの知識不足を補う手法である。
- モデルの学習時に特定の層の出力をランダムに無効化し、過学習を効果的に防ぐための手法である。
正解と解説を見る
正解：モデルの重みの更新分を低ランクの行列で近似し、少数のパラメータのみを学習する軽量化手法。
LoRA（Low-Rank Adaptation）は、大規模言語モデルの事前学習済みの重みを凍結したまま、更新すべき重みの差分を低ランク（低次元）の行列の積で表現して学習する手法です。
【正解の理由】
モデル全体のパラメータを更新する通常のファインチューニングに比べ、LoRAは学習するパラメータ数を劇的に減らすことができるため、計算リソース（GPUメモリなど）や学習時間を大幅に節約できます。
【不正解の理由】
• 「モデルの全パラメータを学習対象とし、新たなデータセットに適合させる最も基本的な手法である。」は、フルパラメータ・ファインチューニングの説明
• 「教師モデルの出力を生徒モデルに学習させ、精度を保ったままモデルのサイズを圧縮する手法だ。」は、「知識蒸留（Knowledge Distillation）」の説明
• 「プロンプト内に外部データベースの検索結果を埋め込み、モデルの知識不足を補う手法である。」は、「RAG（Retrieval-Augmented Generation）」の説明
• 「モデルの学習時に特定の層の出力をランダムに無効化し、過学習を効果的に防ぐための手法である。」は、「ドロップアウト」の説明