G検定（JDLA） 練習問題 19：BERT（事前学習済み言語モデル）
自然言語処理におけるBERT（Bidirectional Encoder Representations from Transformers）について、正しいものはどれか。
- 単語をマスクし周囲の文脈から予測する事前学習で双方向の文脈を学習するモデルである
- 画像分類タスクに特化して開発された畳み込みニューラルネットワークの一種である
- 文章を左から右方向にのみ読み進める一方向の言語モデルであり、右側の文脈は一切利用しない
- 強化学習を用いてゲームの最適な行動方針を学習するためのモデルである
- 決定木をベースとした表形式データ向けの予測モデルである
正解と解説を見る
正解：単語をマスクし周囲の文脈から予測する事前学習で双方向の文脈を学習するモデルである
BERTは、文中の単語をマスクして前後の文脈から予測させるマスク言語モデルなどの事前学習タスクを通じて、双方向の文脈を考慮した単語表現を獲得するモデルである。
【正解の理由】
BERTはTransformerのエンコーダ部分をベースとし、「マスク言語モデル（MLM）」と呼ばれる、文中の一部の単語を隠して周囲の単語からその単語を予測させる事前学習タスクなどを用いる。これにより、従来の一方向の言語モデルと異なり、文の前後両方向の文脈を同時に考慮した単語表現を学習できる点が大きな特徴である。
【不正解の理由】
• 「画像分類タスクに特化して開発された畳み込みニューラルネットワークの一種」は誤りで、BERTは自然言語処理向けのモデルであり畳み込みニューラルネットワークではない
• 「左から右方向にのみ読み進める一方向の言語モデルであり、右側の文脈は一切利用しない」は誤りで、これはGPTのような一方向モデルの特徴であり、BERTは双方向に文脈を利用する点が特徴である
• 「強化学習を用いてゲームの最適な行動方針を学習するためのモデル」は誤りで、BERTは教師なし・自己教師あり学習による事前学習を用いる自然言語処理モデルである
• 「決定木をベースとした表形式データ向けの予測モデル」は誤りで、BERTはTransformerベースのニューラルネットワークであり決定木モデルではない