G検定（JDLA） 練習問題 13：単語分散表現（Word2Vec）
自然言語処理における「Word2Vec」の特徴について、正しいものはどれか。
- 単語を疎なワンホットベクトルとして表現し、単語間の意味的な類似度を直接計算できるようにする手法である
- 周辺語から対象語を予測するCBOWと、対象語から周辺語を予測するSkip-gramの2方式がある
- 文全体を単位として学習を行うため、単語単位の分散表現を得ることはできない
- TransformerのSelf-Attention機構を用いて単語の分散表現を獲得する手法である
- 教師あり学習の枠組みで、人手による品詞タグ付けラベルを必要とする
Qraftユーザーの成績：難易度 Aランク（レーティング1302）・正答率 47%（26/55回正解）
レーティングは解いた人の実力と正誤から算出する難しさ（初期値1200）。ランクはその全問題中の順位（S+が最難関、F-が最易）
正解と解説を見る
正解は「周辺単語から対象単語を予測するCBOWと、対象単語から周辺単語を予測するSkip-gramという2つの学習方式がある」です。
【正解の理由】
Word2Vecには、周辺単語（コンテキスト）から中心の対象単語を予測するCBOW（Continuous Bag-of-Words）と、中心の対象単語から周辺単語を予測するSkip-gramという2つの代表的な学習方式があります。
【不正解の理由】
• 「単語を疎なワンホットベクトルとして表現し、単語間の意味的な類似度を直接計算できるようにする手法である」という説明は誤りです。Word2Vecはワンホットベクトル（＝1つの要素だけが1で残りが全て0のベクトル）ではなく、低次元で密な分散表現（埋め込みベクトル）を獲得する手法です。
• 「文全体を単位として学習を行うため、単語単位の分散表現を得ることはできない」という説明は誤りです。Word2Vecはまさに単語単位の分散表現を得るための手法です。
• 「TransformerのSelf-Attention機構を用いて単語の分散表現を獲得する手法である」という説明は誤りです。Word2VecはTransformerが登場する以前に提案された手法で、Self-Attentionではなく単純な浅いニューラルネットワーク構造を用います。
• 「教師あり学習の枠組みで、人手による品詞タグ付けラベルを必要とする」という説明は誤りです。Word2Vecは大量のテキストコーパスのみから自己教師あり的に学習でき、人手によるラベル付けを必要としません。