1．基本を理解
読み方・用語解説- 読み方
- えむエルエム（マスクド・ランゲージ・モデル）
- 英語名
- Masked Language Model（MLM）
- 提唱者・年代
- 2018年、BERT（Google）の事前学習タスクとして登場
💡 豆知識——隠す単語は原文の15%——うち80%が“[MASK]”、10%が別単語、10%はそのまま、という仕掛け。
【セットで覚えたい関連用語】
B
BERT（No.348前後）MLMで事前学習する“理解系”モデル。G
GPTモデル（No.346）次の語を予測する“生成系”——MLMと対。N
NSP（No.350）BERTのもう一つの事前学習タスク。2．意味（定義）と例え話
一言で言うと？
単語の一部をマスクし、その予測を学習させる事前学習タスク。
背景・歴史的流れ
GPTは“右側だけ”を予測——前後の文脈を“両方”活かすには、穴埋めが必要だった（BERT、2018）。
身近な例え話
単語クイズ——「猫が〜を食べていた」の“〜”（[MASK]）を、前後を読んで当てる。
AIとの関係
前後の文脈理解を“穴埋め”で鍛える——質問応答・要約などの理解タスクの土台。
おすすめの活用法・注目ポイント
「一部マスク→予測＝双方向の文脈理解」で。GPT（右側・生成）との対比が定番。
3．直前に理解（Q&A）
7問Q1. MLMとは？最頻出
単語の一部をマスク（[MASK]）し、その予測を学習させる事前学習タスク。
Q2. どのモデルで？最頻出
BERT——MLMで“双方向”の文脈を学ぶ。
Q3. なぜマスク？最頻出
前後の文脈を両方使って推測させる——右側だけ（GPT）より深い理解。
Q4. GPTとの違いは？混同
MLM＝隠した所を当てる“理解系”、GPT＝右側を予測する“生成系”。
Q5. マスク率は？頻出
原文の15%（そのうち80%が[MASK]表示）。
Q6. 活かすタスクは？頻出
質問応答、感情分析、名詞句抽出など“理解”系に転用。
Q7. 位置づけは？親と子
事前学習タスク ⊃ {MLM / NSP / 次語予測} のうちMLM。
4. まとめ
MLM＝「単語を隠して当てさせる」BERTの事前学習——前後の文脈を“両方”使って理解を磨く。