1.基本を理解
読み方・用語解説- 読み方
- エヌエスぴー(ネクストセンテンスプリディクション)
- 英語名
- Next Sentence Prediction
- 提唱者・年代
- 2018年、BERTの事前学習タスクの一つとして登場
💡 豆知識——“同じパッセージから連続した文”vs“無関係な文”を分類——文と文のつながりを学ぶ仕掛け。
【セットで覚えたい関連用語】
M
MLM(No.349)BERTのもう一つの事前学習タスク。B
BERT(No.348前後)MLM+NSPで訓練された“理解系”モデル。G
GPTモデル(No.346)次の“語”を予測する生成系。2.意味(定義)と例え話
一言で言うと?
2つの文が文脈として連続しているかを予測する事前学習タスク。
背景・歴史的流れ
BERT(2018)——文の“中身”(MLM)だけでなく“文のつなぎ”も学ばせよう、とした2タスク目。
身近な例え話
テレビの場面つなぎクイズ——「この2つの場面は同じ物語の続き?それとも別の作品?」を当てる。
AIとの関係
文と文の論理的つながりを把握——対話・要約・質問応答に効く理解力。
おすすめの活用法・注目ポイント
「2文の連続性判定」で。後の研究ではNSPの効用は限定的との指摘もあり(BERT後のモデルでは外される)。
3.直前に理解(Q&A)
7問Q1. NSPとは?最頻出
2つの文が文脈として連続しているかを予測する事前学習タスク。
Q2. どのモデルで?最頻出
BERT——MLMと並ぶ2つの事前学習タスクの一つ。
Q3. 訓練データは?最頻出
連続する文(正解)と、無関係に組み合わせた文(不正解)のペア。
Q4. 何を学ぶ?頻出
文と文の論理的つながり・話の前後関係。
Q5. MLMとの違いは?混同
MLM=語の中身(穴埋め)、NSP=文のつなぎ(連続性)。
Q6. 後の動向は?ひっかけ
NSPの効用は限定的との指摘——後のモデルでは外されることが多い。
Q7. 位置づけは?親と子
BERTの事前学習 ⊃ {MLM / NSP}。
4. まとめ
NSP=「2つの文が連続しているか当てる」BERTの事前学習——文の“つなぎ”を理解を磨く(後のモデルでは外されることも)。