生成AIパスポート × 解説記事

NSPって結局なんなの?🔗

“この2つの文、続いてる?”——BERTのもう一つの事前学習。

1.基本を理解

読み方・用語解説
読み方
エヌエスぴー(ネクストセンテンスプリディクション)
英語名
Next Sentence Prediction
提唱者・年代
2018年、BERTの事前学習タスクの一つとして登場

💡 豆知識——“同じパッセージから連続した文”vs“無関係な文”を分類——文と文のつながりを学ぶ仕掛け。

【セットで覚えたい関連用語】

M
MLM(No.349)BERTのもう一つの事前学習タスク。
B
BERT(No.348前後)MLM+NSPで訓練された“理解系”モデル。
G
GPTモデル(No.346)次の“語”を予測する生成系。

2.意味(定義)と例え話

一言で言うと?

2つの文が文脈として連続しているかを予測する事前学習タスク。

背景・歴史的流れ

BERT(2018)——文の“中身”(MLM)だけでなく“文のつなぎ”も学ばせよう、とした2タスク目。

身近な例え話

テレビの場面つなぎクイズ——「この2つの場面は同じ物語の続き?それとも別の作品?」を当てる。

AIとの関係

文と文の論理的つながりを把握——対話・要約・質問応答に効く理解力。

おすすめの活用法・注目ポイント

「2文の連続性判定」で。後の研究ではNSPの効用は限定的との指摘もあり(BERT後のモデルでは外される)。

3.直前に理解(Q&A)

7問

Q1. NSPとは?最頻出

2つの文が文脈として連続しているかを予測する事前学習タスク。

Q2. どのモデルで?最頻出

BERT——MLMと並ぶ2つの事前学習タスクの一つ。

Q3. 訓練データは?最頻出

連続する文(正解)と、無関係に組み合わせた文(不正解)のペア。

Q4. 何を学ぶ?頻出

文と文の論理的つながり・話の前後関係。

Q5. MLMとの違いは?混同

MLM=語の中身(穴埋め)、NSP=文のつなぎ(連続性)。

Q6. 後の動向は?ひっかけ

NSPの効用は限定的との指摘——後のモデルでは外されることが多い。

Q7. 位置づけは?親と子

BERTの事前学習 ⊃ {MLM / NSP}。

4. まとめ

NSP=「2つの文が連続しているか当てる」BERTの事前学習——文の“つなぎ”を理解を磨く(後のモデルでは外されることも)。

ハッシュタグ #G検定 #生成AIパスポート #NSP #BERT #MLM #事前学習 #NLP #DX勉強 #資格勉強 #AI基礎