1.基本を理解
読み方・用語解説- 読み方
- じーぴーてぃー(モデル)
- 英語名
- Generative Pre-trained Transformer(GPT)
- 提唱者・年代
- OpenAI。GPT-1(2018)→GPT-2(2019)→GPT-3(2020)と世代を重ねる
💡 豆知識——GPT=“生成(Generative)・事前訓練(Pre-trained)・Transformer”——名前に設計が全部入っている。
【セットで覚えたい関連用語】
2.意味(定義)と例え話
OpenAIによる、次の単語を予測する生成事前訓練Transformerモデルの系列。
GPT-1(2018)→GPT-2(2019)→GPT-3(2020)と“スケールで能力が跳ねる”ことを示し、LLM時代の旗振り役に。
“続きを書く”超絶達者の修行——膨大な文章で予言を磨き、指令(プロンプト)でタスクに転用する。
LLMの代表系——自己回帰(次の語予測)方式のTransformerで、ChatGPTの基盤。
「次の単語を予測・生成系・OpenAI」で。BERT(穴埋め系)との対比が頻出。
3.直前に理解(Q&A)
7問Q1. GPTモデルとは?最頻出
OpenAIの“次の単語を予測する”生成事前訓練Transformerモデルの系列。
Q2. 名前の意味は?最頻出
Generative(生成)Pre-trained(事前訓練)Transformer。
Q3. 世代は?最頻出
GPT-1(2018)→GPT-2(2019)→GPT-3(2020)→(GPT-3.5/4・ChatGPTへ)。
Q4. BERTとの違いは?混同
GPT=次を予測する“生成系”、BERT=穴埋め(MLM)の“理解系”。
Q5. 「スケール」の発見は?頻出
パラメータ・データを増やすと能力が段々跳ねる(スケール則)——LLM時代の根拠。
Q6. 使い方(ファインチューニング)は?頻出
事前学習済みの“素体”に、タスクデータで微調整して転用する。
Q7. 位置づけは?親と子
LLM ⊃ GPT系(生成系)。
4. まとめ
GPTモデル=「次の単語を予測する」OpenAIの生成系Transformer系列。GPT-1→3→ChatGPTへの系譜。