1.基本を理解
読み方・用語解説- 読み方
- じーぴーてぃーわん(いち)
- 英語名
- GPT-1(2018年、OpenAI)
- 提唱者・年代
- 2018年12月、OpenAIの論文で公開
💡 豆知識——約1.17億パラメータ・“8つのタスク”で転移学習——当時は“小さい”モデル。
【セットで覚えたい関連用語】
G
GPT-2(No.356)約100倍スケール——“流暢さ”が跳ねた次世代。B
BERT(No.348前後)同時期に登場した“穴埋め系”——GPTと対。転
転移学習(No.13)GPT-1が活躍した“微調整”の技術。2.意味(定義)と例え話
一言で言うと?
OpenAIが2018年に公開したモデル。生成事前訓練(GPT)によるテキスト生成の威力を示した。
背景・歴史的流れ
大量のWeb文書で“次の語予測”を事前学習し、8つのタスクで微調整(ファインチューニング)——“汎用素体”の発想を証明。
身近な例え話
あらゆる本を読んだ“素人の下積み”——その上に個別の仕事を覚えさせると、すぐそこそくな仕事ができる。
AIとの関係
事前学習+ファインチューニングの“流れ”を確立——GPT-2→3→ChatGPTへの系譜の起点。
おすすめの活用法・注目ポイント
「2018・生成事前訓練+ファインチューニング」で。スケールの小ささ(約1億)も出題候補。
3.直前に理解(Q&A)
7問Q1. GPT-1とは?最頻出
2018年にOpenAIが公開した、生成事前訓練でテキスト生成の威力を示したモデル。
Q2. 仕組みは?最頻出
大量文書で“次語予測”事前学習→タスクデータでファインチューニング。
Q3. スケールは?頻出
約1.17億パラメータ(当時としては小さい)。
Q4. 歴史的意義は?最頻出
“事前学習→転用”のパターンを示した——GPT系の系譜の起点。
Q5. BERTとの違いは?混同
GPT-1=次語予測(生成系)、BERT=穴埋め(理解系)——同時期の対。
Q6. ファインチューニングの意味は?頻出
事前学習済みの重みを、タスクデータで少し再学習させる。
Q7. 位置づけは?親と子
GPT系 ⊃ {GPT-1 / GPT-2 / GPT-3 …} の第一号。
4. まとめ
GPT-1=2018年の“事前学習+微調整”の第一号。テキスト生成の威力を示し、GPT系の系譜を開いた。