1.基本を理解
読み方・用語解説- 読み方
- じこかいきもでる
- 英語名
- Autoregressive Model(AR)
- 提唱者・年代
- 時系列分析から始まり、PixelCNN(2015)等で画像・言語生成の主流へ
💡 豆知識——GPT系の“次のトークンを次々と予測する”方式が代表——ChatGPTもこの打ち方で文章を生んでいる。
【セットで覚えたい関連用語】
拡
拡散モデル(No.112)“ノイズ除去”で全体を生成——自己回帰と対極の生成方式。T
Transformer(No.630前後)自己回帰生成を高速化した基盤アーキテクチャ。生
生成モデル(No.137)新規データを生成するAIの総称。2.意味(定義)と例え話
一言で言うと?
すでに生成した要素に条件づけ、一つずつ順にデータを生み出す生成モデル。
背景・歴史的流れ
統計の“自己回帰モデル”(時系列)→画像(PixelCNN)→言語(GPT系)と、生成AIの主力打法に。
身近な例え話
“続きを当てる”文章クイズ——「今日は 天気が よくて 気持ち が いい」——前文を読むたびに“次に来る語”を当てる、の自動化。
AIとの関係
LLMの中核生成方式——“過去に条件づけて次の要素を予測”の反復で文・画像を作る。
おすすめの活用法・注目ポイント
「順次生成・条件付けが自己(=過去)」で。拡散モデル(全体を同時デノイズ)との対比が頻出。
3.直前に理解(Q&A)
7問Q1. 自己回帰モデルとは?最頻出
すでに生成した要素に条件づけて、一つずつ順にデータを生み出す生成モデル。
Q2. 有名な例は?最頻出
GPT系のLLM——“次のトークン予測”の反復。画像ではPixelCNN。
Q3. 時系列での自己回帰は?頻出
変数の現在値を、その変数自身の過去値(ラグ)で予測する——単変量予測・異常検知に。
Q4. 拡散モデルとの違いは?混同
自己回帰=“順次・一個ずつ”、拡散=“全体にノイズを掛けて順次除去”。
Q5. 長文の弱点は?頻出
一個ずつ生成なので速度が遅く、途中の誤りが後に連鎖する(誤差蓄積)。
Q6. 「自己」の意味は?ひっかけ
“自分の過去”——生成物自体(入力と同一変数)に条件づける。
Q7. 位置づけは?親と子
生成モデル ⊃ {自己回帰 / 拡散 / VAE・GAN} のうち自己回帰。
4. まとめ
自己回帰モデル=「先に作ったものに条件づけて一個ずつ生成」——GPT系の“次の語予測”の正体。拡散モデルと対比で。