1.基本を理解
読み方・用語解説- 読み方
- ごさぎゃくでんぱほう
- 英語名
- Backpropagation
- 提唱者・年代
- Rumelhart・Hinton・Williams(1986)が広めた(起源はさらに遡る)
💡 豆知識——“逆(back)に伝播(propagate)”——英語では“バックプロパ(backprop)”の愛称で呼ばれる。
【セットで覚えたい関連用語】
2.意味(定義)と例え話
出力層で算出した誤差をネットワークの奥側から順に伝播させ、連鎖律で各重みの勾配を効率的に計算する学習手法。
Rumelhart・Hinton・Williams(1986)が広めた。多層ネットワークの隠れ層を効率的に学習可能にし、深層学習の核心アルゴリズムに。
チームの試合で敗れたあと“責任の所在をさかのぼる”——出力の誤差から奥へたどり、各重みが関与した分だけ責任(勾配)を負う、という仕組み。
ニューラルネットワーク学習の中核(勾配降下法と組み合わせて、重みを更新する)。
「出力層の誤差を逆方向に伝播/連鎖律/各重みの勾配を効率計算」が鉄板。勾配降下法とセットで覚える。
3.直前に理解(Q&A)
7問Q1. 誤差逆伝播法とは?最頻出
出力層で算出した誤差をネットワークの奥側から順に伝播させ、連鎖律で各重みの勾配を効率的に計算する学習手法。
Q2. 誤差はどの方向に?最頻出
出力層から入力を向いて“逆方向”に伝播させる。
Q3. 使う数学の道具は?頻出
連鎖律(各重みの勾配を効率的に計算する)。
Q4. 「誤差逆伝播法は、入力層から誤差を正向に送る手法」は正しい?ひっかけ
誤り。出力層で算出した誤差を“逆方向”に伝播させるのが誤差逆伝播法。
Q5. 役割は?頻出
各重みの勾配を計算し、勾配降下法によるパラメータ更新の土台にする。
Q6. なぜ重要?頻出
多層ネットワークの隠れ層の学習を可能にし、深層学習の中核になった。
Q7. 位置づけは?親と子
ニューラルネットワークの学習⊃誤差逆伝播法(+勾配降下法)。
4. まとめ
誤差逆伝播法=出力の誤差を逆方向に伝播させ、連鎖律で各重みの勾配を効率的に計算する。