1.基本を理解
読み方・用語解説- 読み方
- エル・つー(エル・に)せいそくか
- 英語名
- L2 Regularization(Ridge / Weight Decay)
- 提唱者・年代
- 正則化の枠組みとして広く使われる(Ridge: 1960年代)
💡 豆知識——深層学習の“ウェイトデケイ(重みの減衰)”が正体——ネットワークの重みを少しずつ0寄りに引き寄せる。
【セットで覚えたい関連用語】
正
正則化(No.17)過学習を防ぐ技術の総称。L
L1正則化(No.245)絶対値の和をペナルティ——スパース化・特徴選択。D
Dropout(No.91)ニューラルネットワークで使う別系統の正則化。2.意味(定義)と例え話
一言で言うと?
重みの二乗和をペナルティとして加える手法。特定の重みが極端に大きくなるのを防ぐ。
背景・歴史的流れ
リッジ回帰(1960年代)で登場し、深層学習では“ウェイトデケイ”として標準装備になった。
身近な例え話
バネで“中央(0)”へ引っ張る——極端に伸びたバネ(大きい重み)には強い戻し力が働く、というイメージ。
AIとの関係
特定の重みが大きくなりすぎると“その特徴に偏った”過学習になりやすい——L2はそれを全体として滑らかに抑える。
おすすめの活用法・注目ポイント
「二乗和=円=全体的に小さく(0にはなりにくい)」で。L1(ひし形・0にする)との対比が定番。
3.直前に理解(Q&A)
7問Q1. L2正則化とは?最頻出
重みの二乗和をペナルティとして加える手法。
Q2. 効果は?最頻出
重みを全体的に小さく縮小——特定の重みが極端に大きくなるのを防ぐ。
Q3. 0にしやすいのは?混同
しにくい(二乗は滑らか)。多くの重みを0にするのはL1。
Q4. L1との違いは?混同
L2=二乗和(円・滑らか・縮小)、L1=絶対値の和(ひし角・スパース)。
Q5. 別名は?頻出
リッジ(Ridge)、深層学習ではウェイトデケイ(weight decay)。
Q6. 使う場面は?頻出
全特徴を少し而使いつつ、過学習を滑らかに抑えたいとき。
Q7. 位置づけは?親と子
正則化 ⊃ {L1 / L2} のうちL2。
4. まとめ
L2正則化=重みの二乗和をペナルティ——重みを全体に“滑らかに縮小”し、外れ値を防止する(Ridge)。