1.基本を理解
読み方・用語解説- 読み方
- せいそくか(regularization)
- 英語名
- Regularization
- 提唱者・年代
- 機械学習の古典的な手法(L1/L2正則化が1990年代頃から広く使われる)
💡 豆知識——regularize=“整える・規則正しくする”。モデルを“落ち着かせる”イメージ。
【セットで覚えたい関連用語】
2.意味(定義)と例え話
モデルに制約を加えて過学習を防ぎ、汎化性能を高める手法の総称。
「モデルを複雑にしすぎると過学習する」という問題に対し、損失関数にペナルティ項(重みの大きさへの課金)を加えてモデルを“単純化”する技術として発展。
犬のおすりに似てる。少し制約を加えることで、暴れ回りすぎ(過学習)を抑え、結果的に賢く(汎化性能が上がる)してくれるんだ。
ディープ学習の標準技術。現代のLLM訓練でも重みの減衰(weight decay)などが使われている。
「過学習防止・汎化性能向上・複雑さへのペナルティ。正規化と区別」が得点セット。
3.直前に理解(Q&A)
8問Q1. 正則化とは?最頻出
モデルの複雑さ(重みの大きさなど)にペナルティを課すことで過学習を抑制し、汎化性能を高める手法の総称。
Q2. 仕組みは?最頻出
損失関数にペナルティ項を加え、重みの極端な増大を抑えてモデルを単純化し、過学習を防ぐ。
Q3. L1/L2正則化の違いは?頻出
L1(Lasso)=重みの絶対値にペナルティ(重みが0になりやすく、特徴選択になる)。L2(リッジ)=重みの二乗和にペナルティ(重みを全体に小さく抑える)。
Q4. 得られる効果は?頻出
過学習の抑制と、未知データでの汎化性能の向上。
Q5. ペナルティが強すぎると?頻出
逆に学習不足(アンダーフィッティング)になることがある。適切なバランスが必要。
Q6. 「正則化=正規化」は正しい?ひっかけ
誤り。正則化=モデルへのペナルティで過学習を防ぐ。正規化=データの分布(範囲)を整えて学習を安定させる前処理。目的が異なる。
Q7. アーリーストッピング・データ拡張との違いは?混同注意
いずれも過学習対策だが手段が異なる。正則化=モデル複雑さにペナルティ、アーリーストッピング=検証誤差で停止、データ拡張=データを増やす。
Q8. 位置づけは?親と子
「過学習を防ぎ、汎化性能を高める」手段の代表。
4. まとめ
正則化は、モデルに制約(ペナルティ)を加えて過学習を防ぎ、汎化性能を高める手法の総称。