1.基本を理解
読み方・用語解説- 読み方
- かがくしゅう
- 英語名
- Overfitting
- 提唱者・年代
- 機械学習の古典的な概念(汎化性能の研究として1900年代初期から議論)
💡 豆知識——over=“すぎ”。訓練データに合い“すぎた”状態、と覚えよう。
【セットで覚えたい関連用語】
2.意味(定義)と例え話
訓練データ(ノイズや細かな変動まで)に過剰に適合した結果、訓練誤差は小さいが汎化誤差が大きい状態。未知データ(汎化性能)での性能が低下する現象。
「訓練データでは良いモデルが、新しいデータで失敗する」という“汎化性能”問題として研究されてきた。
過去問を丸暗記した学生に似てる。模試(訓練データ)では満点でも、新問題(本番・未知データ)に出るとフリーズしてしまうんだ。
機械学習・深層学習開発の“ど真ん中”の問題。訓練精度は高いのにテスト精度が低い=過学習のサイン。
「対策(アーリーストッピング・正則化・データ拡張・データ増加)」が頻出。判定のサインもセットで!
3.直前に理解(Q&A)
8問Q1. 過学習とは?最頻出
訓練データ(ノイズや細かな変動まで)に過剰に適合し、未知のデータに対する汎化性能(予測精度)が低下する状態。
Q2. どう判断する?最頻出
訓練誤差は小さいのに、検証・テスト誤差が大きい=過学習のサイン。
Q3. 代表的な対策は?最頻出
アーリーストッピング(検証誤差の改善が止まったら停止)、正則化(複雑さにペナルティ)、データ拡張、訓練データを増やす、次元削減など。
Q4. 汎化性能とは?頻出
未知のデータでも正しく予測できる能力。モデルの本質的な評価指標で、「訓練データでの成績」とは別物。
Q5. 特徴量を増やすと?頻出
過学習リスクが高まる(次元の呪いとの関連)。
Q6. 「訓練精度が高い=性能が良い」は正しい?ひっかけ
誤り。訓練データで良いだけでは未知データで機能しない。「訓練精度が高いほど汎化性能も高い」は罠。
Q7. 過学習とアンダーフィッティングの違いは?混同注意
過学習=訓練データに合いすぎ(訓練は良い・テストは悪い)。アンダーフィッティング=学習不足(両方とも悪い)。
Q8. 対策技術との親子関係は?親と子
正則化・アーリーストッピング・データ拡張はすべて「過学習を防ぎ、汎化性能を高める」ための対策。
4. まとめ
過学習は、訓練データに合いすぎて未知データで性能が低下する現象。対策と判定をセットで押さえよう。