1.基本を理解
読み方・用語解説- 読み方
- けんしょうでーた・てすとでーた
- 英語名
- Validation Data / Test Data
- 提唱者・年代
- 機械学習の評価の標準手法(1990年代に3分割が標準化)
💡 豆知識——validation=“検証”、test=“試験”。名前の通り“評価”に使うデータ。
【セットで覚えたい関連用語】
2.意味(定義)と例え話
学習データとは別に用意し、モデルの汎化性能を評価するために用いるデータ。検証データは学習中の調整に、テストデータは最終評価に用いるのが一般的。
「勉強に使ったデータで良いモデルは、未知データで通用する保証がない」という問題から、データ3分割が標準となった。
運転免許の試験勉強に似てる。教習所での練習=学習データ、模試=検証データ(弱点チェック)、本番の試験=テストデータ(最後の一発勝負)なんだ。
どんな機械学習・深層学習開発でも使う標準フロー。
「検証=学習中の調整/テスト=最終評価」の役割分担が鉄板。
3.直前に理解(Q&A)
8問Q1. データ3分割とは?最頻出
学習データ(訓練)・検証データ(学習中の調整)・テストデータ(最終評価)の3つに分けること。
Q2. 検証データとテストデータの違いは?最頻出
検証データ=学習中のハイパーパラメータ調整・アーリーストッピングの判断に。テストデータ=学習完了後、最終評価に1回だけ使う。
Q3. なぜ学習データで評価しない?頻出
モデルは学習データに“見た”(覚えられている)ので、汎化性能の評価に使えない。
Q4. 分割比の例は?頻出
6:2:2 や 7:2:1 など、目的に応じて変わる。大切なのは「テストと学習を分ける」こと。
Q5. 汎化性能とは?頻出
未知のデータでも正しく予測できる能力。テストデータで評価する。
Q6. 「汎化性能を学習データで評価する」は正しい?ひっかけ
誤り。モデルがまだ見えていないテストデータで評価するのが正しい。
Q7. 検証とテストの使い分けを一言で?混同注意
検証=“何度も”見ながら調整する(練習の採点)。テスト=“1回だけ”の最終判定(本番の採点)。
Q8. 各データの役割を覚える親と子
学習データ=学ぶ、検証データ=調整する、テストデータ=最終評価する。3つの役割を区別する。
4. まとめ
検証データは学習中の調整に、テストデータは最終評価に使う。汎化性能の評価に学習データを使うのは不適切。