1.基本を理解
読み方・用語解説- 読み方
- がくしゅうりつ
- 英語名
- Learning Rate(lr)
- 提唱者・年代
- 勾配降下法(最急降下法)とともに使われてきた古典的なハイパーパラメータ
💡 豆知識——“ハイパーパラメータ”の代表格——データからは学べず、人が試行錯誤で決める値。
【セットで覚えたい関連用語】
勾
勾配降下法(No.108)損失の“傾き”で重みを更新する学習の仕組み。誤
誤差逆伝播法(No.109)勾配を層ごとに遡って計算する。過
過学習(No.12)学習率が不適切だと振動・発散し、収束しなくなる。2.意味(定義)と例え話
一言で言うと?
1回の更新で勾配に掛け、更新幅を調整する係数。大きすぎると谷底を通り越して発散、小さすぎると収束が遅い。
背景・歴史的流れ
最急降下法の頃からある“歩幅”の制御。現代では学習率の減衰やスケジューリングが精度の要。
身近な例え話
暗い部屋で“山の下”(損失の谷底)へ下りる——大きく一歩ずつだと谷を飛び越え、小さすぎると到着に永遠にかかる。
AIとの関係
ニューラルネットワークの学習速度と安定性を左右する最重要パラメータの一つ。
おすすめの活用法・注目ポイント
「大きくすぎると発散・小さすぎると遅い」の両極で。“適切”な値は問題ごとに変わる(=ハイパーパラメータ)もセットで。
3.直前に理解(Q&A)
7問Q1. 学習率とは?最頻出
1回の重み更新で勾配に掛ける係数——更新幅を調整する。
Q2. 大きすぎると?最頻出
谷底を通り越して振動・発散する(収束しない)。
Q3. 小さすぎると?最頻出
収束が遅い(学習に極端な時間がかかる)。
Q4. パラメータと何が違う?混同
学習から“学ばれる”のは重み(パラメータ)。学習率は人が決める“ハイパーパラメータ”。
Q5. よくある工夫は?頻出
学習率スケジューリング——学習が進むにつれ徐々に小さくする。
Q6. どのくらいが妥当?ひっかけ
“0.01”等の定石より“問題依存”——試して選ぶ。
Q7. 位置づけは?親と子
勾配降下法の学習 ⊃ 学習率(ハイパーパラメータ)。
4. まとめ
学習率=重み更新の“歩幅”。大きくすぎると発散、小さすぎると収束が遅い——人が決めるハイパーパラメータ。