The letter

One letter a week, in your inbox.

The signal of the week, what shipped, what to try, and the editor's note. No tracking, no ads, nothing else.

We keep your address, your language and the date you joined, nothing else. Every letter has a one-click unsubscribe link that deletes the record.

← Accept All   Archive
Zenn (AI)Japan

PriorBand 論文解説:「良さそうな設定」から始める実用的なハイパーパラメータ探索

September 8

1. はじめに 深層学習のハイパーパラメータを調整するとき、私たちは完全な白紙から探索を始めるわけではない。論文の推奨値、公式実装のデフォルト、似たデータセットでうまくいった設定など、多少なりとも手がかりを持っている。 例えば、学習率は 10^{-5} から 10^{-2} まで探索したいが、まずは 3\times10^{-4} の周辺が有望に思える。一方、手元の GPU で学習を最後まで回せるのは十数回程度であり、すべての設定を同じだ

Read at Zenn (AI) ↗

Related

More from Zenn (AI) on Accept All.