Rychlost učení (learning rate) je hyperparametr určující, jak velký krok učiní gradientní sestup ve směru záporného gradientu. Bývá označována za nejdůležitější nastavení celého tréninku, protože její špatná volba znehodnotí jakoukoli architekturu. Příliš malá hodnota vede k neúnosně pomalé konvergenci a k uvíznutí v prvním mělkém minimu; příliš velká způsobí, že optimalizace minimum přeskočí, začne oscilovat a ztráta může úplně divergovat do nekonečna. V praxi se rychlost učení nedrží konstantní, ale řídí se rozvrhem. Standardem je zahřívací fáze (warmup), během níž hodnota lineárně roste z nuly – v prvních krocích jsou totiž gradienty velké a nestabilní a velký krok by model rozhodil –, po níž následuje postupný pokles, nejčastěji podle kosinové křivky, aby se model na konci mohl v nalezeném minimu jemně usadit. Adaptivní optimalizátory jako Adam navíc odvozují efektivní krok pro každý parametr zvlášť z historie jeho gradientů. Optimální hodnota souvisí s velikostí dávky: se zvětšením dávky se obvykle přiměřeně zvyšuje i rychlost učení.
Vraťte se k člověku, který v mlze hledá nejnižší bod pláně. Rychlost učení je délka jeho kroku. Šoupá-li nohama po centimetrech, možná je na správné cestě, ale do údolí dojde za tři dny. Skáče-li po deseti metrech, přeletí údolí a odrazí se na protějším svahu – a takhle bude poskakovat pořád. Rozumný postup je začít opatrně, dokud si nezvykne na terén, pak vykročit zdatně a čím blíž je cíli, tím kratší krůčky dělat. Přesně tak dnes vypadá rozvrh učení každého velkého modelu.