Regularizace je souhrnný název pro postupy, které omezují efektivní kapacitu modelu, a tím zlepšují jeho schopnost generalizovat na nová data. Jejím účelem je potlačit přeučení, tedy stav, kdy si model zapamatuje trénovací vzorky včetně šumu. Nejběžnější formou je přidání penalizačního členu ke ztrátové funkci. Penalizace L2, známá jako weight decay, přičítá součet kvadrátů vah a tlačí je rovnoměrně k nule, čímž znevýhodňuje modely spoléhající na několik extrémně silných spojení. Penalizace L1 přičítá součet absolutních hodnot a mnoho vah vynuluje úplně, takže funguje i jako výběr příznaků. Vedle explicitních penalizací existuje řada implicitních mechanismů: dropout náhodně vypíná neurony, předčasné zastavení ukončí trénink v okamžiku, kdy se začne zvedat validační chyba, augmentace dat rozšiřuje trénovací množinu jejími transformacemi a vyhlazení štítků brání přehnané jistotě predikcí. Regularizuje i sama velikost dávky a šum ve stochastickém gradientu. Nalezení správné míry je vždy hledáním rovnováhy: příliš silná regularizace vede k podučení.
Regularizace je jako rada, kterou dáte studentovi před zkouškou: „Nepiš mi zpaměti definice z těch tří knih, které jsi četl – řekni to vlastními slovy a jednoduše.“ Nutíte ho tím vzdát se detailů a držet se podstaty, protože podstata funguje i na otázce, kterou v knihách neviděl. Prakticky mu můžete třeba zakázat používat víc než deset odborných termínů, občas mu zakrýt polovinu poznámek nebo ho zastavit dřív, než se stihne naučit nazpaměť. A jako u každé rady platí, že se s ní dá to přehnat: student, kterému zakážete úplně všechno, nakonec neřekne vůbec nic.