Normalizace vrstev (layer normalization) je technika stabilizace tréninku hlubokých sítí, která pro každý jednotlivý vzorek přepočítá aktivace tak, aby měly nulový průměr a jednotkový rozptyl napříč dimenzemi dané vrstvy. Výsledek se pak přeškáluje dvěma naučitelnými parametry, takže si síť může užitečnou část původního měřítka vrátit. Cílem je potlačit takzvaný vnitřní posun kovariát – jev, kdy se rozdělení vstupů každé vrstvy během učení neustále mění, protože se mění váhy vrstev pod ní. Na rozdíl od dávkové normalizace nezávisí layer normalization na velikosti dávky ani na ostatních vzorcích v ní, což ji činí vhodnou pro sekvenční data proměnné délky a pro inferenci po jednom vstupu. V transformerech je klíčové její umístění: původní architektura ji dávala až za blok pozornosti, dnešní modely ji přesouvají před něj (pre-norm), což výrazně zlepšuje stabilitu při velkém počtu vrstev. Rozšířenou zjednodušenou variantou je RMSNorm, která vynechává centrování a normalizuje jen podle kvadratického průměru.
Představte si školu, kde každý učitel známkuje jinak přísně. Jeden dává jedničky skoro všem, druhý za stejný výkon rozdává trojky. Ředitel proto zavede pravidlo: každý učitel musí své známky přepočítat tak, aby průměr třídy vyšel stejně. Pořadí žáků zůstane zachované, ale čísla jsou konečně srovnatelná. Přesně to dělá normalizace vrstev uvnitř sítě – zabraňuje tomu, aby jedna vrstva posílala dál nesmyslně velká nebo naopak zanedbatelně malá čísla. Bez ní by se hluboká síť při učení rozkolísala a trénink by se často rozpadl už po pár krocích.