Mizející gradient je jev, při němž se signál pro učení během zpětného šíření chyby cestou k prvním vrstvám sítě exponenciálně zeslabuje, až se blíží nule. Příčina je v řetězovém pravidle: gradient vzniká součinem derivací všech vrstev nad danou vrstvou, a je-li typická derivace menší než jedna, součin desítek takových činitelů se zhroutí. Prakticky to znamená, že spodní vrstvy se prakticky neučí, síť se chová jako mnohem mělčí a její hloubka je na obtíž. Zrcadlovým opakem je explodující gradient, kdy jsou derivace větší než jedna a součin naroste do astronomických hodnot, což způsobí divoké skoky parametrů a rozpad tréninku, často až na hodnoty NaN. Historicky šlo o hlavní překážku hlubokého učení a příčinu neschopnosti rekurentních sítí pamatovat si dlouhé závislosti. Dnešní obranou je kombinace opatření: nesaturující aktivační funkce typu ReLU, reziduální spojení vytvářející pro gradient přímou cestu, normalizace vrstev, promyšlená inicializace vah a proti explozi ještě ořezávání normy gradientu.
Představte si zprávu, která se ve firmě předává shora dolů přes dvacet úrovní vedení, přičemž každý manažer z ní tradičně zamlčí polovinu. Ředitel řekne něco podstatného; na dělníka v poslední řadě dolehne šum bez informace, takže on svou práci nezmění. To je mizející gradient. Opačný případ je firma, kde každý manažer zprávu pro zdůraznění zdvojnásobí – na konci dělník čte, že se musí okamžitě všechno zbourat, a skutečně to udělá. Řešením je nechat ředitele mluvit i přímo se spodními úrovněmi, což je přesně to, co dělají reziduální zkratky.