Dropout je regularizační technika, při níž se během každého tréninkového kroku náhodně vypne určitý podíl neuronů ve vrstvě – jejich výstup se nastaví na nulu. Podíl vypnutých jednotek je hyperparametr, typicky mezi deseti a padesáti procenty, a maska se losuje znovu pro každou dávku. Zbývající aktivace se přeškálují, aby zůstal zachován očekávaný součet. Efekt je dvojí. Jednak síť nemůže spoléhat na žádnou konkrétní jednotku, protože ta může kdykoli zmizet, a musí si proto budovat redundantní, robustnější reprezentace; brání se tak koadaptaci, kdy se skupina neuronů naučí fungovat pouze v tandemu. Jednak lze na dropout nahlížet jako na levné trénování exponenciálně velkého souboru podsítí, jejichž předpovědi se při inferenci implicitně zprůměrují – konceptuálně blízko baggingu. Při inferenci se dropout vypíná a používá se celá síť. Účinně tlumí přeučení, v moderních transformerech trénovaných na obřích korpusech se však jeho význam snižuje a někdy se nastavuje na nulu.
Představte si sportovní tým, kde trenér před každým tréninkem náhodně pošle třetinu hráčů na lavičku. Nikdo dopředu neví, kdo to bude. Tým se tak nemůže spolehnout na jedinou hvězdu, protože ta zrovna nemusí být na hřišti, a všichni hráči se nutně naučí zastat víc rolí. Když pak přijde skutečný zápas, nastoupí sestava kompletní – a je znatelně odolnější, než kdyby celou přípravu odehrála pořád ve stejném rozestavení. Přesně tímhle způsobem dropout brání síti v tom, aby se naučila trénovací data nazpaměť skrze pár privilegovaných spojení.