Overfitting (česky přeučení) je stav, kdy model při strojovém učení dosahuje velmi nízké chyby na trénovacích datech, ale výrazně horších výsledků na datech, která nikdy neviděl. Model si místo obecné zákonitosti zapamatoval konkrétní vzorky včetně šumu, odlehlých hodnot a náhodných artefaktů sběru dat. Formálně jde o nepříznivý bod kompromisu mezi zkreslením a rozptylem (bias-variance tradeoff): kapacita modelu je vzhledem k množství a rozmanitosti dat příliš vysoká. Diagnostikuje se rozevírajícími se nůžkami mezi trénovací a validační chybovou křivkou – trénovací klesá dál, zatímco validační se zastaví a začne růst. Standardní obranou je regularizace (L1 a L2 penalizace vah, dropout ve skrytých vrstvách), předčasné zastavení tréninku, augmentace a rozšíření datové sady, křížová validace a zjednodušení architektury. U velkých jazykových modelů se přeučení projevuje také doslovnou memorizací pasáží z trénovacího korpusu, což je zároveň bezpečnostní a autorskoprávní problém.
Představte si studenta, který se před zkouškou naučí nazpaměť dvacet konkrétních zadání z minulých let – včetně toho, že správná odpověď byla třikrát za sebou „c“. U testu složeného přesně z těchto příkladů má sto procent. Jakmile ale zkoušející změní čísla nebo formulaci, student se hroutí, protože nikdy nepochopil princip. Přesně tohle dělá přeučený model: excelentní na tom, co viděl, bezradný na všem ostatním. Opakem je student, který se učil moc povrchně a neumí ani ta stará zadání – tomu se říká underfitting. Cílem tréninku je najít bod mezi těmito dvěma extrémy.