Křížová validace je metoda odhadu skutečné výkonnosti modelu, která šetrně využívá omezené množství dat. Nejrozšířenější variantou je k-násobná křížová validace: dataset se rozdělí na k přibližně stejných částí a proces se zopakuje k-krát, přičemž v každém kole slouží jedna část jako testovací a zbylých k−1 jako trénovací. Výsledky se zprůměrují a jejich rozptyl navíc říká, jak stabilní model je. Motivací je nespolehlivost jediného rozdělení dat: při malém vzorku může být jedna náhodně vybraná testovací množina nešťastně snadná nebo obtížná, takže odhad kvality je zavádějící. Zvláštní pozornost vyžaduje složení částí – u nevyvážené klasifikace se používá stratifikace, která v každé části udrží stejný poměr tříd, u časových řad se naopak nesmí míchat pořadí a budoucnost se nikdy nesmí objevit v trénovací části. Metoda je nezbytná pro spravedlivé ladění hyperparametrů, kde se často vnořuje do dvou úrovní. Cenou je k-násobný výpočetní náklad, což ji u velkých hlubokých modelů činí neprakticky drahou; tam se vystačí s jedinou pevnou validační množinou.
Představte si, že máte otestovat pět uchazečů o práci a k dispozici jen pět zkušebních úkolů. Kdybyste každému dali jiný úkol, výsledky nesrovnáte – jeden mohl dostat lehčí zadání. Křížová validace to řeší jinak: uděláte pět kol. V každém kole čtyři úkoly použijete na přípravu a jeden na skutečné zkoušení, a v dalším kole zkoušíte z jiného. Nakonec spočítáte průměr. Zjistíte nejen to, jak dobrý uchazeč je, ale i jak vyrovnaný – protože pokud jednou uspěl skvěle a jednou katastrofálně, je to informace stejně cenná jako průměr sám.