ROC křivka (Receiver Operating Characteristic) je graf zobrazující chování binárního klasifikátoru napříč všemi možnými rozhodovacími prahy. Na vodorovné ose je podíl falešně pozitivních, na svislé podíl správně pozitivních, tedy úplnost. Křivka vzniká postupným snižováním prahu od nejpřísnějšího k nejmírnějšímu a její tvar tak popisuje celý kompromis mezi zachycením pozitivních případů a četností falešných poplachů. Souhrnnou metrikou je plocha pod křivkou, AUC: hodnota 0,5 odpovídá náhodnému hádání, hodnota 1,0 dokonalému oddělení. Elegantní interpretace AUC říká, že jde o pravděpodobnost, že náhodně zvolený pozitivní vzorek dostane vyšší skóre než náhodně zvolený negativní; metrika je tedy nezávislá na volbě prahu i na poměru tříd. Právě posledně jmenovaná vlastnost je ovšem past: u silně nevyvážených dat vypadá AUC opticky výborně, i když je model v praxi nepoužitelný, protože obrovský počet negativních případů falešné poplachy zředí. V takových případech je vypovídající křivka precision-recall a plocha pod ní.
Představte si, že seřadíte všechny pacienty podle toho, jak podezřelý jim model připadá, od nejvíc po nejméně. AUC odpovídá na jednoduchou otázku: vezmu-li jednoho skutečně nemocného a jednoho zdravého, jaká je šance, že nemocný stojí v řadě výš? Devadesát procent je dobrý výsledek, padesát znamená, že model řadí lidi jako házením mince. Pozor ale na situaci, kdy je nemocný jeden z desetitisíce. Řada může vypadat skvěle, a přesto na prvních sto místech budete mít devadesát devět zdravých – a to je pro provoz ambulance to jediné, co rozhoduje.