Konfuzní matice je tabulka, která u klasifikace porovnává skutečné a predikované třídy a rozkládá tak výkon modelu na jednotlivé typy chyb. U binární úlohy má čtyři políčka: správně pozitivní, správně negativní, falešně pozitivní (chyba prvního druhu) a falešně negativní (chyba druhého druhu). Její hodnota spočívá právě v tomto rozlišení, které jediné souhrnné číslo skrývá. Samotná správnost, tedy podíl správných predikcí, je totiž u nevyvážených dat zavádějící až nebezpečná: v úloze, kde je jen jedno procento vzorků pozitivní, dosáhne devadesáti devíti procent správnosti model, který nikdy nic nenajde. Z konfuzní matice se dopočítávají všechny podstatné metriky – přesnost a úplnost, specificita, F1 skóre nebo Matthewsův korelační koeficient. Rozhodující je také to, že oba typy chyb mají obvykle nesouměřitelný dopad: u screeningu nádoru je nepřijatelný falešně negativní výsledek, u automatického blokování účtů falešně pozitivní. Volba prahu rozhodování je proto vždy obchodním, ne pouze technickým rozhodnutím. U více tříd matice ukazuje, které třídy se model navzájem plete.
Je to jako rozpis výsledků těhotenského testu ve čtyřech políčkách: těhotná a test pozitivní, netěhotná a negativní – to jsou správné případy. Pak dvě chyby, které nejsou zdaleka stejné. Test řekl „těhotná“, a nebyla – nepříjemné, ale vyřeší se dalším vyšetřením. Test řekl „netěhotná“, a byla – to je zásadní problém. Kdybyste hodnotili jen „test se plete v pěti procentech případů“, tenhle rozdíl nikdy neuvidíte. A přesně na něm většinou celá věc stojí.