Detekce objektů je úloha, která ve snímku najde všechny výskyty hledaných kategorií a u každého vrátí jak nálepku, tak polohu ve formě ohraničujícího obdélníku a skóre jistoty. Oproti klasifikaci obrazu je podstatně obtížnější, protože počet objektů není předem znám a model musí řešit lokalizaci i rozpoznání zároveň; ztrátová funkce proto kombinuje klasifikační složku s regresí souřadnic rámce. Historicky se přístupy dělí na dvoustupňové a jednostupňové. Dvoustupňové, jako R-CNN a Faster R-CNN, nejprve vygenerují kandidátní oblasti a ty pak klasifikují – jsou přesnější, ale pomalejší. Jednostupňové, jako YOLO a SSD, predikují rámce i třídy jedním průchodem nad mřížkou předdefinovaných tvarů a hodí se pro běh v reálném čase. Novější přístupy typu DETR úlohu formulují jako přímou predikci množiny pomocí transformeru a zbavují se ručních heuristik. Nedílnou součástí je potlačení nemaximálních rámců, které z mnoha překrývajících se návrhů ponechá jen nejlepší, a metrikou je střední průměrná přesnost počítaná přes hodnoty IoU.
Rozdíl proti klasifikaci je jako rozdíl mezi otázkami „je na fotce dopravní zácpa?“ a „obtáhni mi na fotce každé auto a napiš, co je to za typ“. Druhá úloha je nesrovnatelně pracnější. Nevíte totiž dopředu, jestli tam bude jedno auto, nebo čtyřicet, některá jsou velká v popředí a jiná jako zrnko v dálce, polovina je vidět jen zpola za sloupem. A když nakonec obtáhnete jedno auto třemi mírně přesazenými rámečky, musí ještě někdo rozhodnout, který z nich platí – protože fotka s tisícem rámečků kolem jednoho auta nikomu nepomůže.