Segmentace obrazu je úloha, která obraz rozdělí na oblasti tím, že přiřadí nálepku každému jednotlivému pixelu. Je tedy podstatně podrobnější než detekce objektů pracující s obdélníky. Rozlišují se tři varianty. Sémantická segmentace každému pixelu přiřadí kategorii, ale neodlišuje jednotlivé výskyty – všichni lidé na snímku tvoří jednu plochu „člověk“. Instanční segmentace naopak rozlišuje jednotlivé objekty a pro každý vrací jeho vlastní masku, typicky architekturou Mask R-CNN. Panoptická segmentace obojí spojuje: počitatelné objekty popisuje jako instance a nepočitatelné pozadí jako oblohu, trávu či vozovku. Architektonicky jde téměř vždy o schéma enkodér-dekodér, kde se rozlišení nejprve podvzorkuje za účelem porozumění kontextu a poté zpětně zvětší na původní velikost, přičemž preskoková spojení vracejí do dekodéru jemné detaily – kanonickým příkladem je U-Net. Používá se Diceovo skóre či IoU jako metrika i ztráta. Klíčové oblasti nasazení jsou medicínské zobrazování, autonomní řízení, satelitní snímky a průmyslová kontrola kvality.
Detekce objektů vám kolem koně nakreslí rámeček. Segmentace ho vybarví přesně po obrysu, včetně hřívy a mezer mezi nohama, kterými prosvítá tráva. Ten rozdíl je pro některé úlohy zásadní. Chirurgovi nestačí vědět, že nádor je „někde v tomhle obdélníku“ – potřebuje vědět, kde přesně končí zdravá tkáň. A rozdíl mezi sémantickou a instanční variantou poznáte na fotografii ovcí ve stádě: v prvním případě dostanete jednu velkou bílou plochu „ovce“, ve druhém padesát oddělených ovcí, které lze spočítat.