Prokletí dimenzionality je souhrnný název pro sadu neintuitivních jevů, které nastávají při práci s daty o velkém počtu příznaků. Prvním je exponenciální řídnutí prostoru: aby zůstala hustota vzorků zachována, musel by počet dat s každou další dimenzí násobně růst, takže i obrovský dataset je ve stovkách dimenzí zoufale prázdný a téměř každý nový bod padne do oblasti, kde model nikdy nic neviděl. Druhým a ještě zvláštnějším jevem je koncentrace vzdáleností – ve vysokých dimenzích se vzdálenosti mezi libovolnými dvěma body vzájemně přibližují, poměr mezi nejbližším a nejvzdálenějším sousedem se blíží jedné, a pojem „nejbližší“ tak ztrácí rozlišovací sílu. Tím jsou postiženy zejména metody založené na metrice jako k-NN a k-means. Objem koule se navíc soustředí do tenké skořápky u povrchu, takže data leží spíš na okrajích než uprostřed. Obranou je redukce dimenzionality, regularizace a výběr příznaků. Praktickou úlevou je hypotéza manifoldu: reálná data zpravidla leží na mnohem méně rozměrné podploše vnořené do vysokodimenzionálního prostoru, což je důvod, proč embeddingy vůbec fungují.
Představte si, že hledáte kamaráda. Na sto metrů dlouhé ulici ho najdete hned. Na náměstí sto krát sto metrů to je deset tisíc míst, ale ještě to jde. Ve stopatrovém domě sto krát sto metrů je to milion míst. A teď si přidejte, že se může nacházet v jednom ze sta časů, jedné ze sta nálad a jedné ze sta barev kabátu. Prostor možností nabude tak obludných rozměrů, že ať máte kolegů kolik chcete, prohledaná část zůstane nekonečně malá. A co je nejpodivnější: v takovém prostoru je najednou každý stejně daleko od každého.