Představte si umělou inteligenci jako studenta, který přečetl obrovskou spoustu knih, ale ne vždy všemu dokonale rozuměl. Když se ho zeptáte na něco, o čem nemá stoprocentní informace, nesnaží se to přiznat. Místo toho si na základě naučených vzorů a slovních spojení sebevědomě „vymyslí“ odpověď, která zní velmi přesvědčivě, ale fakticky je nesprávná. Této tendenci AI generovat nepravdivé, smyšlené nebo zavádějící informace, které nejsou podloženy skutečnými daty, se říká halucinace. Je to jako kdyby vám AI s naprostou jistotou tvrdila, že hlavním městem Austrálie je Sydney.
Halucinace v kontextu umělé inteligence, zejména u velkých jazykových modelů (LLM), označuje generování výstupů, které jsou fakticky nesprávné, zavádějící nebo neodpovídají zdrojovým datům, přestože jsou syntakticky a gramaticky koherentní a působí věrohodně. Tento jev není výsledkem vědomého záměru, ale systémovou vlastností současných generativních modelů. Vzniká z několika důvodů, mezi něž patří přítomnost šumu a nepřesností v trénovacích datech, omezení modelu v porozumění skutečnému světu nebo přílišná snaha modelu o generování plynulého a pravděpodobného textu na úkor faktické správnosti.
Model se při generování odpovědi nesnaží ověřovat fakta v externí databázi, ale skládá sekvenci slov na základě statistických pravděpodobností, které si osvojil během tréninku. Pokud je dotaz nejednoznačný nebo se týká oblasti, kde má model slabé datové pokrytí, může extrapolovat informace způsobem, který vede k vytvoření plausibilně znějící, avšak smyšlené odpovědi. Detekce a mitigace halucinací je jednou z aktivních oblastí výzkumu, využívající techniky jako je RAG (Retrieval-Augmented Generation) pro uzemnění modelu v ověřitelných informacích.