Vysvětlitelná AI (explainable AI, XAI) je obor zabývající se tím, jak učinit rozhodování modelů srozumitelným člověku. Reaguje na povahu hlubokých modelů jako černých skříněk, u nichž z milionů až miliard vah nelze přímo odečíst důvod konkrétní predikce. Rozlišuje se interpretovatelnost, tedy vlastnost modelů průhledných už svou konstrukcí – logistická regrese či rozhodovací strom –, a vysvětlitelnost, tedy dodatečná rekonstrukce chování už hotového neprůhledného modelu. K nejpoužívanějším post hoc metodám patří LIME, jež v okolí konkrétního vstupu proloží lokální lineární náhradu, a SHAP, která přínos jednotlivých příznaků rozdělí podle Shapleyových hodnot z kooperativní teorie her. U obrazu se používají mapy salience, u jazykových modelů pak mechanistická interpretovatelnost hledající konkrétní obvody a pomocí řídkých autoenkodérů rozplétající jednotlivé rysy v aktivacích. Motivace není jen vědecká: nařízení včetně evropského AI Actu a GDPR zakládají v citlivých oblastech právo na vysvětlení. Zásadní výhradou je, že vysvětlení bývá věrohodné, ale nemusí být věrné – i vyslovená úvaha modelu může být dodatečnou racionalizací.
Představte si zkušeného lékaře, který se na pacienta podívá a řekne „tohle je zápal plic“ – a má pravdu v devadesáti devíti procentech případů. Jenže když se ho zeptáte proč, řekne jen „vidím to“. To je pro pacienta i pro pojišťovnu nepřijatelné. Vysvětlitelná AI hledá způsoby, jak z takového odborníka dostat: „rozhodlo o tom chrčení v levém laloku a horečka nad 39 stupňů; kdyby chybělo chrčení, řekl bych jinak.“ Pozor ale na jednu past: vysvětlení, které dodatečně vymyslíme, může znít přesvědčivě, a přesto nepopisovat to, co se v hlavě skutečně dělo.