Mechanismus pozornosti je výpočetní technika v oblasti neuronových sítí, která modelu umožňuje dynamicky vážit význam různých částí vstupních dat při tvorbě výstupu. Na rozdíl od starších přístupů, které zpracovávaly vstupní sekvenci do jediného kontextového vektoru s pevnou délkou, Mechanismus pozornosti při každém kroku generování výstupu znovu vyhodnocuje celou vstupní sekvenci. Pro každý prvek vstupu vypočítává tzv. skóre pozornosti, které určuje jeho relevanci pro daný kontext. Tento proces se často modeluje pomocí dotazů (queries), klíčů (keys) a hodnot (values), kde model porovnává dotaz (aktuální kontext) s klíči (všechny vstupní prvky), aby určil váhy pro kombinaci hodnot.
Představte si, že si čtete recept na vaření a chcete zjistit, kolik cukru potřebujete. Místo toho, abyste si celý recept pamatovali od začátku do konce, přirozeně očima vyhledáte slovo „cukr“ a zaměříte se na informaci o jeho množství. Mechanismus pozornosti v umělé inteligenci funguje velmi podobně. Dovoluje modelu, aby se při řešení úkolu „podíval“ na všechna dostupná data a sám se rozhodl, které části jsou v danou chvíli nejdůležitější. Stejně jako vy zvýrazníte v receptu klíčovou ingredienci, model přidělí nejvyšší „pozornost“ nejdůležitějším slovům nebo datům a ty pak použije k vytvoření správné odpovědi.