Softmax je funkce, která převádí vektor libovolných reálných čísel na pravděpodobnostní rozdělení – všechny výstupní hodnoty jsou kladné a jejich součet je roven jedné. Každý prvek se umocní na exponenciálu a vydělí součtem exponenciál všech prvků. Exponenciála zajišťuje, že rozdíly mezi vstupy se zesílí: prvek jen mírně vyšší než ostatní získá výrazně větší podíl pravděpodobnosti, odtud „soft“ verze funkce maximum. V jazykovém modelu se softmax objevuje na dvou zásadních místech. Na výstupu sítě převádí surová skóre (logity) přes celý slovník na pravděpodobnost každého následujícího tokenu, přičemž dělení teplotou před aplikací funkce řídí ostrost tohoto rozdělení. Uvnitř mechanismu pozornosti pak normalizuje skóre podobnosti mezi dotazem a klíči na váhy, kterými se sčítají hodnoty. Softmax je diferencovatelný, takže jím lze bez potíží protlačit zpětné šíření chyby; jeho nevýhodou je nákladnost při velmi rozsáhlých slovnících a náchylnost k numerickému přetečení, které se řeší odečtením maxima.
Představte si porotu, která jednotlivým soutěžícím rozdala body: 8, 5 a 2. Body samy o sobě nejsou pravděpodobnost – nedají se sečíst do sta procent. Softmax je přepočítací tabulka, která z bodů udělá šance: „první má 85 %, druhý 12 %, třetí 3 %.“ Nejde ale o prostý trojčlenkový přepočet. Softmax náskok vítěze záměrně zvýrazňuje, takže z osmi bodů proti pěti udělá mnohem výraznější rozdíl, než jaký byl v původních číslech. Model tak dostane jasné vodítko, koho preferovat, aniž by úplně vyloučil ostatní.