Ztrátová funkce (loss function) je matematické vyjádření toho, jak špatná je predikce modelu vzhledem k požadovanému výstupu. Její hodnota je jediné číslo, které se během tréninku minimalizuje, a její volba proto de facto definuje, co se model naučí – vše, co ve ztrátě není zachyceno, je modelu lhostejné. Pro regresní úlohy se používá střední kvadratická chyba, která silně penalizuje velké odchylky, nebo robustnější absolutní chyba. Pro klasifikaci se používá křížová entropie, měřící nesoulad mezi predikovaným a skutečným rozdělením; u jazykových modelů se počítá přes celý slovník pro každý předpovídaný token a její exponenciála dává perplexitu. Kontrastivní ztráty jako triplet loss či InfoNCE naopak pracují s dvojicemi a trojicemi vzorků a učí model přibližovat podobné a odtlačovat nepodobné, což je základ tréninku embeddingů. Ke ztrátě se často přidávají regularizační členy penalizující velké váhy. Klíčovou vlastností je diferencovatelnost, bez níž nelze spočítat gradient a rozběhnout zpětné šíření chyby.
Ztrátová funkce je vysvědčení. Model něco odpoví, ztrátová funkce mu za to dá známku – a on se pak celý trénink snaží jen o jedno: mít tu známku lepší. Proto strašně záleží, za co se známkuje. Pokud dáte řidiči body jen za rychlost dojezdu, přijede rychle a s promáčknutými blatníky. Pokud u předpovědi ceny nemovitosti penalizujete čtverec odchylky, model se bude nadměrně bát pár luxusních vil a ceny běžných bytů kvůli nim mírně nadhodnotí. Známkování tedy není detail na konci – je to vlastně zadání celé úlohy.