Kvantizace je snížení číselné přesnosti, se kterou jsou uloženy váhy a případně i aktivace neuronové sítě. Model natrénovaný v 16bitovém formátu se převede do 8bitových nebo 4bitových celých čísel, čímž se paměťová náročnost sníží dvoj- až čtyřnásobně a inference se zrychlí, protože se přenáší méně dat mezi pamětí a výpočetní jednotkou. Převod probíhá afinním mapováním rozsahu reálných hodnot na diskrétní mřížku pomocí měřítka a nulového bodu, obvykle zvlášť pro každý kanál nebo blok vah, aby jediná odlehlá hodnota nedegradovala celý tenzor. Rozlišuje se posttréninková kvantizace (PTQ), která pracuje s hotovým modelem a malým kalibračním vzorkem, a kvantizačně uvědomělý trénink (QAT), který zaokrouhlovací chybu simuluje už během učení. U velkých jazykových modelů se prosadily metody GPTQ a AWQ, které při volbě zaokrouhlení zohledňují citlivost jednotlivých vah, a distribuční formát GGUF. Hlavní úskalí představují tzv. outlier features – několik dimenzí s extrémně velkou amplitudou, kvůli nimž naivní kvantizace kvalitu výrazně poškodí.
Je to stejný princip jako rozdíl mezi studiovou nahrávkou ve FLAC a stopou v MP3. Zvuk je pořád tentýž, jen se ukládá s menším počtem odstínů hlasitosti. Soubor se scvrkne na zlomek, přehrávání je svižnější a většina posluchačů rozdíl nepozná. Když to ale přeženete a zredukujete odstínů příliš, začne to skřípat. U modelu je to totéž: místo aby si každou váhu pamatoval s přesností na mnoho desetinných míst, zaokrouhlí ji na jednu z šestnácti možných hodnot. Díky tomu se model, který by se jinak vešel jen do serverové GPU, rozběhne na běžném notebooku.