Destilace modelu (knowledge distillation) je technika komprese, při níž se menší model (žák) učí napodobovat chování většího a výkonnějšího modelu (učitele). Klíčovou myšlenkou je, že učitel poskytuje bohatší tréninkový signál než původní anotovaná data: místo jediné správné odpovědi předává celé pravděpodobnostní rozdělení přes všechny možnosti. Toto rozdělení se navíc změkčí vyšší teplotou v softmaxu, což zvýrazní relativní vztahy mezi nesprávnými možnostmi – informaci, které se říká dark knowledge. Žák je trénován na kombinaci klasické ztrátové funkce vůči skutečným štítkům a Kullbackovy-Leiblerovy divergence vůči výstupu učitele. Varianty se liší tím, co se přenáší: response-based destilace kopíruje jen výstupy, feature-based navíc vnitřní reprezentace skrytých vrstev. U generativních jazykových modelů se často používá sekvenční destilace, kdy učitel vygeneruje syntetický korpus odpovědí a žák se na něm doladí. Výsledkem je model o řád menší, levnější na provoz a nasaditelný na běžný hardware, který si na cílové doméně udrží podstatnou část kvality učitele.
Je to jako vztah mistra a učně. Mistr truhlář neřekne učňovi jen „tohle je správně a tohle špatně“. Řekne mu: „Tenhle spoj je nejlepší, tenhle druhý je taky přijatelný, tenhle třetí by vydržel tak rok a tenhle je úplně mimo.“ Ta odstupňovaná informace o tom, jak moc je která varianta špatná, je pro učně mnohem cennější než holé ano/ne – naučí se z ní princip, ne jen odpověď. Učeň nikdy nebude mít mistrovu čtyřicetiletou zkušenost, ale na běžné zakázky bude stačit, vejde se do malé dílny a pracuje rychleji.