Zákony škálování (scaling laws) jsou empiricky zjištěné vztahy popisující, jak se výkonnost jazykového modelu zlepšuje s rostoucím počtem parametrů, objemem trénovacích dat a vynaloženým výpočtem. Klíčovým pozorováním je, že chyba klesá podle mocninného zákona – s každým znásobením vstupů se ztráta zmenší o předvídatelný podíl – a že tento vztah drží napříč mnoha řády. To poprvé umožnilo plánovat trénink obřích modelů dopředu: z několika malých běhů lze extrapolovat, co dostaneme za desetinásobek prostředků. Zásadní korekci přinesl v roce 2022 výzkum modelu Chinchilla, který ukázal, že tehdejší velké modely byly vůči svým datům silně nedotrénované; pro daný výpočetní rozpočet je optimální zvětšovat parametry a data přibližně ve stejném poměru, což se ustálilo na řádově dvaceti tokenech na parametr. Praktickým důsledkem je posun k menším, ale mnohem déle trénovaným modelům, které jsou levnější na inferenci. Vedlejším a teoreticky nepříjemným zjištěním je, že plynulý pokles ztráty se v konkrétních schopnostech projevuje skokově – to je emergentní chování.
Je to jako recept, u kterého víte, že když zdvojnásobíte hrnec i množství surovin, jídlo bude o čtvrtinu lepší – a platí to pořád, ať vaříte pro deset, nebo pro deset tisíc lidí. Nesmírně užitečné, protože můžete dopředu spočítat, jestli vám ta lepší čtvrtina stojí za dvojnásobnou cenu. Chinchilla k tomu doplnila důležité kuchařské pravidlo: nemá smysl kupovat čím dál větší hrnec, když do něj sypete pořád stejně málo surovin. Většina prvních obřích modelů byla přesně tohle – gigantické hrnce s tenkou polívkou.