Hyperparametr je nastavení modelu nebo tréninkového procesu, které se nezískává učením z dat, ale volí se předem. Tím se principiálně liší od parametrů – vah a biasů –, jež optimalizuje gradientní sestup. Mezi hyperparametry patří architektonické volby jako počet vrstev, dimenze skrytých reprezentací nebo počet hlav v multi-head attention, dále nastavení optimalizace jako rychlost učení, velikost dávky a počet epoch, a rovněž regularizační veličiny jako míra dropoutu nebo síla penalizace vah. Do téže kategorie spadají i parametry dekódování při inferenci, například teplota či top-p. Jejich ladění probíhá vždy proti validační množině, nikdy proti testovací, aby nedošlo k prosáknutí informace a nadhodnocení výsledků. Nejnaivnější metodou je prohledávání mřížky, efektivnější bývá náhodné prohledávání a nejsofistikovanější je bayesovská optimalizace, která staví náhradní model závislosti výsledku na nastavení. U velkých modelů, kde je jeden trénink extrémně drahý, se hyperparametry odvozují z menších běhů a extrapolují.
Vaříte-li polévku, parametry jsou to, co se během vaření samo doladí – jak měkká je zelenina nebo jak se propojí chutě. Hyperparametry jsou naopak vaše rozhodnutí, která učiníte ještě před tím, než zapnete sporák: jak velký hrnec, jak vysoký plamen, kolik soli, jak dlouho vařit. Polévka vám je nenavrhne. Musíte je zvolit, uvařit, ochutnat a příště změnit. A klíčové pravidlo: ochutnávejte na cvičné porci, ne na té, kterou chcete podat hostům – jinak nikdy nezjistíte, jak polévka chutná někomu, kdo neví, co jste do ní dali.