Epocha je jeden úplný průchod tréninkovým datasetem, během něhož model viděl každý vzorek právě jednou. Slouží jako přirozená jednotka délky tréninku a rozděluje se na kroky – tolik, kolik se do datasetu vejde dávek. Po každé epoše se obvykle vyhodnotí chyba na validační množině, takže právě epochy jsou body, v nichž se rozhoduje o předčasném zastavení tréninku. Vývoj obou křivek napříč epochami je hlavním diagnostickým nástrojem: jestliže trénovací chyba dál klesá, ale validační se zastavila nebo roste, nastalo přeučení a další epochy už jen škodí. U klasického učení s učitelem na menších datech se běžně trénuje desítky až stovky epoch a mezi nimi se data náhodně promíchávají, aby model nezapadl do pořadí vzorků. U předtrénování velkých jazykových modelů je situace opačná: korpus je tak obrovský, že se přes něj projde jedinkrát, nebo dokonce jen částečně, a hovoří se proto spíš o počtu spotřebovaných tokenů než o epochách.
Epocha je jedno kompletní přečtení učebnice od první do poslední stránky. Když se učíte na zkoušku z tenké skripta, přečtete je pětkrát a pokaždé si všimnete něčeho nového – to je pět epoch. Když ale máte „přečíst internet“, nikoho nezajímá, kolikrát jste ho přečetli celý; zajímá, kolik stránek jste vůbec stihli. A platí tu i lidská zkušenost: od určitého počtu opakování už se neučíte látku, ale konkrétní zadání z konkrétní knihy – a u zkoušky s jinak formulovanou otázkou pohoříte.