Tokenizace je proces převodu surového textu na posloupnost diskrétních jednotek – tokenů –, které tvoří vstupní abecedu jazykového modelu. Moderní LLM nepracují ani s celými slovy, ani s jednotlivými znaky, ale s podslovními jednotkami odvozenými statisticky z trénovacího korpusu. Nejrozšířenějším algoritmem je Byte Pair Encoding (BPE), který začíná na úrovni jednotlivých bajtů a iterativně slučuje nejčastější sousedící dvojice do delších jednotek, dokud slovník nedosáhne cílové velikosti (typicky 32 000 až 200 000 položek). Alternativami jsou WordPiece a Unigram model implementovaný v SentencePiece. Výsledný slovník je kompromisem mezi délkou sekvence a schopností zakódovat libovolný, i nikdy neviděný řetězec. Každému tokenu je přiřazeno celočíselné ID, které se v první vrstvě sítě převede na embedding. Efektivita tokenizace je silně jazykově závislá: flektivní čeština s diakritikou se rozpadá zhruba na dvojnásobek tokenů oproti anglickému textu téhož významu, což přímo zvyšuje cenu inference i spotřebu kontextového okna.
Představte si, že text neskládáte z písmen, ale z předtištěných kostiček jako ve Scrabble. Některé kostičky nesou celé běžné slovo („dům“), jiné jen kousek („ne-“, „-ovat“, „-ství“). Model má krabici s pevným počtem druhů kostiček a jakoukoli větu musí poskládat právě z nich. Časté slovo zvládne jednou kostičkou, neobvyklé jméno nebo překlep musí poskládat ze tří čtyř úlomků. A právě proto vás čeština vyjde dráž než angličtina: slovo „nejneobhospodařovávatelnějšímu“ spotřebuje hrst kostiček, zatímco anglické „the“ jednu jedinou. Model neplatí za slova ani za znaky – platí za kostičky.