Autoregresivní modely představují třídu generativních modelů, jejichž základním principem je predikce následujícího prvku v sekvenci na základě všech prvků předchozích. Formálně takový model odhaduje pravděpodobnostní rozdělení pro další prvek za podmínky znalosti všech předešlých prvků sekvence. Generování probíhá iterativně krok za krokem: model nejprve vytvoří první prvek, ten následně použije jako součást vstupu pro predikci druhého prvku, a tento proces opakuje. Tento přístup je stěžejní pro úlohy generování sekvenčních dat, jako je tvorba textu v jazykových modelech nebo syntéza zvuku, a pro svou funkci vyžaduje striktní dodržování kauzality.
Představte si, že skládáte dlouhou větu. Neřeknete ji celou najednou, ale postupně skládáte slovo za slovem, přičemž každé další slovo logicky navazuje na ta předchozí. Autoregresivní model funguje přesně jako takový pečlivý vypravěč. Generuje výstup kousek po kousku a při tvorbě každého nového slova se vždy ohlédne na vše, co už vytvořil předtím. Když například napíše „Včera jsem šel do“, podívá se na tuto historii a z ní odvodí, že nejpravděpodobnějším pokračováním je „kina“ nebo „práce“. Tento nový dílek pak připojí k příběhu a pokračuje dál.