Kontextový vektor je numerická reprezentace, obvykle ve formě vektoru (pole čísel), která v sobě kóduje sémantický obsah a podstatu vstupní sekvence dat, jako je věta nebo odstavec. V klasických architekturách typu Enkodér„>Enkodér–Dekodér„>Dekodér je tento vektor finálním výstupem enkodéru, který zpracoval celou vstupní sekvenci. Sloužil jako jediný, zhuštěný zdroj informací předávaný dekodéru pro generování výstupu. Tato koncepce fixní délky vektoru však představovala informační úzké hrdlo, což omezovalo výkon modelů u delších sekvencí. V moderních architekturách byl tento koncept z velké části nahrazen mechanismy pozornosti, které umožňují dynamický přístup k informacím z celé vstupní sekvence.
Představte si, že si přečtete nějakou větu. Ve vaší mysli nezůstanou jen jednotlivá slova, ale především její celkový smysl – taková hlavní myšlenka. Kontextový vektor je přesně tato „myšlenka“, ale v podobě srozumitelné pro umělou inteligenci. Poté, co si model „přečte“ vstupní text, shrne jeho kompletní význam do jednoho balíčku čísel. Tento balíček pak slouží jako základní stavební kámen pro další úkoly, například pro vytvoření přesného překladu do jiného jazyka.