Kontextové okno je parametr jazykového modelu, který určuje maximální množství informací, typicky měřené v počtu Token„>Tokenů, které může model zpracovat najednou. Toto okno zahrnuje veškerý vstupní text poskytnutý uživatelem a zároveň i dosud vygenerovanou odpověď v rámci jedné konverzace. Cokoli, co leží mimo hranice tohoto okna, je pro model v daném okamžiku neviditelné a nemůže to ovlivnit jeho další výstup. Velikost kontextového okna je tak zásadním faktorem, který omezuje schopnost modelu pracovat s velmi dlouhými dokumenty nebo udržovat souvislost v rozsáhlých dialozích.
Představte si Kontextové okno jako pracovní paměť umělé inteligence. Stejně jako člověk dokáže udržet v hlavě jen omezený počet myšlenek najednou, když řeší nějaký úkol, i model může v jeden okamžik pracovat pouze s určitým množstvím textu. Do této jeho „paměti“ se musí vejít jak váš dotaz, tak celá předchozí konverzace. Pokud je rozhovor příliš dlouhý a jeho začátek se už do okna nevejde, model na něj jednoduše „zapomene“ a při generování další odpovědi z něj nemůže čerpat.