AI agent je systém, v němž jazykový model neplní jednorázový dotaz, ale samostatně sleduje zadaný cíl v opakující se smyčce plánování, jednání a vyhodnocení. Od obyčejného promptu se liší autonomií nad postupem: agent si sám rozdělí úkol na kroky, zvolí a prostřednictvím volání funkcí použije nástroje, přečte výsledek, posoudí, zda se přiblížil cíli, a rozhodne o dalším kroku. Typickými komponentami jsou plánovač, sada nástrojů, paměť překračující kontextové okno a kritik hodnotící mezivýsledky. Vzorem chování je schéma ReAct, prolínající explicitní úvahu s akcemi. Charakteristickým rizikem je hromadění chyb: má-li jeden krok spolehlivost devadesát pět procent, po dvaceti krocích spadne úspěšnost celého řetězce na třetinu, a agent navíc může chybný předpoklad opakovaně utvrzovat. Ke bezpečnostním otázkám patří rozsah udělených oprávnění, náklady na nekontrolované smyčky a zejména nepřímá prompt injekce skrze data, která agent po cestě přečte. Proto se v praxi prosazuje omezený rozsah nástrojů a schvalovací krok u nevratných operací.
Rozdíl mezi asistentem a agentem je jako rozdíl mezi rešeršistou a hospodářem. Rešeršistovi řeknete otázku a on přinese odpověď. Hospodáři řeknete „připrav zahradu na zimu“ a on si sám rozhodne, že nejdřív zkontroluje počasí, pak sklidí, pak zakryje růže, a průběžně kontroluje, jestli to jde podle plánu. Ohromná úspora, ale i nová rizika. Když se na začátku splete v tom, který záhon je růžový, bude tuhle chybu poslušně opakovat celý den. A jestli mu dáte klíče od celého statku, měli byste vědět, u kterých dveří ho chcete mít vždycky přizvat k rozhodnutí.