Few-shot learning je postup, při němž model dostane v promptu několik vzorových párů zadání a správné odpovědi a podle nich odvodí požadované chování pro nový vstup. U velkých jazykových modelů se mluví o učení v kontextu (in-context learning), protože se – navzdory názvu – neaktualizuje ani jediná váha. Model pouze rozpozná vzor v předloženém kontextu a pokračuje v něm, což je forma metaučení nabytá už během předtrénování. Schopnost byla systematicky popsána u modelu GPT-3 a bývá uváděna jako příklad emergentního chování, protože u malých modelů prakticky chybí. Prakticky je nesmírně cenná tam, kde zero-shot zadání selhává: ukázky přesně ukotví formát výstupu, sjednotí terminologii a vymezí hraniční případy lépe než jakýkoli slovní popis. Na kvalitě a pořadí ukázek přitom záleží více, než se intuitivně zdá, a nevyvážené zastoupení tříd může výsledek systematicky posunout. Cenou je spotřeba kontextového okna a tím i vyšší latence a cena každého volání.
Je to jako když novému kolegovi nevysvětlujete pravidla, ale položíte před něj tři hotové příklady: „Tahle reklamace se řeší takhle, tahle takhle a tahle takhle. Teď zpracuj čtvrtou.“ Většina lidí to pochopí okamžitě a lépe, než kdybyste jim předčítali směrnici. Model funguje stejně a stejně jako u člověka platí, že na ukázkách sejde: dáte-li mu tři příklady, kde odpověď byla vždy „zamítnout“, začne zamítat všechno. A ukázky nejsou zdarma – zabírají místo v jeho pracovní paměti a platíte za ně u každého dotazu znovu.