Beam search je heuristický dekódovací algoritmus, který u autoregresivních modelů hledá pravděpodobnou celou sekvenci, nikoli jen nejpravděpodobnější další token. Motivací je krátkozrakost hladového dekódování: token, který je v daném kroku nejlepší, může vést do slepé uličky, z níž pokračování už jen zhoršuje celkovou pravděpodobnost. Beam search proto udržuje najednou několik nejlepších rozpracovaných variant – jejich počet je šířka paprsku –, v každém kroku pro každou z nich zváží možná pokračování a z celé takto vzniklé množiny si opět ponechá jen nejlepších k podle součtu logaritmických pravděpodobností. Protože delší sekvence dostávají nutně nižší skóre, používá se normalizace podle délky. Metoda je standardem u úloh, kde existuje jedna správná odpověď a záleží na věrnosti – strojový překlad, přepis řeči, sumarizace. Naopak u otevřeného generování se ukázala jako nevhodná: nejpravděpodobnější text bývá nudný, obecný a náchylný k opakování, protože lidská řeč není optimalizací pravděpodobnosti. Tam se proto používá vzorkování s teplotou a nucleus samplingem.
Je to jako plánování šachové partie proti hladovému hráči. Hladový hráč vezme v každém tahu figuru, která má nejvyšší hodnotu, a za dva tahy dostane mat. Rozvážný hráč si drží v hlavě tři nejslibnější varianty rozehrání současně, každou z nich rozvine o tah dál a pak zase vybere tři nejlepší z devíti. Nedopočítá celou partii – to by nezvládl –, ale nesklouzne do pasti hned v prvním kroku. U překladu je to ideální. U vyprávění příběhu ale rozvážný hráč napíše zoufale nezáživný text, protože „nejpravděpodobnější“ větou bývá klišé.