LSTM (Long Short-Term Memory) je typ rekurentní neuronové sítě navržený tak, aby překonal problém mizejícího gradientu a udržel informaci přes dlouhé odstupy. Klíčovou novinkou je oddělení dvou stavů: vedle běžného skrytého stavu vede sítí ještě stavová linka buňky, po níž informace putuje převážně jen sčítáním, nikoli opakovaným násobením matic. Tím vzniká cesta, po které gradient přežije mnoho časových kroků. Tok informace řídí tři naučené hradlovací mechanismy, každý s vlastní sigmoidou. Zapomínací hradlo rozhoduje, jakou část dosavadního obsahu buňky vymazat. Vstupní hradlo určuje, kolik z nově spočítaného kandidáta se do buňky zapíše. Výstupní hradlo vybírá, jaká část obsahu se v daném kroku propustí dál jako skrytý stav. Zjednodušenou a levnější obdobou je GRU, které slučuje hradla a stavy do jednoho. LSTM byly od devadesátých let po zhruba dvě dekády nejsilnějším nástrojem pro řeč, překlad i časové řady, než je vytlačila transformerová architektura.
Berte to jako pracovní stůl s dopravním pásem, po kterém se posouvá jedna složka s poznámkami. U pásu stojíte a máte tři pravítka. Prvním rozhodujete, které staré poznámky ze složky vyhodíte. Druhým, kolik z toho, co jste právě zaslechli, do složky přidáte. Třetím, co ze složky vytáhnete a nahlas přečtete kolegovi. Protože složka jde po pásu dál v podstatě nedotčená a vy do ní jen sem tam něco přidáte nebo ubíráte, může jméno vraha ze druhé kapitoly bez potíží dojet až do kapitoly poslední.