Katastrofické zapomínání je jev, při němž neuronová síť při učení nové úlohy ztratí schopnosti, které si osvojila dříve. Příčinou je povaha distribuované reprezentace: znalost není uložena v oddělených „přihrádkách“, ale rozprostřena přes tytéž váhy, takže gradientní sestup při optimalizaci nové úlohy tyto váhy bez skrupulí přepíše. Problém je zvlášť citelný při postupném učení a při doladění velkých jazykových modelů, kde intenzivní trénink na úzké dománě dokáže poškodit obecné jazykové i uvažovací schopnosti nebo obejít bezpečnostní chování zavedené RLHF. Obranných strategií je několik. Přehrávání dat míchá do nové úlohy vzorky z té staré. Regularizační metody typu elastic weight consolidation identifikují váhy důležité pro dřívější úlohu a jejich změnu penalizují. Architektonické přístupy nové znalosti vyhradí vlastní kapacitu – přesně tak působí LoRA, která základní váhy nechá zmrazené a učí jen malý adaptér. Nejúčinnějším praktickým opatřením zůstává nízká rychlost učení a krátké doladění.
Představte si vynikajícího klavíristu, který se rozhodne rok intenzivně cvičit jazz. Vrátí se, sedne ke klavíru a zjistí, že Chopina, kterého hrával deset let, si nepamatuje. Nezapomněl ho proto, že by mu vypadl z hlavy jako telefonní číslo – jeho prsty a hudební instinkty se přestavěly na nový styl a starý přepsaly. Kdyby si během roku jazzu alespoň občas zahrál i Chopina, nestalo by se to. A ještě lepší by bylo, kdyby si na jazz vypěstoval jakýsi zvláštní režim, který si zapíná a vypíná, a základ nechal na pokoji.