Variační autoenkodér (VAE) je generativní model, který rozšiřuje autoenkodér o pravděpodobnostní pohled na latentní prostor. Enkodér nevydává jediný bod, ale parametry rozdělení – střední hodnotu a rozptyl – z něhož se latentní vektor teprve náhodně vzorkuje. Ztrátová funkce má dva členy: rekonstrukční chybu a Kullbackovu-Leiblerovu divergenci, která vzniklé rozdělení tlačí k normovanému normálnímu rozdělení. Tím se latentní prostor stává spojitým a hustě obsazeným, takže lze z něj vzorkovat libovolný bod a dekodér z něj vytvoří smysluplný výstup – což u obyčejného autoenkodéru neplatí, protože ten si mezi trénovacími body ponechává „prázdná místa“. Klíčovým technickým trikem je reparametrizace, která náhodnost přesune do samostatného šumového vstupu, a umožní tak protlačit gradient skrz vzorkování. VAE produkuje o něco rozmazanější výstupy než jiné generativní přístupy, zato se trénuje stabilně a nabízí dobře strukturovaný latentní prostor. Dnes bývá součástí difuzních modelů, kde obraz komprimuje do latentní podoby, v níž pak probíhá vlastní difuze.
Vzpomeňte si na tu hru s redaktorem, který článek shrne do SMS. Obyčejný autoenkodér ukládá každý článek na jedno konkrétní místo v archivu – a mezi zásuvkami zůstává prázdno, takže když otevřete šuplík mezi nimi, vypadne z něj nesmysl. VAE archiv záměrně rozostří: každý článek neuloží do bodu, ale rozprostře ho do menší oblasti, a ty oblasti se navzájem dotýkají. Archiv je pak celý „obydlený“. Můžete si tedy sáhnout kamkoli, i mezi dva články, a dostanete něco nového, ale smysluplného – třeba text, který stojí přesně napůl cesty mezi recenzí a reportáží.