BERT (Bidirectional Encoder Representations from Transformers) je jazykový model představený Googlem v roce 2018, který využívá výhradně enkodérovou část transformeru. Na rozdíl od autoregresivních modelů s jednosměrnou pozorností vidí každý token současně kontext vlevo i vpravo, což mu dává hlubší porozumění významu ve větě, ale znemožňuje mu plynule generovat text. Trénuje se dvěma samodozorovanými úlohami: maskovaným jazykovým modelováním, kdy se v textu zamaskuje asi patnáct procent tokenů a model je má doplnit, a předpovědí návaznosti dvou vět. Vzniklý předtrénovaný model se pak doladí přidáním malé výstupní hlavy na konkrétní úlohu – klasifikaci sentimentu, rozpoznávání pojmenovaných entit, extrakci odpovědi z pasáže. BERT stál u zrodu paradigmatu „předtrénuj a dolaď“ a jeho nasazení do vyhledávání Google v roce 2019 patřilo k nejvýznamnějším změnám v porozumění dotazům. Dodnes se jeho odlehčení jako DistilBERT nebo české varianty používají pro klasifikaci a tvorbu embeddingů.
Rozdíl si představte na doplňování v testu. Generativní model je jako člověk, který píše vyprávění a v každém okamžiku vidí jen to, co už napsal – dopředu nekouká, protože tam ještě nic není. BERT je naopak jako člověk, který dostane hotový text s vygumovaným slovem a má ho doplnit. Vidí obě strany mezery: „Šel jsem si do banky ___ peníze“ jednoznačně napoví „vybrat“. Právě proto se BERT hodí na rozumění – rozpoznat, o čem dotaz je, jaká je jeho nálada, která slova jsou jména firem – a nehodí se na psaní delších textů.