Samosupervidované učení (self-supervised learning) je paradigma, v němž si model tréninkový signál vytvoří ze samotné struktury dat, bez lidských anotací. Formálně jde o učení s učitelem na tzv. zástupné úloze, jejíž správnou odpověď lze z dat automaticky odvodit – proto je někdy vhodnější než pojem učení bez učitele, kde žádný cíl neexistuje. Právě tento přístup umožnil vzestup velkých jazykových modelů, protože obchází úzké hrdlo drahé lidské anotace a otevírá cestu k trénování na celém dostupném textu. Nejznámější zástupnou úlohou je předpověď následujícího tokenu u autoregresivních modelů a doplňování zamaskovaných slov u BERTu. V počítačovém vidění se používá skládání rozstříhaných dlaždic, obarvování černobílého obrazu nebo kontrastní učení, které přiblíží dvě různě zkreslené kopie téhož snímku a odtlačí od sebe snímky odlišné. Naučené reprezentace se pak využívají přenosem na skutečné úlohy. Klíčová myšlenka je, že předpovídat chybějící část dat vyžaduje modelovat svět, který je vytvořil.
Je to trik, jak si vyrobit nekonečné množství cvičení s vyřešeným zadáním, aniž byste kohokoli platili za opravování. Vezmete jakoukoli knihu, zakryjete v ní slovo a máte úlohu i správnou odpověď – tu totiž pod prstem držíte. Můžete to udělat s každým slovem každé knihy na světě. A klíčová věc: aby student takové zadání spolehlivě vyplnil, nestačí mu gramatika. Ve větě „Po operaci mu museli dát ___ , protože ztratil hodně krve“ musí rozumět medicíně. Doplňovačka tak nepozorovaně vyučuje celý svět.