Zero-shot learning

Zero-shot learning označuje schopnost modelu vyřešit úlohu, pro kterou nedostal ani jediný příklad – pouze její popis v promptu. U velkých jazykových modelů se tato schopnost objevuje jako důsledek předtrénování na obřích korpusech, které samy obsahují nesčetné implicitní ukázky nejrůznějších úkolů, a dále díky instrukčnímu doladění, jež model naučí zadání vůbec chápat jako zadání. Formálně jde o přechod od paradigmatu „jeden model, jedna úloha“ k obecnému řešiteli řízenému přirozeným jazykem: dřív bylo pro klasifikaci sentimentu nutné shromáždit tisíce anotovaných recenzí a natrénovat klasifikátor, dnes stačí napsat instrukci. V klasickém pojetí počítačového vidění se termín používal úzce – model rozpoznal nikdy neviděnou třídu na základě jejího slovního popisu a společného prostoru embeddingů textu a obrazu, jak to umožnil model CLIP. Omezením zero-shot přístupu je nižší spolehlivost u úloh s netriviálním formátem výstupu, u specifické firemní terminologie a u hraničních rozhodovacích pravidel; tam obvykle pomůže několik příkladů.


Zero-shot je situace, kdy někomu řeknete „přesuň mi ty knihy podle výšky“ a on to udělá, aniž byste mu to kdy předváděli. Nepotřebuje trénink, protože rozumí česky a knihy i výšku už zná. Dřívější programy se v takové chvíli zastavily a čekaly na tisíc ukázek správně přeskládané police. Hranice téhle schopnosti poznáte, jakmile zadání přestane být běžné: „označ mi faktury, které spadají pod naši interní směrnici 4B“ nikdo bez vysvětlení nezvládne – ani člověk, ani model.

Je pro vás článek užitečný a čerpáte z něj? Zkopírujte si citaci