Transformer je jako kámoš na párty, který dokáže poslouchat všechny lidi v místnosti najednou, pak se rozhodne co je důležité, a nakonec z toho všeho šumu odvypráví příběh, který má smysl.
Transformery představují revoluci v oblasti umělé inteligence, podobnou vynálezu automobilu v dopravě. Jejich příběh začal na jaře 2017 v Google, kde tým osmi výzkumníků, včetně mladého stážisty Aidana Gomeze, pracoval na nové architektuře neuronové sítě. Podobně jako Henry Ford a jeho tým při vývoji Model T, i oni tušili, že vytvářejí něco přelomového, ale netušili, jak dalekosáhlý dopad jejich práce bude mít.
Hlavním cílem transformerů bylo původně zlepšit strojový překlad. Dosavadní modely zpracovávaly text sekvenčně, slovo po slově, což bylo jako číst knihu od začátku do konce. A to vezme nějaký čas. Transformer přinesl revoluci tím, že dokáže analyzovat celý text najednou. Jako kdyby někdo všechny stránky vytrhnul z vazby, rozházel je na fotbalové hřiště, přeletěl dronem a pochopil celou knihu jediným pohledem na stránku.
Klíčovou inovací transformerů je mechanismus “pozornosti”. Představte si, že jste na rušné party a snažíte se poslouchat několik konverzací najednou. Váš mozek se automaticky zaměřuje na nejdůležitější části každé konverzace, ignoruje šum a spojuje souvislosti. Jako ten chlápek z úvodu. Přesně takto funguje mechanismus pozornosti v transformerech. Tato schopnost se ukázala být překvapivě účinná, že když tým požádal svůj model, aby vytvořil články na Wikipedii o “Transformeru”. Model vygeneroval pět zcela fiktivních, ale neobyčejně věrohodných článků, včetně detailní historie stejnojmenné japonské punkové skupiny, která nikdy neexistovala.
Výhody transformerů jsou značné. Jsou rychlé jako blesk ve srovnání s tradičními modely. Je to jako rozdíl mezi cestováním letadlem a koňským povozem. Dokáží se učit a zlepšovat s rostoucím množstvím dat, podobně jako člověk, který čím více čte, tím lépe rozumí světu kolem sebe. Tým Googlu zjistil, že jejich model dosáhl BLEU skóre přes 26 bodů při překladu z angličtiny do němčiny, což bylo výrazně lepší než předchozí modely, a to za zlomek času potřebného k tréninku.
Přestože transformery představují významný pokrok, jejich přesné fungování zůstává do značné míry záhadou i pro jejich tvůrce. Jako bychom měli kouzelnou hůlku, která dělá úžasné věci, ale nevíme přesně, jak funguje. Jak řekl Ashish Vaswani, “Myslím, že dokonce i mluvit o ‘porozumění’ je něco, na co nejsme připraveni. Teprve jsme začali definovat, co to znamená porozumět těmto modelům.”
S pokračujícím vývojem a výzkumem v oblasti transformerů můžeme očekávat další průlomy. Jak řekl Noam Shazeer, “čím více se modely trénují, tím jsou lepší, aniž by byl vidět konec.” Transformery otevřely novou éru v našem vztahu k technologii a jazyku, podobně jako internet změnil způsob, jakým komunikujeme a sdílíme informace. Jejich plný potenciál teprve začínáme objevovat a budoucnost, kterou přinesou, bude nepochybně fascinující, i když možná trochu děsivá. Jak poznamenal Jakob Uszkoreit, “Jakmile tyto stroje sestrojíme, nutně ztratíme schopnost konceptualizovat, co se děje, schopnost interpretace. A možná to ani jinak nejde.”