Multimodalita je schopnost modelu zpracovávat či generovat více typů dat současně – text, obraz, zvuk, video nebo strukturované signály. Technickým základem je společný reprezentační prostor: každá modalita má vlastní enkodér, který vstup převede na posloupnost tokenů nebo embeddingů promítnutých do téhož latentního prostoru, kde už je transformer zpracovává jednotně. Obraz se typicky rozdělí na mřížku dlaždic, z nichž se lineární projekcí stanou vizuální tokeny; zvuk se převede na spektrogram a ten na okna. Propojení modalit se učí z párovaných dat – obrázků s popisky, videí s titulky – a klíčovou roli hraje kontrastní trénink, který k sobě přitáhne reprezentaci obrázku a jeho popisu, jak to zavedl model CLIP. Pro vnášení jedné modality do druhé se používá křížová pozornost. Praktickým důsledkem je mizení hranice mezi úlohami: tentýž model odpovídá na dotazy k fotografii, čte tabulky ze snímku obrazovky nebo ovládá uživatelské rozhraní. Bezpečnostně přináší nové povrchy útoku, protože instrukce lze skrýt do obrazu.
Člověk je multimodální samozřejmě. Když se vás někdo zeptá „co je na tom obrázku špatně?“, propojíte bez námahy to, co vidíte, s tím, co slyšíte, a odpovíte slovy. Nemáte v hlavě oddělené oddělení pro obrázky a oddělení pro slova; máte jedno porozumění světu, do kterého ústí obojí. Model dlouho tuhle výsadu neměl – text umělo jedno zařízení, obrázky druhé a mezi nimi bylo ticho. Multimodalita znamená, že fotografie se rozstříhá na dílky, které se v modelu chovají jako slova, a odtud už je vidění a čtení jedna a tatáž látka.