Reziduální spojení (též skip connection) je zkratka, která obchází jeden nebo více bloků sítě a přičítá jejich vstup přímo k jejich výstupu. Blok se tak neučí požadovanou transformaci celou, ale pouze její odchylku od identity – reziduum. Motivací byl empirický paradox, že velmi hluboké sítě dosahovaly horších výsledků než mělčí, přestože by teoreticky stačilo, aby se nadbytečné vrstvy naučily nedělat nic; ukázalo se, že naučit se přesnou identitu je pro nelineární vrstvu překvapivě obtížné. Přičtením vstupu se identita stane výchozím stavem zdarma. Zásadní je i vliv na zpětné šíření chyby: derivace součtu propustí gradient nezměněný přímo skrz zkratku, čímž vzniká „gradientní dálnice“ a řeší se problém mizejícího gradientu. Koncept zavedly konvoluční sítě ResNet a dnes je nepostradatelnou součástí každého bloku transformeru, kde se kombinuje s normalizací vrstev. Bez reziduálních spojení by trénink modelů s desítkami až stovkami vrstev nebyl prakticky proveditelný.
Představte si redakci, kde rukopis putuje přes deset korektorů. Kdyby každý směl přepsat text od začátku, po desátém kole by z původního článku nezbylo nic a autor by ho nepoznal. Zavede se proto pravidlo: každý korektor dostane text a smí k němu připsat jen seznam svých úprav. Na konci se původní text a všechny úpravy sečtou. Pokud nemá korektor co zlepšit, prostě nepřipíše nic – a text projde beze změny. Navíc když chce autor zpětně zjistit, kdo co pokazil, může jít po přímé stopě až k prvnímu korektorovi, aniž by se informace cestou vytratila.