Kdo vlastně čte váš web? Lidé, Google a čím dál častěji taky AI
Když se dnes podíváte do logů skoro libovolného webu, najdete tam vedle Googlebotu a běžných návštěvníků i jména, která tam před pár lety nebyla: GPTBot, ClaudeBot, PerplexityBot. Jsou to roboti provozovatelů AI systémů a chodí si pro obsah stránek, aby s ním jejich systémy mohly dál pracovat.
Webový obsah se tak různými cestami dostává i do odpovědí AI systémů. Když se někdo zeptá ChatGPT, jak vybrat účetní software nebo kde koupit cukrářské potřeby, odpověď může vycházet i z informací, které pocházejí z veřejně dostupných webů. Třeba i z toho vašeho.
Většina majitelů webů přitom vůbec neví, jestli k nim tihle roboti chodí, jak často a co si odnášejí. A ještě méně se ví o obráceném směru: kolik lidí z odpovědí AI na web skutečně klikne. Google Analytics vám ukáže návštěvy z Googlu, ale provoz kolem AI systémů v něm pořádně vidět není. Robotické návštěvy se do něj nepropisují vůbec a příchody z rozhraní AI se ztrácejí v šumu.
Globální čísla existují. Cloudflare nebo Vercel publikují statistiky, kolik provozu na jejich infrastruktuře tvoří AI crawleři. Jenže to jsou agregáty za miliony webů, převážně anglojazyčných. Pro české weby ale zatím podobná systematická data prakticky nemáme, zvlášť na úrovni konkrétních stránek a s propojením na skutečné prokliky lidí z AI odpovědí.
Tuhle mezeru se snažím zaplnit ve svém doktorském výzkumu na Obchodně podnikatelské fakultě Slezské univerzity v Opavě, OPF Karviná. Navazuje to na téma, kterému se věnuji dlouhodobě: jak se značky a weby propisují do výstupů velkých jazykových modelů a co s tím jde dělat.
Sběr dat stojí mj. na malém pluginu pro WordPress. Sbírá tři typy dat.
První jsou návštěvy robotů AI systémů, tedy kdo přišel, kdy a na kterou adresu.
Druhé jsou příchody skutečných lidí z rozhraní AI, když někdo klikne na odkaz přímo v odpovědi ChatGPT nebo Perplexity.
Třetí je pravidelný technický otisk webu, tedy jeho nastavení, veřejně dostupný stav a to, jak se obojí v čase mění.
Kombinace těch tří skupin dat je podstata celé věci. Dovolí zkoumat, jestli weby s určitým nastavením navštěvují AI roboti častěji a jestli se to nakonec projeví i v reálných příchodech lidí.
Nebudu předstírat, že vím, co z toho vyleze. Možná se ukáže, že AI provoz je na českém webu zatím marginální. I to by byl výsledek. Tipuju ale, že čísla leckoho překvapí, a právě proto se to musí změřit, ne tipovat.
Zapojený web přitom není jen zdrojem dat pro mne. I vy uvidíte na vlastní oči, jestli a jak vaše stránky AI systémy navštěvují: kteří roboti k vám chodí, jak často a kolik lidí k vám doopravdy přišlo z odpovědí AI systémů.
Svá čísla si můžete kdykoli stáhnout a pracovat s nimi dál. Pro řadu webů to bude první pohled na provoz, o kterém dosud nevěděly.
Co plugin nedělá
Vím, že první otázka každého majitele webu zní „a co moje data“. Takže na rovinu:
Plugin nesleduje vaše návštěvníky. Běžný provoz se nezaznamenává vůbec a jedinou výjimkou je příchod z rozhraní AI, kde jde o adresu stránky, ne o člověka.
Neodesílá IP adresy. Ještě na vašem webu se z nich počítá nevratný otisk a klíč k němu web nikdy neopustí.
Nepoužívá cookies ani JavaScript, do stránek nic nevkládá a návštěvník o něm vůbec neví.
Web nezpomaluje, protože u naprosté většiny požadavků se okamžitě ukončí a zapisuje až po odeslání stránky návštěvníkovi.
A neodesílá text vašich stránek ani obchodní data. Žádné objednávky, žádní zákazníci.
Účast je dobrovolná a bezplatná a kdykoli můžete skončit, jedním tlačítkem v pluginu nebo krátkou zprávou, bez udávání důvodů.
Ukončení zastaví sběr, smaže vše uložené na vašem webu a na vyžádání i záznamy, které už dorazily.
Právním základem zpracování je váš souhlas podle GDPR, data slouží výhradně vědeckému účelu a nepoužívají se k trénování AI ani k reklamě. Výsledky vyjdou v agregované a plně anonymizované podobě, kde žádný konkrétní web nebude jmenován.
Jak se zapojit
Pro WordPress to tři kroky: stáhnout plugin, nahrát a aktivovat ho ve WordPressu a pak v Nastavení → GEO Research zaškrtnout souhlas a kliknout na zapojení. Než souhlas dáte, plugin nic neodesílá. Celé to trvá pár vteřin. První čísla začnete vidět, ihned, jak na váš web přistane první robot jazykových modelů. Obvykle ještě ten den. Někdy i do pár minut.
Pro weby s vlastním PHP kódem existuje varianta v jednom souboru. U úplně jiných platforem se ozvěte:-)
Všechno podrobně, včetně stažení pluginu, úplného poučení pro účastníky i kontaktů na mě a na školitele, najdete na stránce výzkumu:
Čím víc různých webů se zapojí, tím užitečnější data budou. E-shop se chová jinak než blog a jinak než firemní prezentace.
A výsledný obrázek pak bude k dispozici všem. Zdarma. I díky vám.
