Benchmark je standardizovaná testovací sada, která umožňuje srovnávat modely mezi sebou na téže úloze a metrice. Vznikl jako reakce na nedostatečnost samotné perplexity, jež měří schopnost předpovídat text, ale nikoli užitečnost. Typologicky se dělí na znalostní a uvažovací sady s uzavřenými odpověďmi, které se vyhodnocují automaticky, na generativní úlohy vyžadující posuzovatele – ať lidského, nebo silnější model v roli hodnotitele –, a na srovnání založená na anonymních lidských preferencích v tzv. arénách. Zásadní metodickou slabinou je kontaminace: benchmarky jsou veřejné, a proto se s vysokou pravděpodobností dostanou do trénovacího korpusu, čímž se z testu znalostí stává test paměti. Dále hrozí Goodhartův zákon – jakmile se metrika stane cílem optimalizace, přestává být dobrou mírou –, citlivost výsledků na formulaci promptu a nepokrytí právě těch schopností, na nichž v provozu záleží. Praktickým doporučením proto je vytvořit si vlastní, neveřejnou hodnotící sadu odvozenou ze skutečných dat a případů dané organizace, a veřejné tabulky brát jen jako hrubé vodítko.
Benchmark je jako přijímací test na školu. Užitečný, protože jinak byste uchazeče srovnávali podle dojmu. Zrádný, protože jakmile se zadání jednou objeví na internetu, začnou se všichni učit přímo na něj – a vy pak měříte, kdo měl lepší přípravný kurz, ne kdo je nadanější. Jakmile navíc rodiče zjistí, že se hodnotí počet přečtených knih, začnou děti knihy jen listovat. Proto si dobří zaměstnavatelé kromě obecných testů vždycky vymyslí ještě vlastní zadání, které nikdo předem nezná – a hodně se přitom podobá tomu, co se u nich reálně dělá.