Red teaming je systematické, záměrně nepřátelské testování modelu s cílem najít jeho slabiny dřív než skuteční útočníci či uživatelé. Pojem přišel z vojenství a kybernetické bezpečnosti a v kontextu AI označuje strukturované vyhledávání vstupů, které model přivedou k porušení zarovnání – k nebezpečným instrukcím, prozrazení citlivých dat, diskriminačním výstupům nebo přesvědčivým halucinacím. Rozlišuje se manuální red teaming, kde experti z různých oborů využívají domény, jazykové varianty a kontextové triky, a automatizovaný, kde útočné prompty generuje jiný model a jejich úspěšnost hodnotí klasifikátor, což umožňuje prohledat řádově víc scénářů. U agentů se testuje i celý řetězec nástrojů, zejména odolnost proti nepřímé prompt injekci. Nalezené případy se nevyužívají jen k záplatám, ale vracejí se do tréninku jako data pro doladění a do sady regresních testů, aby se stejná slabina neobjevila v příští verzi. Red teaming je dnes standardní součástí uvádění modelů na trh a jeho výsledky bývají zveřejňovány v systémových kartách.
Je to jako když si banka najme zloděje, aby se pokusil vykrást její vlastní trezor. Ne proto, že by mu věřila, ale protože je lepší dozvědět se o slabém pantu od někoho, kdo ho pak nahlásí, než od někoho, kdo si odnese zlato. Zloděj nezkouší jen dveře. Zkusí falešný telefonát na recepci, uklízečku, jinou jazykovou verzi bezpečnostní směrnice a únikové schodiště. Každou nalezenou mezeru banka zavře a doplní do seznamu, který od té doby kontroluje po každé přestavbě.