Gradientní boosting je souborová metoda, která staví silný model sekvenčně z mnoha slabých – téměř vždy z krátkých rozhodovacích stromů. Zásadně se liší od baggingu: ten trénuje modely paralelně a nezávisle, kdežto boosting je řetězí za sebe, přičemž každý nový model se učí opravovat chyby dosavadního součtu. Formálně jde o gradientní sestup ve funkcionálním prostoru – nový strom se přizpůsobí zápornému gradientu ztrátové funkce vzhledem k aktuální predikci, tedy u kvadratické ztráty přímo rezidua. Příspěvek každého stromu se násobí malým krokem učení, což je hlavní regularizační mechanismus: mnoho drobných korekcí generalizuje lépe než několik velkých. Protože metoda snižuje především zkreslení, na rozdíl od náhodného lesa se dokáže přeučit, a vyžaduje tedy pečlivé ladění počtu stromů s předčasným zastavením. Implementace XGBoost, LightGBM a CatBoost přidávají regularizaci, práci s chybějícími hodnotami i kategoriálními příznaky a patří k nejsilnějším nástrojům na tabulkových datech, kde běžně překonávají neuronové sítě.
Rozdíl proti hlasujícímu výboru odborníků je v tom, že tady se pracuje v řadě, ne naráz. První odborník napíše hrubý odhad. Druhý se nezabývá celým problémem – dostane jen seznam toho, v čem se první spletl, a napíše malou opravu. Třetí opraví, co zbylo po prvních dvou. Po pěti stech takových drobných opravách je výsledek velmi přesný. Zásadní pravidlo je, aby každý opravář směl přičíst jen malý dílek své opravy: kdyby korigoval naplno, začal by dohánět i náhodné šumy v datech a celý řetěz by se přeučil.