Benchmark

Standardizovaný test, podle kterého se porovnávají modely. Výsledky jsou orientační: model, který vede v testu, nemusí být nejlepší právě pro váš úkol.

Benchmarky se hodí pro hrubé srovnání, mají ale své limity. Pokud se testové úlohy dostaly do tréninkových dat, model je může „znát“ předem. Test navíc nemusí odpovídat tomu, co děláte vy.

Vedle pevných testů existují i žebříčky, ve kterých lidé naslepo hodnotí odpovědi dvou modelů. Nejspolehlivější je ale vyzkoušet model na vlastních úlohách.