Inference

Chvíle, kdy hotový model počítá odpověď na váš dotaz. Na rozdíl od trénování, kdy se model teprve učí.

Trénování proběhne jednou pro každou verzi modelu, inference běží pokaždé, když někdo model použije. Proto se u AI služeb tolik řeší její rychlost a cena.

Rychlost inference závisí na velikosti modelu, na délce vstupu i výstupu a na hardwaru. Uvažující modely při ní počítají víc kroků, a proto odpovídají pomaleji.