Prompt caching

Uložení opakující se části zadání u poskytovatele API, aby se nemusela pokaždé znovu zpracovat. Šetří peníze i čas.

Funguje hlavně u dlouhých opakovaných začátků zadání: instrukcí, dokumentů nebo příkladů. Když další požadavek začíná stejně, poskytovatel použije už zpracovanou část a účtuje ji obvykle levněji.

Běžný uživatel chatu nic takového nastavovat nemusí. Týká se to vývojářů, kteří AI volají přes API a posílají velké množství podobných požadavků.