Prompt caching je technika, ktorá umožňuje modelom šetriť výpočty a peniaze tým, že siuká výsledky pre opakujúce sa časti vstupu. Namiesto toho, aby model každé použitie odnova spracoval celý prompt, siukuje výsledky pre delená prefixy. Ak začiatok promptu zostáva rovnaký, model nemusí znovu počítavať tieto tokeny a môže okamžite pokračovať v generovaní.
Technicky funguje cez prefix cache. Prompt sa rozdeľuje na časti a každá časť má svoj hash. Ak sa hash prefixu zhodňuje s tým, čo užerajú v cache, nastáva cache hit a model preskočí výpočet tejto časti. Pri cache misse sa výsledok vypočíta a uloží do cache pre budúce použitie. Anthropic implementuje to ako systém, kde se môžu využiť až 100 000 tokenov prefixu v rámci jedného okna, čo výrazne zmení ekonomiku pre dlhé systémové prompt.
Firmy využívajú prompt caching najmä pri aplikáciách s dlhými kontextmi – právnych analýach, analýze dokumentov alebo agentných systémach, kde sa opakuje veľký systémový prompt. Pri 100 000 tokenovom prefixe môže caching znížiť náklady na jeden výpočet z plnej ceny na menej ako 10%. Pre firmy znamená to možnosť používať komplexnejšie a kvalitnejšie systémy bez lineárneho nárastu nákladov.