FinOps
Prompt caching
Mise en cache de la partie d'un prompt qui se répète d'un appel à l'autre, comme des instructions générales ou un document de référence. La partie en cache est facturée beaucoup moins cher : jusqu'à 90 % de moins chez Anthropic, selon sa documentation.
En pratique
Un assistant interne qui envoie à chaque question le même règlement intérieur peut mettre ce document en cache. Seule la question change d'un appel à l'autre, et la partie en cache est facturée à prix réduit.
Termes liés
Maîtrisez vos dépenses IA et pilotez votre ROI.
Commençons par un diagnostic de vos usages et de vos coûts.
SOPTIMA aide les PME et ETI à maîtriser leurs dépenses, leurs usages et la gouvernance de leur intelligence artificielle.