Technique
Fenêtre de contexte
Quantité maximale de texte, mesurée en tokens, qu'un modèle peut prendre en compte en une seule requête. Remplir la fenêtre de contexte avec des informations inutiles augmente le coût sans améliorer la réponse.
En pratique
Envoyer un contrat entier à chaque question posée sur ce contrat fait payer tout le document à chaque appel. Ne transmettre que les passages utiles, ou mettre le document en cache, réduit le coût sans dégrader la réponse.
Termes liés
Token · RAG · Prompt caching
Maîtrisez vos dépenses IA et pilotez votre ROI.
Commençons par un diagnostic de vos usages et de vos coûts.
SOPTIMA aide les PME et ETI à maîtriser leurs dépenses, leurs usages et la gouvernance de leur intelligence artificielle.