L’ajout de l’affinité de cache pour réduire les coûts et accélérer les réponses
Un fournisseur d’IA peut traiter des instructions répétées plus vite et à moindre coût s’il peut réutiliser le travail déjà effectué. L’affinité de cache favorise cette réutilisation après un changement de fournisseur, tout en respectant vos règles de routage.
Un assistant d’IA reçoit souvent les mêmes instructions et l’historique de la conversation à chaque nouvelle question. Traiter à nouveau ce contenu prend du temps et peut alourdir la facture. La mise en cache des prompts permet au fournisseur de réutiliser temporairement le travail déjà effectué, avec un potentiel de réponses plus rapides et de coûts d’entrée réduits.
L’affinité de cache de CARouter vise à préserver cet avantage lorsqu’une requête doit passer à un autre fournisseur. Le fournisseur qui vient de répondre est privilégié pour les requêtes suivantes utilisant la même clé API et le même modèle. L’activation dépend de la vérification de la durée de cache publiée par chaque fournisseur.
Pourquoi un changement de fournisseur compte
Prenons un assistant de service à la clientèle en pleine conversation. Son fournisseur habituel est occupé. CARouter confie donc la requête suivante à un autre fournisseur autorisé qui sert le même modèle. Celui-ci traite la conversation et peut mettre le contenu répété en cache pour le réutiliser.
Sans affinité de cache, la requête suivante peut retourner au fournisseur habituel dès qu’il est disponible. Le travail effectué chez le fournisseur de remplacement ne peut pas y être réutilisé. Confier la suite au fournisseur qui vient de répondre permet de profiter de son cache, s’il est encore disponible.
Vos règles de routage restent prioritaires
- Résidence des données et fiabilité : cette préférence ne place jamais un fournisseur étranger devant un fournisseur souverain. Elle respecte vos autorisations et vos règles de passage à l’étranger, et ne privilégie pas un fournisseur dégradé face à un fournisseur en bon état dans la même catégorie de résidence.
- Maîtrise des coûts : si votre clé API privilégie le coût, le tarif affiché le plus bas reste prioritaire. L’affinité de cache départage seulement les offres au même prix.
- Mémoire de routage limitée : cette fonction retient le fournisseur qui a répondu en dernier pour une clé API et un modèle. Elle ne conserve ni copie ni empreinte de votre prompt. Le fournisseur gère son propre cache.
- Préférence temporaire : chaque requête réussie renouvelle la préférence pour la durée de cache vérifiée du fournisseur. À l’expiration, le routage habituel reprend. Il s’applique aussi si la préférence ne peut pas être consultée.
À quoi vous attendre
Les instructions répétées et les conversations suivies offrent le meilleur potentiel. Les économies et les gains de rapidité ne sont pas garantis : le fournisseur doit prendre en charge le cache, reconnaître du contenu réutilisable et l’avoir encore à disposition. CARouter ne crée pas de cache et n’en transfère pas entre fournisseurs.
Lorsqu’un fournisseur indique la quantité de tokens entrants servis depuis son cache et publie un tarif correspondant, ce tarif est utilisé pour calculer le coût de la requête. La documentation affiche les tarifs des entrées en cache lorsqu’ils sont disponibles, afin que votre équipe puisse en évaluer l’intérêt.
L’affinité de cache s’active uniquement pour les fournisseurs dont la durée de cache a été vérifiée. Sans cette vérification, les requêtes suivent les règles de routage existantes.
Comparer les modèles et les tarifs disponibles. Consulter les règles techniques de routage.