# Blog CARouter

> Notes de la plateforme d'IA canadienne : ce que nous avons mesuré, ce que nous avons changé, avec qui nous travaillons, et pourquoi.

Du plus récent au plus ancien. Chaque lien mène à l'article en Markdown; la même adresse sans `.md` est sa page web.

- En anglais : https://carouter.ai/blog.md

- [LFM2.5 24B-A2B face à Qwen3.6 35B-A3B : banc d'essai sur un DGX Spark](https://carouter.ai/fr/blog/lfm2-5-24b-a2b-vs-qwen3-6-35b-a3b-on-a-gb10.md) (2026-10-19, Recherche, Flavien Berwick) : Liquid AI dit son nouveau LFM2.5 24B-A2B plus rapide que le Qwen3.6 35B-A3B que nous servons. Sur un DGX Spark, c'est vrai sur llama.cpp, 105 tokens par seconde contre 65, mais sur vLLM, le moteur avec lequel nous servons, Qwen reste devant à 118 contre 96. À 4 bits, LFM2.5 programme aussi bien, suit mieux les consignes et appelle les outils de façon moins fiable.
- [Comment nous avons rendu nos modèles 79 % plus rapides sur les GPU Intel](https://carouter.ai/fr/blog/qwen3-6-35b-a3b-79-percent-faster-on-intel-arc-pro-b60.md) (2026-10-12, Recherche, Flavien Berwick) : Nos deux cartes Intel Arc Pro B60 servent Qwen3.6 35B-A3B. L'essentiel de chaque étape se passait dans Python, sur le processeur du serveur, et non sur les cartes. Le moteur enregistre maintenant le calcul du modèle une fois et le rejoue : avec deux requêtes sur une carte, chacune reçoit 64 tokens par seconde au lieu de 36, avec quatre 55 au lieu de 35, et avec huit 44 au lieu de 35, sur le même matériel.
- [AirLLM fait tourner Qwen3.6 35B-A3B en pleine précision sur une carte de 24 Go : un token toutes les 10 à 68 secondes](https://carouter.ai/fr/blog/airllm-qwen3-6-35b-a3b-full-precision-on-a-24-gb-card.md) (2026-10-10, Recherche, Flavien Berwick) : AirLLM est une bibliothèque libre qui fait passer un modèle par une carte graphique, une couche à la fois. Avec elle, Qwen3.6 35B-A3B en pleine précision, un modèle de 67 Gio, a tourné sur une carte de 24 Go : dans moins de 3 Gio pour un prompt court, une image ou une vidéo, et avec toute sa fenêtre quand le prompt est lu par morceaux. Il écrit un token toutes les 10 secondes sur un GB10 limité à 24 Go et un toutes les 68 secondes sur une Intel Arc Pro B60, là où le service du modèle à 4 bits écrit de 60 à 75 tokens par seconde.
- [Qwen3.6 35B-A3B sur deux cartes Intel Arc Pro B60 : 818 tokens par seconde au total](https://carouter.ai/fr/blog/qwen3-6-35b-a3b-on-two-intel-arc-pro-b60.md) (2026-10-09, Recherche, Flavien Berwick) : Nous avons mis à l'essai un serveur équipé de deux cartes Intel Arc Pro B60. Avec Qwen3.6 35B-A3B à 4 bits et un moteur par carte, il écrit 818 tokens par seconde au total pour 32 requêtes à la fois, et 558 pour 16, là où notre GB10 en écrit 479. Le GB10 reste plus rapide pour une requête seule. Ce serveur rejoindra nos serveurs chez CARouter Cloud.
- [Decision 2.0 et Vela 2.0 contre Kev-4B : benchmark sur un GB10](https://carouter.ai/fr/blog/decision-2-and-vela-2-vs-kev.md) (2026-10-07, Recherche, Flavien Berwick) : vLLM Semantic Router a publié deux familles de modèles de décision ouverts, Decision 2.0 et Vela 2.0. Sur un GB10, Vela 2.0 4B a reconnu le bon type de tâche sur 96,6 % de nos 328 requêtes, contre 92,4 % pour Kev-4B, pour trois fois plus d'attente. Son petit frère de 0,3 milliard de paramètres atteint 85,7 % sans GPU.
- [Mistral Large 4 face à GLM-5.3 : l'Europe est-elle toujours dans la course ?](https://carouter.ai/fr/blog/mistral-large-4-vs-glm-5-3-is-europe-still-in-the-game.md) (2026-10-06, Recherche, Flavien Berwick) : Le nouveau modèle phare de Mistral a résolu 56 des 148 problèmes de programmation difficiles, contre 62 pour GLM-5.3, le modèle phare chinois. L'écart peut être dû au hasard, et Mistral Large 4 a écrit dix-sept fois moins de tokens pour y arriver.
- [Kolibri-1 face à Qwen3.6 35B-A3B : banc d'essai sur un GB10](https://carouter.ai/fr/blog/kolibri-1-vs-qwen3-6-35b-a3b-on-a-gb10.md) (2026-10-06, Recherche, Flavien Berwick) : Kolibri-1, le nouveau modèle à poids ouverts d'Aleph Alpha, lit environ 3 milliards de paramètres par token, comme le Qwen3.6 35B-A3B que nous servons. Sur un GB10 et à 4 bits, il a résolu de 29 à 32 de nos 50 problèmes de programmation, contre 33 pour Qwen, avec deux fois plus de mémoire et une vitesse deux fois moindre.
- [Qwen3.6 35B-A3B est maintenant 1,5 fois plus rapide sur CARouter Cloud](https://carouter.ai/fr/blog/qwen3-6-mtp-head-one-and-a-half-times-faster.md) (2026-10-02, Produit, Flavien Berwick) : Notre modèle de programmation est livré avec un assistant intégré qui rédige les prochains tokens pour que le modèle principal les vérifie. Nous l'avons activé avec une ligne de configuration : 115 tokens par seconde pour un utilisateur au lieu de 75, et 479 au lieu de 342 avec seize requêtes à la fois, sur le même DGX Spark.
- [Une tarification qui a du sens](https://carouter.ai/fr/blog/models-pricing-that-makes-sense.md) (2026-10-01, Produit, Flavien Berwick) : Pour les modèles que nous hébergeons nous-mêmes, nos prix reposent sur une référence de marché ajustée pour la souveraineté, des hypothèses de coûts explicites et une capacité à investir pendant que la demande grandit. La tarification des autres fournisseurs reste inchangée.
- [Clef et Strands Decider contre Kev-4B : benchmark sur un GB10](https://carouter.ai/fr/blog/clef-strands-decider-vs-kev.md) (2026-10-01, Recherche, Flavien Berwick) : Clef, de Cloudflare, et Strands Decider, de Strands Labs, sont deux nouveaux modèles de décision ouverts. Sur un GB10, Clef a reconnu le bon type de tâche sur 94,5 % de nos 328 requêtes, contre 92,4 % pour Kev-4B, pour cinq fois plus de temps et près de quatre fois plus de mémoire. Le Qwen3.5-4B d'OpenJev, sans entraînement, reste en tête à 97,0 %.
- [OpenJev contre Kev-4B : benchmark sur plusieurs matériels CPU et GPU](https://carouter.ai/fr/blog/openjev-vs-kev.md) (2026-09-23, Recherche, Flavien Berwick) : OpenJev demande à un Qwen3.5-4B ordinaire de choisir la lettre d'une option, sans aucun entraînement pour la tâche. Sur les deux benchmarks qui nous ont fait choisir Kev-4B, il a reconnu le bon type de tâche sur 95,7 % de nos 328 requêtes, contre 88,7 % pour Kev-4B, mais il s'est trompé avec assurance bien plus souvent sur les requêtes publiques.
- [Kev, un modèle du calibre de Jev, est disponible sur CARouter (+ benchmarks)](https://carouter.ai/fr/blog/kev-available-on-carouter.md) (2026-09-23, Produit, Flavien Berwick) : Kev 4B, un modèle de décision ouvert qui répond à des questions typées comme le fait Jev de TypeSafe, s'appelle désormais sur /v1/decisions, depuis notre propre matériel au Canada. Sur des requêtes tenues à l'écart de tous nos choix de conception, il a nommé le bon type de tâche 98,5 % du temps, et choisir un modèle à partir de ses réponses a donné un résultat à deux requêtes près du meilleur modèle unique, pour 25 % de coût en moins.
- [Routage intelligent avec Kev : notre benchmark](https://carouter.ai/fr/blog/jev-kev-laya-decision-models.md) (2026-09-21, Recherche, Flavien Berwick) : Une requête adressée à CARouter pourrait ne nommer aucun modèle et tomber quand même sur le bon, au prix ou à la vitesse de votre choix. Nous avons testé trois modèles de décision capables de faire ce choix, sur 1 020 requêtes en anglais et en français. Kev est le candidat le plus solide ; voici ce que son déploiement demanderait.
- [CKKS peut-il rendre l’IA confidentielle accessible?](https://carouter.ai/fr/blog/ckks-gpu-benchmark.md) (2026-09-12, Recherche, CARouter) : Nous avons testé des bibliothèques CKKS actuelles sur GPU avec les dimensions du modèle Qwen. Les opérations matricielles et le traitement par lots progressent; un service complet de conversation confidentielle reste à démontrer.
- [Répondre aux enjeux de souveraineté et de pénurie de GPU par l’inférence homomorphe des LLM](https://carouter.ai/fr/blog/homomorphic-encryption-community-gpus.md) (2026-09-12, Recherche, CARouter) : Nous avons testé l’inférence homomorphe assistée par un client, de GPT-2 à Qwen3.6-35B-A3B, avec un client CPU de confiance séparé. Méthodologie, débit mesuré, limites de confidentialité et leçons pour une IA confidentielle.
- [L’ajout de l’affinité de cache pour réduire les coûts et accélérer les réponses](https://carouter.ai/fr/blog/cache-affinity.md) (2026-09-10, Produit, Flavien Berwick) : Un fournisseur d’IA peut traiter des instructions répétées plus vite et à moindre coût s’il peut réutiliser le travail déjà effectué. L’affinité de cache favorise cette réutilisation après un changement de fournisseur, tout en respectant vos règles de routage.
- [Des tokens plus verts : l'empreinte carbone de chaque modèle, avant de le choisir](https://carouter.ai/fr/blog/environment-indicator.md) (2026-09-07, Produit, Flavien Berwick) : Chaque offre de notre documentation affiche désormais une estimation des émissions de carbone par million de tokens, avec une couleur selon le réseau électrique utilisé. Voici pourquoi nous la publions, les données et la formule du calcul, ainsi que ses limites.
- [CARouter rejoint Denvr AI Ascend : des crédits infonuagiques pour mesurer les performances sur du matériel canadien](https://carouter.ai/fr/blog/denvr-ai-ascend.md) (2026-09-05, Partenariats, Flavien Berwick) : CARouter rejoint Denvr AI Ascend, le programme de démarrage d'un fournisseur infonuagique canadien qui exploite ses propres GPU à Calgary. Les crédits serviront à mesurer les modèles sur du matériel de centre de données, et ces mesures nourriront le routeur. Denvr loue des GPU à l'heure et n'offre pas de point d'accès d'inférence : rien ne change donc sur la plateforme.
- [Partenariat avec Augure : deux modèles entraînés au Canada et servis exclusivement au Canada](https://carouter.ai/fr/blog/augure-partnership.md) (2026-08-31, Partenariats, Flavien Berwick) : Rosedale One et Tofino 3 sont en service sur notre plateforme. Servis au Canada ou refusés, jamais basculés à l'étranger, et aucune requête conservée une fois traitée. Voici ce qu'il y a derrière les trois mentions de notre carte.
- [Qwen3.8-Flash-Next sur le DGX Spark de CARouter : de meilleures réponses, mais dix fois plus d'attente](https://carouter.ai/fr/blog/qwen3-8-flash-next-ten-times-the-wait.md) (2026-08-29, Recherche, Flavien Berwick) : L'aperçu de l'architecture Qwen4 de Qwen domine les palmarès de codage, et sa plus petite version servable pèse 125,9 Gio face à une machine qui en compte 121,6 au total. 38 % de son poids est une table de correspondance : il tourne donc quand même - diffusé depuis le SSD, sur un moteur rapiécé, seul sur la machine. Il est environ trois fois plus lent, tient le quart des conversations et écrit trois fois et demie plus de tokens par problème. Il code probablement mieux que ce que nous servons, et sur ce matériel cet avantage coûte 13 minutes par réponse.
- [Pourquoi nous servons désormais Qwen3.6 35B-A3B plutôt que Qwen3.8 27B](https://carouter.ai/fr/blog/qwen3-6-35b-a3b-instead-of-qwen3-8-27b.md) (2026-08-29, Produit, Flavien Berwick) : Un modèle dense de 27B doit lire ses 23,4 Go au complet pour écrire un seul token, ce qui, sur notre DGX Spark, plafonne à environ 12 tokens par seconde avant toute spéculation. Un MoE de 35B n'en active que 3B et en lit 2,0 Go. Il est 1,5 à 1,9 fois plus rapide à tous les niveaux de simultanéité, préremplit 3,2 fois plus vite et tient 2,26 fois plus de sessions - et sur nos 50 problèmes BigCodeBench appariés, il fait 33 contre 33, pour la moitié des tokens.
- [Régler le décodage spéculatif sur le DGX Spark de CARouter : des réponses de code deux tiers plus rapides, à matériel constant](https://carouter.ai/fr/blog/tuning-speculative-decoding-on-dgx-spark.md) (2026-08-27, Recherche, Flavien Berwick) : Le décodage spéculatif fait deviner à un petit modèle « brouillon » les tokens à venir, pour que le gros puisse en vérifier plusieurs d'un coup. Quelles suppositions il fait, et comment elles sont vérifiées, étaient deux réglages laissés à leur valeur par défaut. Les changer a fait passer notre point d'accès de code auto-hébergé de 20,8 à 34,8 tokens par seconde et par flux, sur la même machine - et a renversé la longueur de bloc que nous avions déployée une semaine plus tôt, qui s'est révélée être un fait sur le réglage par défaut plutôt que sur le matériel.
- [MTP contre DFlash2 sur le DGX Spark de CARouter : 35 % de tokens en plus par pas, pas un pas plus rapide](https://carouter.ai/fr/blog/dflash2-draft-on-dgx-spark.md) (2026-08-26, Recherche, Flavien Berwick) : Une infolettre promettait 3× grâce au décodage spéculatif le matin même où vLLM 0.28.0 livrait le brouillon qui manquait à Qwen3.8-27B. Nous avons confronté l'article à notre DGX Spark de 128 Go ligne par ligne, puis mesuré DFlash2 contre la tête MTP de 1 à 16 flux et à trois tailles de bloc. CARouter Cloud décode un tiers plus vite par flux; le pas n'est pas devenu plus rapide du tout; et l'estimation que nous avions écrite d'abord était fausse d'exactement le coût du brouillon.
- [Laguna S 2.1 contre Qwen3.8-27B sur le DGX Spark de CARouter : la vitesse a perdu contre la mémoire](https://carouter.ai/fr/blog/one-gb10-two-coding-models.md) (2026-08-25, Recherche, Flavien Berwick) : Laguna S 2.1 de Poolside décode deux fois et demie plus vite que Qwen3.8-27B sur notre DGX Spark de 128 Go. Nous avons quand même mis Qwen en service : il tient dans un tiers de la mémoire, et ce qu'il laisse libre accueille quatre sessions de codage à 262K de contexte là où Laguna en tient une. Une fin de semaine de mesures, avec les graphiques, les erreurs et la configuration qui l'a emporté.