CArouter Benchmarks : tous les modèles que nous mesurons, dans un seul classement
CArouter publie désormais les benchmarks qui nous servent à choisir les modèles à poids ouverts que nous proposons, dans un classement conçu pour se lire en quelques secondes, par qualité, vitesse et contexte. Chaque mesure indique son matériel, sa quantification, sa date et son auteur, et nous invitons les laboratoires d'IA et les équipes de recherche à y publier leurs propres résultats.
Avant de proposer un modèle sur CArouter, nous le mesurons : la qualité de ses réponses, sa vitesse d'écriture sur une machine donnée et la quantité de contexte qu'il retient. Ces mesures sont issues de notre R-D continue. Jusqu'ici, chacune restait dans l'article de blog qui la rapportait ; elles sont désormais réunies dans un classement public.
Pensé pour se lire en quelques secondes
L'essentiel du travail a porté sur l'interface. Chaque modèle occupe une ligne d'un même tableau, avec le logo de son labo, sa taille et sa fenêtre de contexte. Les colonnes suivent la logique d'un acheteur : qualité, vitesse, contexte et décisions de routage. Une barre de recherche et des filtres affinent le tableau par labo, taille, quantification, matériel et auteur.
Chaque colonne nomme d'abord la compétence, comme le code, le raisonnement ou les appels d'outils, puis le benchmark qui l'a mesurée. Un clic trie le tableau sur cette colonne. Les filtres sont conservés dans l'adresse de la page : une vue se partage donc par simple lien. Le + de chaque ligne permet enfin de comparer jusqu'à trois modèles côte à côte.
Chaque mesure porte sa preuve
Une mesure inspire confiance quand on voit d'où elle vient. Le survol d'une cellule en affiche le détail :
- Matériel et variante : la machine, par exemple un NVIDIA GB10 ou une Intel Arc Pro B60, et la variante exacte, avec sa quantification, son moteur et la version de celui-ci. Une ligne correspond à un modèle dans une quantification ; un sélecteur sous son nom permet d'en choisir une autre.
- Date et échantillon : chaque mesure est une exécution datée, avec son nombre d'échantillons. Une nouvelle mesure s'ajoute à côté de la précédente, qui garde sa valeur.
- Auteur : chaque mesure porte la marque de qui l'a réalisée. Quand deux auteurs mesurent le même modèle sur le même benchmark, la page indique s'ils concordent dans la tolérance du benchmark.
- Un benchmark par colonne : le classement suit la colonne de votre choix, car un score composite masquerait l'arbitrage entre qualité, vitesse et coût.
- Copies lisibles par machine : les mêmes données sont publiées dans /benchmarks.json et dans /llms-full.txt, pour les scripts et les agents d'IA.
D'où viennent les mesures publiées aujourd'hui
Les mesures publiées aujourd'hui sont les évaluations que nous avons menées pour choisir les modèles proposés sur CArouter, le matériel qui les sert et leur quantification. Chacune renvoie à l'article qui l'a d'abord rapportée. Les nouvelles mesures passent désormais par une file automatisée, selon le même protocole, et rejoignent la page dès qu'elles sont terminées.
Nous cherchons des partenaires de benchmark
Un classement gagne en crédibilité quand plusieurs équipes indépendantes s'en portent garantes. Nous cherchons des partenaires de benchmark fiables, comme des laboratoires d'IA, des groupes de recherche ou des fabricants de matériel, pour publier leurs propres résultats sur CArouter.
Chaque partenaire reçoit sa propre clé et soumet un jeu complet de résultats par notre API. Nous examinons chaque jeu avant sa publication, et le nom du partenaire reste attaché à chacune des mesures publiées. Pour participer, écrivez-nous depuis la page de contact.
Voir le classement. Lire la méthodologie. Devenir partenaire de benchmark.