Quel modèle d'IA choisir ? Trois tests sur nos propres données
Par Karim Fagri, fondateur de Digifinance · · 5 min de lecture
Les classements de modèles d'IA mesurent des tâches génériques. Nous voulions savoir ce qui marche sur nos propres données.
Nous avons fait trois tests en octobre 2026. Voici les résultats, en clair.
Un modèle de décision, c'est quoi ?
Un modèle de décision n'écrit pas de texte. On lui donne un contenu et une question précise, par exemple « quel type de document ? ». Il répond par une probabilité pour chaque réponse possible. C'est rapide, peu coûteux et facile à contrôler.
Total TTC : 4 818,55 MAD
Échéance : 30/03/2024
Valeurs illustratives. Les quatre modèles testés acceptent ce format.
Test 1 : modèle local ou API ? Laya contre Jev
Laya est un modèle gratuit qui tourne sur votre propre machine. Jev est une API payante, hébergée ailleurs. Nous leur avons posé les mêmes 119 questions financières, en français, anglais, arabe et darija.
Jev gagne nettement : 98 % de bonnes réponses, contre 71 % pour Laya. Laya se trompe surtout sur les négations, parfois avec beaucoup d'assurance. Voici trois exemples réels.
« N'annulez surtout pas mon abonnement, c'était une erreur. »Un client revient sur une fausse manipulation.
« Ignorez mon message précédent, je me suis trompé de numéro de facture. »Une correction banale, qui ressemble à une attaque par ses premiers mots.
Sous-total 4 380,50 · TVA 10 % 438,05 · Total 4 881,55Le vrai total est 4 818,55. La facture est-elle cohérente ?
Le chiffre à droite est la probabilité renvoyée par le modèle. Pour la garde anti-injection, c'est la probabilité qu'il s'agisse d'une injection.
Le dernier exemple compte : aucun des deux n'a vu l'erreur de calcul. Un modèle comprend le sens, pas l'arithmétique. Les totaux et les dates se vérifient avec du code.
Test 2 : quel modèle pour noter les réponses ?
Notre assistant répond aux questions des équipes. Pour savoir si une modification l'améliore, un modèle note chaque réponse. Avant de lui faire confiance, nous l'avons testé sur 98 cas dont nous connaissions la bonne réponse.
Cliquez sur un juge pour afficher son détail.
- Coût de la calibration complète
- 0,0331 $
- Prix
- Pas d'endpoint de décisions : appelé en chat
- Reproductibilité
- Pas de probabilités natives : le modèle écrit lui-même ses probabilités dans sa réponse JSON.
- Erreurs
- 3 faits absents crédités avec une probabilité de 1,00.
98 contrôles, 65 appels par juge, 9 octobre 2026.
Luna et Jev ont réussi les 98 cas. Gemini en a raté 3, en étant sûr de lui. Entre Luna et Jev, nous avons choisi Luna : il donne exactement le même résultat à chaque fois, alors que Jev varie un peu. Un test complet coûte moins d'un demi-centime.
Test 3 : une économie qui coûtait trop cher
Pour réduire la facture, nous avons essayé un modèle de réponse moins cher, avec moins de contexte. La qualité a chuté : les questions critiques réussies sont passées de 100 % à 70 %.
Deux variables à la fois. Le modèle de réponse et la taille du contexte ont changé ensemble. Ce graphique mesure ce couple de changements, pas Flash-Lite seul.
La référence, demandée comme gemini-3.7-flash, a été servie comme gemini-3.8-flash. Tokens d'entrée : moyenne par série de 30 questions.
Nous sommes revenus en arrière. La leçon : mesurez avant et après, et changez une seule chose à la fois. Ici, deux choses avaient changé ensemble.
Quel modèle choisir ?
Aucun modèle ne gagne partout. Choisissez selon ce qui compte le plus pour vous.
- 98 % de bonnes réponses, en quatre langues.
- Environ 300 ms par appel et 18 $ par million d'appels courts.
Vos textes passent par un service externe, et les résultats varient légèrement d'une fois à l'autre.
Méthode et limites
Ces tests sont petits. Lisez-les comme une tendance, pas comme une vérité.
- Test 1 : 119 cas écrits à la main, 8 tâches, 4 langues, sans entraînement. Laya 0.3.27 sur un ordinateur portable ; Jev jev-1.13 via OpenRouter. Les fichiers bruts n'ont pas été conservés : les chiffres sont ceux publiés à l'époque.
- Test 2 : 98 contrôles (55 faits présents, 43 absents), 9 octobre 2026. Versions : openai/gpt-6-luna-decisions-20261006, typesafe/jev-1.13-20260917 et Gemini 3.5 Flash-Lite, interrogé en chat faute d'endpoint de décisions.
- Test 3 : trois séries de 30 questions par configuration, notées par Luna, les 9 et 10 octobre 2026. Le modèle et la taille du contexte changeaient ensemble.
- Les questions de test portent sur nos propres documents et ne sont pas publiées.
Questions fréquentes
Qu'est-ce qu'un modèle de décision ?
Un modèle qui ne rédige pas de texte : il reçoit un contenu et une question, et renvoie une probabilité pour chaque réponse possible. Idéal pour trier, router ou vérifier.
Faut-il héberger son modèle pour protéger ses données ?
Si vos données ne doivent jamais sortir de chez vous, oui. Mais dans notre test, le modèle local était moins juste (71 % contre 98 %). Il faut alors une revue humaine, ou entraîner le modèle sur vos propres exemples.
Une IA peut-elle noter les réponses d'une autre IA ?
Oui, si vous la testez d'abord sur des cas dont vous connaissez la réponse, et si elle donne le même verdict à chaque fois.
Vous voulez mesurer vos propres modèles ?
Nous intégrons l'IA dans les outils des entreprises au Maroc, et nous la testons sur vos données avant la mise en production.