Entraîner un petit modèle sur nos données : de 21 à 90 sur 98
Par Karim Fagri, fondateur de Digifinance · · 4 min de lecture
Dans notre article précédent, Luna notait parfaitement les réponses de notre assistant : 98 cas réussis sur 98. Mais Luna est une API payante, hébergée hors de chez nous.
Une question simple : peut-on apprendre ce travail à Laya, un petit modèle gratuit qui tourne sur nos propres serveurs ?
Ce que nous avons fait
Le travail est toujours le même. On donne au modèle une réponse et un fait. Il doit dire si la réponse affirme ce fait, le contredit, ou n'en parle pas.
Nous avons préparé deux sources d'exemples. D'abord les nôtres : 2 674 cas tirés de nos documents. Ensuite un jeu de données public : 30 000 phrases de Wikipédia, vérifiées une à une.
L'entraînement a pris 10 minutes sur un GPU gratuit dans le cloud. Nous avons ensuite testé chaque version sur les mêmes 98 cas que Luna.
Les résultats
Plus la barre est longue, mieux c'est. En rouge, les erreurs graves : un fait que la réponse n'affirme pas, validé quand même.
Erreur grave : un fait que la réponse n'affirme pas, validé quand même. Deux entraînements identiques varient d'environ 3 cas.
Nos propres exemples font toute la différence : Laya passe de 21 à 87 cas réussis. Les données publiques seules le rendent prudent, mais il doute trop souvent.
Le meilleur résultat combine les deux : d'abord les données publiques, puis les nôtres. 90 cas réussis sur 98.
Pas encore un remplaçant
Laya fait encore une erreur grave : il valide une phrase négative comme si elle disait l'inverse. Pour un correcteur, c'est justement l'erreur à éviter.
Autre limite : deux entraînements identiques donnent des résultats qui varient d'environ 3 cas. L'écart entre 87 et 90 n'est donc pas encore prouvé. Prochaine étape : refaire chaque entraînement plusieurs fois, et ajouter des exemples de négation.
Ce que ça coûte
Une fois entraîné, Laya tourne sur un serveur ordinaire, sans carte graphique. Il donne toujours le même résultat.
Luna coûte déjà moins d'un demi-centime par test complet. Le vrai gain n'est donc pas l'argent : c'est de garder ses données chez soi et de ne dépendre d'aucun fournisseur.
Ce qu'on retient
Trois leçons, valables au-delà de notre cas :
- Un petit modèle gratuit peut apprendre une tâche précise, si vous lui donnez vos propres exemples.
- Les données publiques aident, mais ne remplacent pas les vôtres.
- Testez toujours le modèle sur des cas qu'il n'a jamais vus, et comptez les erreurs graves, pas seulement le score.
Méthode et limites
Un petit test, à lire comme une tendance.
- Modèle : Laya, variante « typed-decisions », entraîné avec un adaptateur léger (LoRA), le 12 octobre 2026.
- Nos exemples : 2 674 cas. 2 245 ont été rédigés et annotés par une IA (Claude) à partir de nos documents ; 429 sont de vraies réponses de notre assistant, annotées par Luna. Aucun des 98 cas de test n'a servi à l'entraînement.
- Données publiques : 30 000 paires du jeu VitaminC (phrases de Wikipédia, licence CC BY-SA 3.0).
- Test : les 98 contrôles de notre premier article. Un fait n'est validé qu'au-dessus d'une probabilité de 0,8.
- Temps de réponse : environ 2,6 s sur un processeur ordinaire (6 threads), 1,2 s sur le petit GPU d'un ordinateur portable.
Questions fréquentes
Faut-il un GPU pour entraîner un modèle ?
Pour l'entraînement, oui, mais quelques minutes suffisent, et un GPU gratuit dans le cloud fait l'affaire. Pour l'utiliser ensuite, un serveur ordinaire suffit.
Combien d'exemples faut-il ?
Dans notre cas, environ 2 700 exemples ciblés ont suffi pour passer de 21 à 87 cas réussis sur 98. Le plus important, c'est qu'ils ressemblent à vos vraies données.
Vous voulez un modèle entraîné sur vos données ?
Nous intégrons l'IA dans les outils des entreprises au Maroc, et nous la testons sur vos données avant la mise en production.