Premier banc
Un agent RAG juridique répond-il sans inventer ?
Évaluation hors ligne sur un sous-ensemble figé du Code de la consommation : 180 questions, rappel@5 0,483, fidélité hors abstentions, fausse abstention ~0,61.
Au plus près des preuves.
Nicolas Merli, ingénieur NLP/ML. Je mesure ce que les systèmes de langage savent vraiment faire, puis je l'écris.
Un blog technique, des bancs d'expériences que l'on peut rejouer, et Halt : quatre expériences autonomes qui tournent encore.
Dernières notes
- Date d'exemple · 12 min
Le taux d'abstention ne dit pas si votre RAG sait se taire
Pourquoi une courbe risque-couverture apprend plus qu'un seul pourcentage de refus. Exemple