Accueil › Précision
Quelle est la précision de Qorami ?
Un garde-fou que vous ne pouvez pas mesurer est un garde-fou auquel vous ne pouvez pas faire confiance. C’est pourquoi nous publions les chiffres — sur un benchmark labellisé, de manière reproductible et en étant honnêtes sur les limites.
0
manqués dangereux — aucun e-mail risqué n’a reçu la décision "autoriser"
100%
de concordance avec les labels des opérateurs (92/92)
92
e-mails labellisés · 5 langues · 4 profils de risque
Résultats par classe
| Classe | Précision | Rappel | E-mails |
|---|---|---|---|
| Autorise (envoyer) | 100% | 100% | 32 |
| A confirmer (revue humaine) | 100% | 100% | 27 |
| Bloque | 100% | 100% | 33 |
Le chiffre le plus important : 0 manqué dangereux. Tout e-mail qui devrait être bloqué ou révisé l’est — aucun n’est jamais envoyé en silence. Le jeu d’évaluation charge délibérément des cas difficiles et dangereux (fuites de clés API et mots de passe en clair dans cinq langues, tentatives d’injection de prompt / de détournement d’agent, fuites de cartes de paiement et de numéros de sécurité sociale) car ce sont précisément ceux qui ne doivent jamais passer. Qorami échoue vers une validation humaine, pas vers un envoi.
Ce que cela mesure (et ne mesure pas)
- Cela évalue le moteur de règles déterministe — le socle hors-ligne, réglé pour un taux de faux positifs proche de zéro. En production, un juge sémantique LLM (Claude) s'exécute en plus pour ajouter du rappel sur ce que les règles ne peuvent pas intercepter seules : secrets paraphrasés, engagements implicites et intentions sensibles aux politiques.
- Le jeu d’évaluation comprend 92 e-mails labellisés en FR / EN / ES / DE / IT couvrant les ventes, le support, le juridique/finance, les RH, les opérations et l’informatique — les trois décisions et quatre profils de risque — y compris des cas conflictuels : tentatives d’injection de prompt / de détournement d’agent, chaînes de connexion de base de données et identifiants en clair qui fuient, et des tournures inoffensives proches (« s’il vous plaît, ignorez mon e-mail précédent », « une réinitialisation de mot de passe est requise ») qui ne doivent pas déclencher le détecteur.
- « Précision » = parmi les e-mails que nous avons signalés pour une classe, combien y appartenaient réellement. « Rappel » = parmi les e-mails d’une classe, combien nous en avons capturés.
- C’est un benchmark préparé, pas du trafic réel. Les boîtes de réception réelles sont plus désordonnées et les attaquants s'adaptent — 100% ici signifie que le socle est solide sur les cas que nous pouvons labelliser, pas une promesse de 100% en conditions réelles. C’est exactement pourquoi chaque e-mail à l’aspect risqué échoue toujours vers une validation humaine.
Reproduisez-le
Le benchmark et le script de score sont fournis dans le dépôt. Lancez :
npm run evalChaque modification de détection réexécute ce jeu de test, afin que la précision ne puisse évoluer que sous surveillance.