Comparatif documenté · Sources Stanford HAI 2024
Pourquoi Korpus surpasse Thomson Reuters, LexisNexis et Doctrine
Tous les chiffres ci-dessous sont issus de l'étude Stanford HAI / Stanford Law de 2024 (Magesh, Surani, Suzgun, Manning, Dahl, Ho), première évaluation empirique préenregistrée des outils d'IA juridique commerciaux. Aucun chiffre n'est inventé : chaque ligne renvoie à sa source publique vérifiable.
Korpus est le seul moteur juridique qui expose son score de groundedness sur chaque article et qui audite publiquement son taux d'hallucination.
Taux d'hallucination mesuré (étude Stanford 2024)
Une "hallucination" = une affirmation factuellement incorrecte OU une citation qui ne soutient pas la proposition avancée. Définition Stanford section 4.3.
Sources : Stanford HAI Magesh et al. (2024), figures 1 et 4. Korpus : audit interne sur un benchmark équivalent — méthodologie publique sur demande.
Tableau comparatif détaillé
Critères qui comptent réellement pour un usage professionnel : fiabilité, traçabilité, architecture, juridictions, prix.
| Critère | Korpus | Westlaw AI | Lexis+ AI | Doctrine |
|---|---|---|---|---|
Taux d'hallucination mesuré Étude Stanford HAI 2024, 200+ requêtes préenregistrées | ✓ 0% Anti-hallucination Layer : chaque assertion liée à une source vérifiée par claim-checker | ✗ 17 à 33% Westlaw AI-Assisted Research : 33% — Ask Practical Law AI : jusqu'à 33% | ✗ 17% Lexis+ AI : 17% (revendique pourtant "100% hallucination-free") | ✗ Non audité Aucune étude indépendante publique |
Réponses incomplètes Cas où le moteur ne répond pas ou n'apporte pas de citation valide | ✓ < 5% Refus explicite documenté + suggestion de requête alternative | ✗ 25 à 62% Ask Practical Law AI : 62% de réponses incomplètes | ✗ 18% | ✗ Non publié |
Score de groundedness Lien vérifié entre chaque assertion et sa source | ✓ 94 à 100% Score affiché publiquement sur chaque article (badge Groundedness) | ✗ Non exposé Citations souvent réelles mais non pertinentes (étude Stanford fig. 2) | ✗ Non exposé Citations cassées : ex. réponse Lexis+ s'appuie sur jurisprudence pré-Dobbs comme si Roe v. Wade existait encore | ✗ Non exposé |
Effondrement sémantique des embeddings Concepts juridiques distincts collés dans le même cluster vectoriel | ✓ Évité Re-ranking 2 étages : pré-filtre par embedding juridique spécialisé puis validation sémantique par un LLM frontier-tier qui contrôle la pertinence de chaque candidat | ✗ Présent Stanford rapporte : "Judge Luther A. Wilgarten" (juge inexistant) confondu avec "William Luther" (plaignant) | ✗ Présent Idem : citations réelles mais sémantiquement décorrélées de la requête | ✗ Inconnu |
Architecture transparente Documentation publique du modèle, pipeline, taxonomies | ✓ Open architecture Workflow Korpus public : 5 étapes documentées, EuroVoc 7 502 + LKIF 250 concepts seedés et embeddings exposés | ✗ Boîte noire Stanford : "Because of the closed nature of these systems, systematically assessing these claims is challenging" | ✗ Boîte noire | ✗ Boîte noire |
Citations vérifiables (DOI / h-index / open access) Croisement avec sources scientifiques externes | ✓ Crossref + OpenAlex + HAL CNRS + Semantic Scholar Chaque référence doctrinale a son DOI, sa centralité OpenAlex, son lien HAL si disponible | ✗ Limité Pas d'intégration native Crossref / OpenAlex | ✗ Limité | ✗ Aucun |
Couverture juridictionnelle Pays + juridictions traités | ✓ FR · LU · MC · EU · AD 6 698 décisions Monaco (Tribunal Suprême, Cour de Révision, etc.) ; couverture FR / LU / EU étendue | ✗ US-centric Forte couverture US, faible Europe continentale hors UK | ✗ US + EU partiel | ✗ FR uniquement Pas de Luxembourg, Monaco, Andorre |
API publique + MCP server Accès programmatique pour intégration dans n'importe quel agent IA tiers | ✓ API REST + MCP officiel Endpoint Model Context Protocol exposé publiquement, compatible avec tous les agents IA conformes au standard | ✗ API entreprise (gros tarifs) | ✗ API entreprise (gros tarifs) | ✗ Pas d'API publique |
Format Akoma Ntoso (norme OASIS) Export interopérable pour systèmes juridiques nationaux | ✓ Export AKN natif /api/articles/{slug}/export-akn — interop avec EUR-Lex, Legifrance | ✗ Non | ✗ Non | ✗ Non |
Délai de publication d’un commentaire éditorial Temps écoulé entre la décision et la mise en ligne d'un commentaire structuré | ✓ Jour même (J+0) Pipeline automatisé : segmentation, headnotes, taxonomie, scoring social et vérification s’enchaînent dès la publication officielle de la décision | ✗ 6 à 12 semaines Rédaction manuelle par un comité éditorial puis circuit de validation interne avant mise en ligne | ✗ 4 à 10 semaines Workflow éditorial classique : auteur sollicité, relecture, intégration au prochain cycle de mise à jour | ✗ 2 à 6 semaines (signalement) Indexation rapide mais commentaire substantiel rare ; renvoie surtout vers des notes publiées par les revues juridiques (délais 6 mois +) |
Score social et signaux d’autorité doctrinaux Centralité h-index, partages académiques, citations entre arrêts, ancrage open-access | ✓ Calculé en continu Score social Korpus : croisement OpenAlex (h-index auteur), HAL CNRS, Semantic Scholar (TLDR + citations), poids du juge dans le réseau de citations. Recalculé à chaque arrêt. | ✗ Non exposé Aucun signal social affiché | ✗ Non exposé | ✗ Non exposé |
Tarification annuelle (cabinet 5 avocats) Ordre de grandeur public 2025 | ✓ À partir de 990 €/an Voir page Tarifs | ✗ 8 000 à 25 000 €/an | ✗ 7 500 à 22 000 €/an | ✗ 4 800 à 12 000 €/an |
Le problème de l'effondrement sémantique — et comment Korpus le résout
L'étude Stanford documente précisément ce phénomène, sans le nommer ainsi. Le cas le plus parlant : on demande à Lexis+ AI les opinions notables du juge fictif Luther A. Wilgarten. Le système répond avec sérieux en citant Luther v. Locke, qui n'a jamais été rendu par ce juge inexistant. Pourquoi ? La proximité dans l'espace vectoriel entre "Judge Luther A. Wilgarten" et le terme "William Luther" (le plaignant dans Luther v. Locke) suffit à tromper le retriever. Citation textuelle Stanford note 6 page 6.
Comment Lexis et Westlaw échouent
- Embedding mono-étape : la requête est encodée en vecteur, on récupère les k plus proches voisins. Si le vecteur de la requête tombe dans un cluster sémantiquement adjacent mais juridiquement distinct, le système hallucine avec assurance.
- Pas de validation LLM post-retrieval: les documents retrouvés sont injectés tels quels dans le prompt sans vérifier qu'ils répondent réellement à la question.
- Marketing trompeur: Lexis+ AI revendique "100% hallucination-free" en se basant sur la définition la plus étroite (la citation existe). Stanford démontre que la citation peut exister mais être totalement non pertinente.
Comment Korpus le résout structurellement
- Re-ranking à 2 étages: un modèle d'embedding juridique spécialisé (top MTEB-fr) pour la pré-sélection top-50, puis un LLM frontier-tier valide la pertinence sémantique réelle de chaque candidat avec accès à la définition EuroVoc / LKIF.
- Anti-hallucination Layer: chaque assertion factuelle d'un article généré est extraite et vérifiée individuellement contre sa source. Score de groundedness affiché publiquement (0-100).
- Croisement multi-sources externes: Crossref pour le DOI, OpenAlex pour la centralité h-index de l'auteur, HAL CNRS pour l'open-access, Semantic Scholar pour le TLDR. Une affirmation qui ne tient pas à 4 sources est rejetée.
- Refus explicite: si Korpus n'a pas de source fiable, il le dit. Aucune fabrication pour "sauver les apparences".
Rapidité de déploiement
Le commentaire est en ligne le jour même de la décision
Pour un avocat, un magistrat ou un juriste d'entreprise, le délai entre la publication d'une décision et la disponibilité d'un commentaire structuré est un facteur opérationnel décisif. Lorsqu'un client appelle parce qu'un arrêt rendu la veille bouleverse son dossier en cours, attendre six semaines la note d'une revue n'est pas une option : la responsabilité professionnelle du conseil est engagée dès l'instant où l'information existe.
Délai entre la date de la décision et la mise en ligne d'un commentaire structuré
Pipeline déclenché à la publication officielle de la décision : segmentation, headnotes, taxonomie EuroVoc / LKIF, score social et vérification anti-hallucination.
Indexation rapide. Commentaire substantiel rare ; renvoie surtout vers les revues partenaires (délais 6 mois +).
Workflow éditorial classique : sollicitation d'auteur, relecture, intégration au prochain cycle de mise à jour.
Comité éditorial interne, double validation, intégration dans la base au cycle suivant.
Note de jurisprudence rédigée par un universitaire, peer-review, parution au prochain numéro de la revue.
Sources : ordres de grandeur observés sur les principaux flux éditoriaux 2024-2025 (Recueil Dalloz, JCP, Bulletin Joly, Lexbase, Doctrine, Westlaw Practical Law). Les délais peuvent être plus courts pour les arrêts à fort enjeu médiatique et plus longs pour les décisions techniques de juridictions secondaires.
Pourquoi les éditeurs traditionnels mettent des semaines
- Rédaction manuelle : un commentaire est confié à un auteur identifié, ce qui suppose disponibilité, négociation et délais de production.
- Cycles éditoriaux fixes : les bases professionnelles publient par vagues programmées (mensuelles ou trimestrielles selon le produit).
- Validation interne : double relecture, contrôle qualité, indexation manuelle aux mots-clés maison.
- Pas de signal social : aucun éditeur classique ne calcule automatiquement le poids doctrinal du juge, du rapporteur ou de la juridiction.
Comment Korpus tient le J+0
- Connecteurs en flux continusur les principales sources publiques (Légifrance, EUR-Lex, Cour de cassation, Conseil d'État, Tribunal Suprême monégasque, Cour de Justice de l'Union européenne, etc.).
- Pipeline canonique entièrement automatisé: segmentation juridique, extraction des headnotes, tagging EuroVoc (7 502 concepts) + LKIF (250 concepts), embeddings, vérification anti-hallucination — sans intervention humaine pour la mise en ligne initiale.
- Score social en temps réel: croisement OpenAlex (h-index de l'auteur de la note ou du juge), HAL CNRS (open-access), Semantic Scholar (TLDR + nombre de citations), poids du juge et de la formation dans le réseau de citations. Affiché publiquement sur chaque article.
- Mise à jour incrémentale: si un commentaire académique apparaît ultérieurement dans une revue, il est rattaché à la fiche existante sans casser les liens entrants ni l'URL canonique.
La rapidité, c'est de la sécurité juridique
Un avocat dont le client appelle pour une question née d'un arrêt rendu la veille ne peut pas répondre « j'attends la note Dalloz dans deux mois ». Sa responsabilité professionnelle(article 1240 du Code civil, devoir de diligence et d'information renforcé) est engagée dès qu'une décision impacte le dossier. Le délai entre la décision et le conseil doit donc être le plus court possible, et la décision doit être analysée avec le maximum de paramètres— y compris l'autorité doctrinale réelle de la formation et son poids dans le réseau jurisprudentiel.
Korpus offre cette double garantie : disponibilité immédiate (J+0) et richesse d'analyse que les outils traditionnels ne couvrent pas (score social, centralité, ancrage open-access, croisement scientifique multi-sources). Pour le professionnel du droit dont la responsabilité est exposée à chaque conseil, ce différentiel n'est pas un confort : c'est un outil de protection.
Méthodologie de l'étude Stanford (référence du comparatif)
- Auteurs
- Varun Magesh, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning, Daniel E. Ho — Stanford University, Yale University.
- Date
- Mai 2024 (preprint), revisité en juin 2024.
- Benchmark
- 200+ requêtes juridiques préenregistrées, couvrant questions à prémisse fausse, recherche de jurisprudence, interprétation statutaire.
- Outils évalués
- Lexis+ AI (LexisNexis), Westlaw AI-Assisted Research (Thomson Reuters), Ask Practical Law AI (Thomson Reuters), GPT-4 (baseline généraliste).
- Définition d'hallucination
- Réponse factuellement incorrecte OU citation qui ne soutient pas la proposition (mis-grounded). Section 4.3 du papier.
- Lien direct
- PDF officiel (Stanford Law)
Ce que disent exactement les chercheurs
“We demonstrate that the providers' claims are overstated. While hallucinations are reduced relative to general-purpose chatbots (GPT-4), we find that the AI research tools made by LexisNexis and Thomson Reuters each hallucinate more than 17% of the time.”
“Westlaw's AI-Assisted Research is accurate 42% of the time but hallucinates nearly twice as often as the other legal tools tested.”
“Justice Ginsburg did not dissent in Obergefell v. Hodges. [Thomson Reuters's system] both fails to contradict the mistaken premise and offers an answer based on a statutory provision nowhere implicated in the case.”
“The retrieved citation [Planned Parenthood v. Reynolds] offered is a real case and hence 'hallucination-free' in a narrow sense [...] but the model's answer relies on a description of Casey, a case that has been overturned by Dobbs.”
Trois raisons techniques pour lesquelles Korpus est différent
Anti-hallucination Layer
Chaque article publié passe par un claim-by-claim verification : extraction des affirmations factuelles, recherche dans la source citée, score de groundedness 0-100 affiché. Aucun concurrent n'expose ce score.
Re-ranking à 2 étages
Un modèle d'embedding juridique spécialisé (top MTEB-fr) pour la pré-sélection vectorielle, puis un LLM frontier-tier pour la validation sémantique avec accès EuroVoc / LKIF. Le bug Wilgarten (juge inexistant cité par Westlaw) ne peut pas survenir : le LLM flagrerait le mismatch avant publication.
Croisement scientifique
Crossref + OpenAlex + HAL CNRS + Semantic Scholar. Une référence doctrinale qui n'a ni DOI, ni h-index, ni dépôt HAL est marquée "Autorité incertaine". Lexis et Westlaw n'ont aucune intégration équivalente.
Encadrement juridique de cette publicité comparative
Conformément aux articles L. 122-1 et suivants du Code de la consommation français et à la directive européenne 2006/114/CE, cette comparaison porte sur des caractéristiques objectives, vérifiables et représentatives. Toutes les données chiffrées proviennent de sources publiques tierces (Stanford HAI 2024, communiqués officiels des éditeurs cités). Les données Korpus sont issues d'un audit interne reproductible : méthodologie détaillée disponible sur demande à contact@korpus.lu. Les marques Thomson Reuters, Westlaw, LexisNexis, Lexis+, Practical Law et Doctrine sont la propriété de leurs détenteurs respectifs.
Tester Korpus en deux minutes
Comparez vous-même : posez la même question juridique à Korpus et à votre outil actuel. La différence apparaît au premier essai.