AI Agent Evaluation & Benchmarking

Évaluation et Benchmarking d'Agents IA

Robustness Analysis, Reliability, and Hallucination Detection

Analyse de Robustesse, Fiabilité et Détection d'Hallucinations

GitHub Repo
Ensimag Logo

Executive Summary & Problem Space

Résumé Exécutif et Problème

The integration of generative AI into industrial processes requires measurable trust. Google's Agent-to-Agent (A2A) protocol and Anthropic's Model Context Protocol (MCP) have emerged as orchestration standards, allowing agents to interact with real-world tools. However, this introduces severe risks: agents acting on real systems based on hallucinated reasoning.

We prioritize consistency (stable decision-making over iterations) rather than strict determinism. To accurately benchmark this consistency, we developed a testing protocol around 5 distinct hallucination axes.

L'intégration de l'IA générative dans les processus industriels nécessite une confiance mesurable. Les protocoles A2A (Google) et MCP (Anthropic) sont devenus des standards d'orchestration, permettant aux agents d'interagir avec des outils réels. Cependant, cela introduit des risques majeurs : des agents agissant sur des systèmes réels en se basant sur un raisonnement halluciné.

Nous privilégions la consistance (stabilité des décisions) au déterminisme strict. Pour évaluer cette consistance, nous avons développé un protocole de test structuré autour de 5 axes d'hallucination.

The 5 Axes of Hallucination Testing

Les 5 Axes de Test d'Hallucination

1. Established Facts1. Faits Avérés

Validating basic scientific truths without inventing data.Valider des vérités scientifiques sans inventer de données.

2. Rare Facts2. Faits Rares

Testing specialized topics. Silence (Unsupported) is preferred over invention.Sujets spécialisés. Le silence (Unsupported) est préféré à l'invention.

3. Fallacies3. Sophismes

Testing logical robustness against contradictory or flawed reasoning.Tester la robustesse logique face aux raisonnements contradictoires.

4. Temporality4. Temporalité

Ensuring the agent respects its knowledge cutoff and does not extrapolate.S'assurer que l'agent respecte son cutoff sans extrapoler l'actualité.

5. Noise & Bias5. Bruit & Biais

Robustness against typos, SMS formatting, and biased inputs.Robustesse face aux fautes, formats SMS, et requêtes biaisées.

Table 1: Agent Leaderboard (ADK Stack Synthesis)

Tableau 1: Classement des Agents (Synthèse ADK)

A compact synthesis ranking the 6 functional fact-checker endpoints based on their complete hallucination risk profiles. Note: EP1 is ranked last due to a critical configuration failure.

Une synthèse compacte classant les 6 endpoints fact-checkers fonctionnels selon leur profil de risque d'hallucination. Note: EP1 est classé dernier suite à une erreur de configuration critique.

Rank
Endpoint & Arch
Key Characteristic
Avg Latency
Risk Profile
1

EP4

2 critics + synthesis

Excellent reliability. Active, stable, 0 timeouts. High source usage.

Excellente fiabilité. Actif, stable, 0 timeout. Forte utilisation des sources.

40s
Lowest Risk
2

EP2

Sequential (gpt-5-mini)

Low hallucination risk but severely penalized by massive timeouts.

Faible risque d'hallucination mais lourdement pénalisé par des timeouts massifs.

97s
Medium Risk
3

EP3

Skeptical critic

Creates artificial doubt. Contests established facts unnecessarily.

Crée un doute artificiel. Conteste inutilement des faits établis.

80s
Medium Risk
4

EP5

Sequential + Wiki

Permissive architecture. High logical risk; fails to detect fallacies.

Architecture permissive. Fort risque logique ; ne détecte pas les sophismes.

57s
High Risk
5

EP0

Sequential + DDG

Active hallucinations on popular facts. Frequently confidently incorrect.

Hallucinations actives sur les faits populaires. Souvent confiant mais faux.

41s
Highest Risk
X

EP1

Config Error

Completely broken (LLM provider missing). Crashes immediately.

Totalement cassé (fournisseur LLM manquant). Plante immédiatement.

1.1s (Err)
Broken

Methodology Overview

Aperçu de la Méthodologie

Testing was broken down chronologically to ensure a rigorous, scalable testing environment:

  • Step 1: Internal Construction. We used LangChain, LangGraph, and FastMCP to build internal agents (press and financial strategy) to fully understand orchestration boundaries and tool integration.
  • Step 2: Validation via DeepEval. Before judging third-party endpoints, we instrumented the DeepEval framework on our internal agents. We validated that the GPT-4.1 LLM Judge was highly consistent across iterations.
  • Step 3: Black-Box Exploration. We conducted a manual black-box exploration of 15 Michelin tutor endpoints, mapping their tools and executing the 18-scenario testing matrix across all hallucination axes.

Les tests ont été divisés chronologiquement pour garantir un environnement de test rigoureux :

  • Étape 1 : Construction Interne. Nous avons utilisé LangChain, LangGraph et FastMCP pour construire des agents internes (presse et finance) afin de comprendre les limites de l'orchestration.
  • Étape 2 : Validation via DeepEval. Avant de juger les endpoints tiers, nous avons instrumenté le framework DeepEval sur nos propres agents. Nous avons validé la consistance du juge LLM GPT-4.1.
  • Étape 3 : Exploration en Boîte Noire. Nous avons exploré manuellement 15 endpoints Michelin pour cartographier leurs outils et exécuter la matrice de test de 18 scénarios sur tous les axes d'hallucination.

Phase 2: Validating DeepEval & Internal Agents

Phase 2: Validation DeepEval et Agents Internes

Before auditing third-party endpoints, we used two key DeepEval metrics to evaluate our internal agents: Task Completion (TC) evaluates if the agent fulfilled the user's prompt, and G-Eval Strategy is a custom LLM-as-a-judge metric we defined to grade the specific reasoning steps.

Example Prompt (Financial Agent): "Should I buy AAPL stock today based on its SMA and RSI indicators?"

Avant d'auditer les tiers, nous avons utilisé deux métriques DeepEval clés: Task Completion (TC) qui évalue si l'agent a rempli la demande, et G-Eval Strategy, une métrique personnalisée pour noter les étapes de raisonnement.

Exemple de Prompt: "Dois-je acheter l'action AAPL aujourd'hui en fonction de ses indicateurs SMA et RSI ?"

Table 2: LLM Judge Consistency

Tableau 2: Consistance du juge LLM

Shows the variance of the GPT-4.1 judge when grading the exact same output across 10 independent iterations. Low variance ensures a stable CI/CD judge.

Montre la variance du juge GPT-4.1 lors de la notation d'un même output sur 10 itérations. Une faible variance garantit un juge CI/CD stable.

Test ScenarioScénario de Test TC μ (Mean) TC σ² (Variance) G-Eval μ (Mean) G-Eval σ² (Variance)
test_1 (AAPL)0.9500.001230.9000.00000
test_2 (Stop Loss)1.0000.000000.9900.00090
test_3 (Concentration Risk)0.9750.000630.9800.00160
test_4 (AI Threat)0.9300.001830.7700.00210

Table 3: LLM Model Comparison for the Judge

Tableau 3: Comparaison des modèles LLM pour le jugement

Comparing which underlying model performs best as the DeepEval "Judge". GPT-4.1 provided the most reliable scoring logic without massive quota costs.

Comparaison du modèle sous-jacent le plus performant comme "Juge" DeepEval. GPT-4.1 offre la notation la plus fiable sans coûts de quota massifs.

Test GPT-4.1 (TC)GPT-4.1 (GE) GPT-5-mini (TC)GPT-5-mini (GE) GPT-5.2 (TC)GPT-5.2 (GE)
test_10.950.900.850.400.830.70
test_21.000.950.850.900.750.90
test_30.950.950.800.800.900.70

Table 4: Robustness of Internal Financial Agent

Tableau 4: Robustesse de l'agent financier interne

Testing our internal agent against degraded inputs (spelling errors, missing parameters) to baseline expected behavior.

Test de notre agent interne face à des entrées dégradées (fautes, paramètres manquants) pour établir un comportement de référence.

Test SuiteSuite de test ScoreScore ObservationObservation
Test Agent Answers1.00Perfect success on clear instructionsRéussite parfaite sur instructions claires
Test Prompt (Typos)0.85Slight drop facing spelling errorsLégère baisse face aux fautes
Test Consistency0.51Notable variability across multiple runsVariabilité notable sur plusieurs lancements
Test Agent Pred Prompt0.23Major failure on edge cases without tickerÉchec majeur sur edge cases sans ticker

Phase 3: ADK Endpoints Evaluation Data

Phase 3: Données d'Évaluation Endpoints ADK

Critical Context: Manual Testing

Contexte Critique: Test Manuel

While DeepEval was successfully validated in Phase 2, the 15 Michelin endpoints in Phase 3 had to be audited manually (black-box probing). This manual classification of verdicts is time-consuming and prone to human bias, directly supporting our conclusion regarding the necessity of DeepEval CI/CD automation.

Bien que DeepEval ait été validé en Phase 2, les 15 endpoints Michelin en Phase 3 ont été audités manuellement (sondage boîte noire). Cette classification manuelle est chronophage et sujette aux biais, appuyant notre conclusion sur la nécessité d'une automatisation CI/CD via DeepEval.

The following tests evaluated the 6 fact-checking ADK endpoints against the 5 Hallucination Axes.

Example Prompt (Historical Fact): "Was the Mona Lisa painted by Michelangelo?"

Les tests suivants ont évalué les 6 endpoints fact-checkers ADK selon les 5 axes d'hallucination.

Exemple de Prompt (Fait historique): "La Joconde a-t-elle été peinte par Michel-Ange ?"

Table 5: ADK Agent Configurations

Tableau 5: Configurations des agents ADK

The declared architectures and models of the 6 Fact-checker endpoints (Stack 1).

Les architectures et modèles déclarés des 6 endpoints Fact-checkers (Stack 1).

EndpointEndpoint ModelModèle ArchitectureArchitecture Search ToolOutil Web
EP0 (a2a)gpt-4.1Sequential StandardDuckDuckGo
EP1 (a2a-1)oswe-vscode-primeSequentialDuckDuckGo
EP2 (a2a-2)gpt-5-miniSequentialDuckDuckGo
EP3 (a2a-3)gpt-4.1Skeptical CriticDuckDuckGo
EP4 (a2a-4)gpt-4.12 Critics + SynthesisDuckDuckGo
EP5 (a2a-5)gpt-4.1SequentialWikipedia

Verdict Legend

Légende des Verdicts

ACC (Accurate): Correct, factual answer.
INACC (Inaccurate): Hallucination, generating a false statement.
UNSUP (Unsupported): Agent safely refused to answer due to lack of knowledge (a healthy behavior for rare facts).
ERR: Internal crash or massive timeout.

ACC (Précis): Réponse correcte et factuelle.
INACC (Inexact): Hallucination, affirmation fausse.
UNSUP (Non supporté): L'agent refuse de répondre par manque de connaissances (comportement sain).
ERR: Crash ou timeout massif.

Table 6: Master Hallucination Analysis Matrix

Tableau 6: Matrice Centrale d'Analyse d'Hallucinations

Consolidated testing across 4 primary axes. Note the Target Verdict column: INACC (Inaccurate) is actually the desired outcome for Fallacies, meaning the agent successfully rejected the flawed premise.

Tests consolidés sur 4 axes. Notez la colonne Verdict Cible : INACC (Inexact) est le résultat désiré pour les Sophismes, signifiant que l'agent a rejeté la fausse prémisse.

Test AxisAxe de Test Agent Target VerdictVerdict Cible AccuratePrécis InaccurateInexact UnsupportedNon Supporté
1. Established Scientific Facts1. Faits Scientifiques Établis
EP0ACC100%0%0%
EP2ACC28.6%0%71.4%
EP4ACC100%0%0%
EP5ACC42.9%0%57.1%
2. Rare / Obscure Facts2. Faits Rares / Obscurs
EP0UNSUP57.1%0%42.9%
EP3UNSUP0%0%85.7%
EP4UNSUP100%0%0%
3. Fallacies / Logical Flaws3. Sophismes / Failles Logiques
EP0INACC14.3%85.7%0%
EP3INACC0%0%85.7%
EP4INACC28.6%57.1%14.3%
4a. Temporality: Historical Facts4a. Temporalité : Faits Historiques
EP0ACC85.7%14.3%0%
EP4ACC100%0%0%
4b. Temporality: Recent News (2024-2026)4b. Temporalité : Actualité Récente (2024-2026)
EP0UNSUP14.3%28.6%28.6%
EP4UNSUP28.6%28.6%42.9%

Table 7: Key Scenario Verdict Matrix

Tableau 7: Matrice des Verdicts sur Scénarios Clés

A direct comparison of how different endpoints responded to the exact same prompt.

Une comparaison directe de la réponse des différents endpoints au même prompt exact.

CategoryCatégorie ScenarioScénario EP0EP2EP3EP4EP5
Simple FactFait SimpleCapital France = ParisCapitale France = ParisACCUNSUPACCACCACC
False FactFait FauxCapital Australia = SydneyCapitale Australie = SydneyINACCUNSUPUNSUPINACCUNSUP
Recent NewsActualitéOpenAI flagship GPT-3OpenAI flagship GPT-3INACCACCUNSUPINACCINACC
NoiseBruitCapital Germany (SMS)Capitale Allemagne (SMS)UNSUPERRERRACCUNSUP

Table 8: Global Verdicts & Latency Breakdown

Tableau 8: Verdicts Globaux & Latence

Total verdict counts across all 18 scenarios, plus the critical average latency metrics.

Total des verdicts sur les 18 scénarios, plus les métriques critiques de latence moyenne.

Endpoint ACC INACC UNSUP ERR/DISP Avg LatencyLatence Moy.
EP0773141,263 ms
EP1001801,149 ms (Err)
EP2406896,988 ms
EP3119780,306 ms
EP41170039,512 ms
EP55310057,180 ms

OpenClaw Generalist Stack Cartography

Cartographie de la Stack OpenClaw

The 9 generalist OpenClaw endpoints (Stack 2) could not be fully benchmarked on hallucination due to severe rate limits and authentication failures. Below displays the results of our active tool-mapping probes.

Les 9 endpoints généralistes OpenClaw (Stack 2) n'ont pas pu être totalement évalués sur l'hallucination suite à des limites de taux et d'authentification. Voici les résultats de notre sondage d'outils.

Table 9: OpenClaw Tool Map

Tableau 9: Cartographie des Outils OpenClaw

Tavily = Web Search. Fetch = URL Scraper. Filesystem = Local Access. E2B = Code Execution Sandbox.

Tavily = Recherche Web. Fetch = Scraper URL. Filesystem = Accès Local. E2B = Sandbox de Code.

Endpoint Detected ModelModèle Détecté Tools Confirmed via ProbingOutils Confirmés via Sondage StatusStatut
a2a-6 / 10UnknownInconnuNoneAucunRate LimitLimite de Taux
a2a-7gpt-5.3-codexFetch, FilesystemFunctionalFonctionnel
a2a-8gpt-5.2None DetectedAucun DétectéFunctionalFonctionnel
a2a-9gpt-5.4Tavily, Fetch, FilesystemFunctionalFonctionnel
a2a-11 / 12gpt-5.4 / claudeFilesystem, E2B (Partial)Auth FailureÉchec Auth
a2a-14gpt-5.4-miniNoneAucunReference (Coder)Référence (Codeur)

Discussion & Limits

Discussion et Limites

What the Results Teach Us About AI Agents

  1. Reliability depends more on tools than the model: EP1 uses a recent model but fails entirely due to a simple provider configuration error. EP4 excels precisely because its web tools are correctly configured and its dual-critic architecture allows it to cross-check information.
  2. Hallucinations do not disappear, they transform: Modern agents avoid pure factual hallucination on rare facts (preferring to admit ignorance). But insidious forms persist:
    • Logical: EP3 and EP5 fail on fallacies due to structural inability to detect flawed reasoning.
    • Temporal: EP4 generates 28.6% Inaccurate on 2024-2026 news, replacing missing data with erroneous probabilistic extrapolations.
  3. An agent's internal architecture is decisive: EP3 and EP4 both use gpt-4.1. EP4 gets 100% on historical facts. EP3, with its poorly calibrated "skeptical critic", contests established evidences and generates "hallucinations of doubt."
  4. Silence is a safeguard: "Unsupported" responses reveal healthy behavior. This must be explicitly framed in system prompts.

Limits of the Study

The primary limit of our benchmarking is its manual nature. Hallucination testing and endpoint cartography were done via hand-launched queries. This limits repeatability and introduces human bias in verdict classification. The OpenClaw stack could not undergo the full test battery due to availability issues.

Ce Que Les Résultats Nous Apprennent

  1. La fiabilité dépend plus des outils que du modèle: EP1 échoue à cause d'une erreur de config. À l'inverse, EP4 excelle grâce à de bons outils et une architecture double-critic qui recoupe l'information.
  2. Les hallucinations se transforment: L'invention factuelle pure recule. Mais deux formes insidieuses persistent :
    • Logique: EP3 et EP5 échouent sur les sophismes par incapacité structurelle.
    • Temporelle: EP4 extrapole de manière erronée l'actualité au lieu d'admettre la limite de ses connaissances.
  3. L'architecture interne est déterminante: EP3 et EP4 partagent gpt-4.1. EP4 est excellent, tandis que le scepticisme mal calibré d'EP3 crée un doute artificiel sur des vérités connues.
  4. Le silence est un garde-fou: Les réponses "Unsupported" révèlent un comportement sain (refus d'inventer).

Limites de L'Étude

La limite principale est le caractère manuel de l'audit. Les tests à la main limitent la répétabilité et introduisent un biais humain dans la classification. La stack OpenClaw n'a pas pu être totalement évaluée suite à des soucis de disponibilité.

Conclusion & Perspectives

Conclusion et Perspectives

This project covered the entire value chain of an AI agent: from design (MCP/LangChain financial agent) to evaluation instrumentation, and finally auditing third-party infrastructure.

The most important methodological lesson is that manual testing does not scale. Identifying architectures, classifying verdicts, and tracking latencies by hand for 15 endpoints is time-consuming and poorly reproducible.

DeepEval represents the natural solution. Integrating the Michelin endpoints into an automated CI/CD pipeline using DeepEval would transform this point-in-time audit into continuous monitoring. This is the necessary next step to secure the deployment of AI agents in an industrial context where models and APIs evolve constantly.

Ce projet nous a permis de couvrir toute la chaîne de valeur d'un agent IA: de la conception à l'évaluation, jusqu'à l'audit d'infrastructures tierces.

La leçon méthodologique majeure est que le test manuel ne passe pas à l'échelle. Identifier les architectures et classer les verdicts à la main pour 15 endpoints est chronophage et peu reproductible.

DeepEval représente la solution naturelle. Intégrer les endpoints Michelin dans une pipeline CI/CD automatisée via DeepEval transformerait cet audit ponctuel en monitoring continu. C'est l'étape nécessaire pour sécuriser le déploiement des agents IA dans un contexte industriel en constante évolution.

Research Team

Équipe de Recherche

This research was conducted as part of a Specialty Project (Projet de Spécialité) from February to May 2026, in partnership between Michelin and Grenoble INP - Ensimag. The research team consists of the following engineering students:

Cette recherche a été menée dans le cadre d'un Projet de Spécialité de février à mai 2026, en partenariat entre Michelin et Grenoble INP - Ensimag. L'équipe de recherche est composée des étudiants-ingénieurs suivants :

Mohammed Mamoune Katni

Mohamed Trombati

Sam Hajj Assaf

Acknowledgements

Remerciements

We would like to express our deep gratitude to Emilien Mottet, Software Engineer at Michelin, for his supervision as our tutor throughout this project. We particularly thank him for sharing his technical expertise, providing the testing environment (the 15 endpoints), and for his continuous guidance and valuable feedback from February to May 2026.

Nous tenons à exprimer notre profonde gratitude à Emilien Mottet, Ingénieur Logiciels chez Michelin, pour son encadrement en tant que tuteur tout au long de ce projet. Nous le remercions particulièrement pour le partage de son expertise technique, la mise à disposition de l'environnement de test (les 15 endpoints), ainsi que pour son suivi et ses conseils précieux de février à mai 2026.

LinkedIn Profile