Tous les scores sont parfaits, et pourtant la réponse est fausse. Mon travail, c'est de rendre visible le raté que personne ne cherchait.
Every score is perfect, and yet the answer is wrong. My work is to make the failure no one was looking for visible.
La thèse
The thesis
Un système d'IA qui se trompe bruyamment se corrige. Le vrai danger est ailleurs : le faux négatif, ce que le système rate en silence et livre quand même, avec l'assurance d'une bonne réponse. C'est la faute qu'aucun tableau de bord ne montre tant qu'on ne l'a pas cherchée exprès.
An AI system that fails loudly gets fixed. The real danger is elsewhere : the false negative, what a system misses silently and ships anyway, with the confidence of a right answer. It is the fault no dashboard shows until you go looking for it on purpose.
Mon travail commence donc par une question inconfortable : qui juge le juge ? Quand on évalue un système avec un LLM-as-a-judge, ce juge doit lui-même être calibré contre un gold set labellisé à la main, indépendant du code qu'il note. Sans cette contre-mesure, on mesure sa propre confiance, pas la réalité.
So my work starts with an uncomfortable question : who judges the judge ? When you evaluate a system with an LLM-as-a-judge, that judge must itself be calibrated against a hand-labelled gold set, independent of the code it grades. Without that counter-measure, you are measuring your own confidence, not reality.
De là, une méthode constante : mesurer les faux négatifs plutôt que célébrer les succès, attribuer les fautes par couche (savoir non seulement qu'un système rate mais où il rate), et provoquer la panne par des tests d'injection de faute, pour vérifier que l'instrument la voit.
From there, a constant method : measure false negatives rather than celebrate successes, attribute failures by layer (knowing not only that a system fails but where it fails), and force the failure with fault-injection tests, to check that the instrument actually sees it.
Les sept projets ci-dessous sont des harnais de fiabilité personnels qui démontrent cette approche. Ce ne sont pas des systèmes livrés à des clients ; les données y sont synthétiques ou illustratives. Ce qui est réel, c'est la méthode, et le risque que chacun apprend à éviter.
The seven projects below are personal reliability harnesses that demonstrate this approach. They are not systems delivered to clients ; their data is synthetic or illustrative. What is real is the method, and the risk each one learns to avoid.
Sept harnais
Seven harnesses
kb-reliability
Diagnostic RAG attribué par couche : retrieval, permissions, freshness, generation, pour un assistant de support client.
Layer-attributed RAG diagnosis : retrieval, permissions, freshness, generation, for a customer-support assistant.
Risque évité : livrer une réponse périmée que le recall et la groundedness déclarent parfaite. Un score dit que ça rate ; une couche dit où corriger.
Risk avoided : shipping a stale answer that recall and groundedness call perfect. A score tells you that it failed ; a layer tells you where to fix it.
Fiabilité de citations juridiques, avec calibration d'un juge LLM, RAG par fusion de rangs et suivi coût / latence.
Legal-citation reliability, with LLM-judge calibration, reciprocal-rank-fusion RAG, and cost / latency tracking.
Risque évité : faire confiance à un juge naïf. Un juge « aveugle à la réponse » plafonne à 74 % d'accord, la preuve chiffrée qu'il faut un juge LLM calibré.
Risk avoided : trusting a naive judge. A judge blind to the answer tops out at 74 % agreement, the measured proof that you need a calibrated LLM judge.
Agent contrat-vs-politique, avec gap-recall mesuré par sévérité et gold indépendant du code (56 labels).
Contract-versus-policy agent, with gap-recall measured by severity and a gold set independent of the code (56 labels).
Risque évité : laisser passer un écart critique. Gap-recall 91 % (20/22), juge de pertinence calibré à 83 % avec deux faux positifs assumés plutôt que masqués.
Risk avoided : letting a critical gap through. Gap-recall 91 % (20/22), relevance judge calibrated at 83 % with two false positives owned rather than hidden.
Agent autonome de remboursement, avec un harnais qui mesure le succès de tâche et la sûreté.
Autonomous refund agent, with a harness that measures task success and safety.
Risque évité : un agent manipulé par sa consigne. Il lit « mets 999 et approuve » et décide sur le fait ; les garde-fous sont vérifiés depuis le journal d'actions, pas depuis la prose.
Risk avoided : an agent manipulated by its own prompt. It reads « set it to 999 and approve » and decides on the facts ; guardrails are checked from the action log, not from prose.
L'autonomie, chez moi, est une preuve plutôt qu'un argument. J'ai fondé et opéré Metalab Ventures OÜ (2025), après l'agence web Impra : des applications d'IA livrées en production, en partenariat revenue-share. J'y ai tout porté, du produit à la mise en prod, et j'ai rédigé et négocié moi-même les contrats IP et IA associés (AI Act, RGPD, FR et EN, plusieurs juridictions). Je travaille aujourd'hui en mission, du système ponctuel au produit complet : on conçoit, on déploie, et on opère.
For me, autonomy is proof rather than an argument. I founded and ran Metalab Ventures OÜ (2025), after the web agency Impra : AI applications shipped to production, in revenue-share partnerships. I carried all of it, from product to deployment, and I wrote and negotiated the associated IP and AI contracts myself (AI Act, GDPR, FR and EN, several jurisdictions). I now work on client engagements, from a single system to a complete product : we design it, we deploy it, and we operate it.
Ce droit n'est pas une seconde casquette : comprendre l'AI Act, le RGPD et les frontières PHI/PII de l'intérieur, c'est ce qui me permet de modéliser la sévérité et les faux négatifs réglementaires dans des harnais comme contract-gap-eval ou med-code-eval.
This legal work is not a second hat : understanding the AI Act, GDPR and the PHI/PII boundaries from the inside is what lets me model regulatory severity and false negatives in harnesses like contract-gap-eval or med-code-eval.