Mesurer la valeur de l'IA : indicateurs, point de départ et pièges à éviter

Dans une direction financière, dans un fonds de capital investissement, dans un family office ou dans un cabinet d'expertise comptable, les projets d'intelligence artificielle se multiplient. Un outil qui aide à rédiger des notes d'analyse, un tri automatique des factures, un assistant qui prépare les réponses à un questionnaire de due diligence, c'est-à-dire de vérification approfondie d'une cible avant investissement, une extraction de clauses dans des contrats. Les équipes sont motivées, les démonstrations convainquent, les premiers retours sont enthousiastes. Puis arrive la question que tout dirigeant finit par entendre en comité : qu'est-ce que cela a réellement apporté ? Trop souvent, la réponse reste vague, parce que personne n'a mesuré quoi que ce soit avant le lancement.

Cette difficulté n'est pas propre à l'IA, mais elle y est amplifiée. Un logiciel de gestion remplace une étape précise, dont le coût est connu. Un modèle de langage, c'est-à-dire un programme capable de produire, de résumer ou de classer du texte à partir de consignes écrites, intervient plutôt dans une multitude de tâches intellectuelles dispersées, dont la durée varie d'une personne à l'autre et d'un dossier à l'autre. Le gain, lorsqu'il existe, est souvent diffus, parfois invisible dans les comptes, et parfois surestimé par ceux qui souhaitent y croire. Pour s'y retrouver, il faut partir d'une définition simple : un indicateur est une mesure suivie dans le temps et reliée à une décision précise. Les difficultés tiennent surtout à quelques écueils récurrents : l'absence de point de départ mesuré, c'est-à-dire d'état des lieux du processus avant tout changement, le choix d'indicateurs flatteurs mais peu utiles, et l'addition de gains qui se recouvrent entre eux.

Cet article propose une méthode pour limiter le risque de ces écueils. Cet article explique comment construire une ligne de base, c'est-à-dire la référence chiffrée d'avant projet, avant tout déploiement. Il présente comment choisir des indicateurs parmi les familles de mesure (temps et délais, coûts unitaires, qualité, adoption et risque), distinguer la valeur potentielle, estimée avant le projet, de la valeur réalisée, constatée après. Il présente comment rapporter des résultats au comité sans les surinterpréter, c'est-à-dire sans leur faire dire plus qu'ils ne disent, et éviter le double comptage, qui consiste à revendiquer plusieurs fois le même gain. Enfin, il explique pourquoi l'objectif chiffré ne se fixe qu'après le diagnostic. Aucune valeur cible ne figure dans ce texte, volontairement : chaque organisation a ses processus, ses contraintes et ses équipes, et une cible empruntée ailleurs ne dit rien de la situation réelle.

Pourquoi la valeur d'un projet IA est difficile à établir#

Un projet informatique classique a souvent une valeur facile à isoler : une saisie supprimée, un délai de traitement raccourci, un poste de travail qui n'a plus besoin d'être renouvelé. Un projet d'IA générative, c'est-à-dire un outil qui produit du texte, des synthèses, des classements ou des extractions à partir de consignes, modifie plutôt la manière dont un travail intellectuel est accompli. La valeur dépend alors de plusieurs facteurs qui interagissent : la qualité réelle des sorties, la façon dont les personnes s'approprient l'outil, et la transformation des règles de travail qui accompagne le changement.

Un gain réparti sur de nombreuses petites tâches#

Quand un collaborateur gagne un peu de temps sur chacune de ses tâches répétées, personne ne le remarque individuellement. Additionné sur toute une équipe, ce gain peut représenter une part du travail qu'il faut mesurer plutôt que supposer. Le piège est double : le gain est trop petit pour être perçu et trop dispersé pour être mesuré sans méthode. Il faut donc définir une unité de travail, c'est-à-dire l'objet stable que l'on compte, comme un dossier, une facture, une page de rapport ou une réponse à un appel d'offres, afin de pouvoir comparer ce qui se passe avant et après.

Le piège de la démonstration#

Une démonstration est conçue pour réussir. Elle s'appuie sur des cas choisis, des documents propres et une consigne soigneusement formulée. La production réelle est différente : documents incomplets, cas atypiques, consignes ambiguës, pression des échéances. Un résultat impressionnant en salle ne dit rien de la régularité des sorties sur une période de travail ordinaire. La mesure doit donc porter sur la production réelle, et non sur la démonstration.

Ce que le comité attend réellement#

Un comité de direction, un conseil d'administration ou un comité d'investissement ne cherche pas une statistique brillante. Il doit décider : poursuivre, étendre, corriger ou arrêter. Il veut savoir si l'investissement se compare favorablement à d'autres options, si les résultats sont fiables et si les risques restent sous contrôle. Une mesure utile est donc une mesure qui éclaire une décision. Avant de choisir le moindre indicateur, posez la question suivante : quelle décision cet indicateur doit-il permettre de prendre ?

Le point de départ mesuré et la ligne de base#

Ces notions structurent tout le reste. Le point de départ mesuré est l'état d'un processus avant tout changement, observé avec des méthodes précises et documentées. La ligne de base, appelée baseline dans les échanges anglo-saxons, est la référence à laquelle seront comparés les résultats : la valeur des indicateurs avant projet, figée à une date connue. Sans ligne de base, il n'existe aucune comparaison, seulement des impressions. Or une impression, même partagée par toute l'équipe, ne suffit pas à justifier un investissement.

Définir le périmètre#

Le périmètre précise quels processus, quelles équipes, quels clients internes ou externes et quels types de dossiers entrent dans la mesure. Un périmètre trop large dilue le signal, et un périmètre trop étroit rend toute généralisation impossible. Il est sain de commencer par un processus précis, dont l'entrée et la sortie sont identifiables. « La préparation des notes de synthèse pour le comité d'investissement » est un périmètre utilisable. « Améliorer le travail de la direction financière » ne l'est pas.

Définir l'unité de travail#

Une unité de travail doit être stable, observable et comparable d'une période à l'autre. Elle se définit par son point d'entrée, c'est-à-dire le moment où elle commence, et par son point de sortie, le moment où elle est terminée et utilisable. Pour une équipe comptable, l'unité peut être un dossier de clôture ou un rapprochement bancaire. Pour une équipe de due diligence, ce peut être une section d'un questionnaire. Si l'unité change en cours de route, les comparaisons deviennent fausses, et c'est l'une des erreurs les plus fréquentes.

Choisir les sources de données#

La ligne de base s'appuie sur des sources : journaux horodatés d'un outil de gestion de tickets, traces d'un logiciel métier, tableaux de suivi tenus par les équipes, échantillons relus à la main. Chaque source a ses angles morts. Un horodatage automatique est fiable sur ce qu'il enregistre, mais il ignore le travail réalisé hors système. Un tableau tenu à la main est riche en contexte, mais il dépend de la discipline de saisie. La bonne pratique consiste à croiser plusieurs sources et à documenter ce que chacune ne voit pas.

Figer et dater la ligne de base#

Une fois la ligne de base établie, il faut la figer : date de début de la mesure, règles de calcul, définitions des indicateurs, personnes chargées de la collecte. Toute modification ultérieure doit être tracée et justifiée. Reconstruire une ligne de base après coup est risqué, pour plusieurs raisons :

• La mémoire est sélective. Les équipes se souviennent des épisodes difficiles et oublient les journées ordinaires, ce qui biaise la référence.
• Le volume d'activité a pu changer. Comparer deux périodes de charge très différentes revient à comparer deux situations qui n'ont rien de commun.
• Les pratiques ont déjà évolué. Parfois en réaction au projet lui-même, ce qui fausse la référence avant même le début de l'expérimentation.

Les quatre familles d'indicateurs#

Un indicateur n'a de sens que rattaché à une décision et à une méthode de calcul écrite. Pour un projet d'IA, quatre familles couvrent l'essentiel : le temps et les délais, les coûts unitaires, la qualité de sortie, puis l'adoption et le risque. Ces familles se complètent. Un projet peut réduire un délai tout en dégradant la qualité, ou augmenter l'usage tout en exposant l'organisation à un risque nouveau. Les mesurer ensemble évite les conclusions partiellement vraies, qui sont souvent les plus trompeuses.

Temps et délais#

Le temps de cycle est la durée écoulée entre l'entrée d'une unité de travail dans le processus et sa sortie, prête à être utilisée. Il se distingue du temps d'effort, c'est-à-dire du temps réellement passé par une personne sur l'unité. Un dossier peut mobiliser un effort très court et rester longtemps dans une file d'attente. Le temps de cycle voit cette attente, alors que le temps d'effort ne la voit pas. Les deux sont utiles, mais ils répondent à des questions différentes.

La méthode est la suivante. Pour chaque unité, on relève la date d'entrée et la date de sortie, on calcule l'écart, puis on retient la médiane, c'est-à-dire la valeur en dessous de laquelle se situent les cas les plus courts et au-dessus de laquelle se situent les cas les plus longs. La moyenne serait tirée vers le haut par quelques cas exceptionnels. Il faut aussi observer la distribution, c'est-à-dire la forme complète des durées, car deux processus de même médiane peuvent présenter des cas extrêmes très différents. Enfin, on décompose le temps de cycle étape par étape pour repérer où il se perd.

• Le temps d'effort mesure la charge réelle de travail. Il est utile pour apprécier la capacité libérée, mais il ignore l'attente qui pèse sur le client interne ou sur le décideur.
• Le temps d'attente peut représenter la plus grande part du temps de cycle. Un outil qui accélère une étape n'a aucun effet si le dossier attend ensuite une validation qui, elle, n'a pas changé.
• Le temps de reprise est le temps passé à corriger une sortie avant de pouvoir l'utiliser. Il doit être compté dans le temps de cycle, sinon le gain apparent est artificiel.

Capacité libérée#

La capacité libérée est le volume de travail que l'organisation peut consacrer à d'autres activités grâce au projet. Elle se calcule à partir du temps économisé par unité, multiplié par le nombre d'unités traitées sur la période, puis multiplié par la part de ce temps effectivement réaffectée à une activité utile. Ce dernier facteur est décisif. Un temps gagné qui se dissout dans des tâches moins importantes, ou dans des réunions supplémentaires, ne crée pas de capacité libérée au sens économique. La mesure doit donc être accompagnée d'un suivi, même simple, de l'affectation du temps.

Coûts unitaires#

Le coût unitaire de traitement est le coût total d'un processus sur une période, divisé par le nombre d'unités traitées sur cette même période. Il est utile parce qu'il ramène des dépenses hétérogènes à une référence unique et comparable. Pour être fiable, le coût total doit inclure le temps chargé du personnel, c'est-à-dire le coût complet du travail, charges comprises, rapporté aux heures effectivement travaillées. Il doit aussi intégrer les licences, l'infrastructure, la supervision, la formation et la reprise. Certains projets ne comptent que les licences et affichent ainsi un coût unitaire trompeusement bas. La règle de cohérence est simple : la période du coût total et la période du volume doivent être identiques.

• Les coûts directs regroupent le temps du personnel affecté au processus, les licences et l'infrastructure. Ils sont les plus faciles à relever, mais ils ne suffisent pas.
• Les coûts de supervision et de formation correspondent au temps passé à encadrer l'usage, à former les nouveaux arrivants et à mettre à jour les consignes. Ils apparaissent après le lancement et sont souvent oubliés.
• Les coûts de reprise sont le travail ajouté pour corriger, compléter ou vérifier les sorties. Ils peuvent annuler une partie du gain de productivité si on ne les mesure pas.

Qualité de sortie#

La qualité de sortie mesure la conformité du résultat produit aux critères attendus. Elle se définit au préalable par une grille : complétude, exactitude des faits, présence des sources, respect des règles internes, ton et format. Chaque critère est évalué selon une échelle simple, par exemple conforme ou non conforme, ou selon des niveaux de gravité si toutes les erreurs ne se valent pas. La méthode de référence consiste à tirer au hasard un échantillon de sorties et à le faire évaluer par une personne qui n'a pas participé à leur production. Les indicateurs qui en découlent sont la proportion de sorties acceptées sans modification, la répartition des corrections par type et la gravité des erreurs relevées.

Un processus manuel n'est pas parfait non plus. La question utile n'est donc pas de savoir si la qualité atteint un idéal abstrait, mais si elle est au moins équivalente à la ligne de base, et dans quels types de dossiers elle se dégrade.

Adoption et risque#

Le taux d'adoption est la part des personnes éligibles qui utilisent réellement l'outil sur une période donnée, selon un critère d'usage défini à l'avance. Son calcul est direct : nombre d'utilisateurs actifs selon ce critère, rapporté au nombre d'utilisateurs éligibles. Le piège tient à la définition du mot « actif ». Une simple connexion ne prouve rien. Un usage utile se mesure par des actions concrètes : une sortie validée, un document produit et transmis, un vrai dossier traité.

L'indicateur de risque mesure l'exposition de l'organisation à un risque identifié : sorties utilisées sans vérification, documents comportant des informations sensibles transmis à un outil non autorisé, affirmations non sourcées reprises dans un livrable, dépendance excessive à un seul prestataire. Il se calcule en comptant les événements signalés ou détectés, rapportés au volume d'activité. Ce rapport permet de vérifier qu'un risque ne paraisse pas faible simplement parce que l'activité a baissé.

L'indicateur d'alerte est un signal qui déclenche une action prédéfinie lorsqu'il franchit un seuil fixé à l'avance. Il se distingue de l'indicateur de risque : le premier mesure l'exposition, le second déclenche la réaction. Le seuil doit être décidé par la gouvernance du projet, et non par l'équipe qui le porte. Il doit être établi après le diagnostic, en s'appuyant sur la ligne de base. Un seuil sans procédure associée n'est qu'une couleur sur un tableau de bord.

Tableau de synthèse des indicateurs#

Valeur potentielle et valeur réalisée#

Ces notions doivent être distinguées avec rigueur, car les confondre est sans doute l'erreur la plus coûteuse dans un dossier d'investissement.

La valeur potentielle est une estimation de l'apport qu'un projet peut produire, construite à partir du diagnostic et d'hypothèses explicites, avant ou pendant le déploiement. Elle répond à la question suivante : si l'outil était utilisé comme prévu, par toutes les personnes concernées et sur tous les dossiers éligibles, quel serait l'effet ?

La valeur réalisée est l'apport effectivement constaté après le déploiement, mesuré par comparaison à la ligne de base, avec la même méthode de calcul que celle du diagnostic. Elle répond à une question différente : que s'est-il réellement passé dans l'organisation ?

Pourquoi les deux ne se confondent jamais#

La valeur potentielle est une hypothèse, alors que la valeur réalisée est une observation. Le tableau suivant résume les différences.

Analyser l'écart#

Il arrive le plus souvent que la valeur réalisée soit inférieure à la valeur potentielle. Cet écart n'est pas un échec en soi : c'est une information. Il se décompose en causes identifiables : adoption plus faible qu'attendu, qualité moins bonne sur certains types de dossiers, temps de reprise sous-estimé, processus en aval inchangé qui absorbe le gain. Une analyse de l'écart qui isole ces causes est bien plus précieuse qu'un chiffre final unique, car elle indique ce qu'il faut corriger.

Présenter les deux sans les mélanger#

Dans tout document destiné au comité, les deux valeurs doivent apparaître sur des lignes séparées, avec des libellés explicites. Les hypothèses de la valeur potentielle doivent être listées avec leur source. Une présentation qui affiche un montant unique, sans précision, invite à le lire comme un résultat acquis, alors qu'il ne s'agit que d'une estimation.

Transformer le temps gagné en valeur sans l'inventer#

La valorisation monétaire du temps est une étape tentante, car elle permet de comparer un projet à d'autres investissements. Elle est aussi la plus exposée aux dérives. Le principe est simple : on mesure d'abord des grandeurs physiques (temps, volume, qualité, taux d'usage), puis on applique une valorisation distincte, dont on précise l'origine.

Temps théorique et temps effectif#

Le temps théorique est celui que l'outil est censé faire gagner, d'après les tests ou la démonstration. Le temps effectif est celui qui s'observe en production, après prise en compte de l'adoption, des reprises et de l'attente. Il est en général inférieur au premier. Valoriser le temps théorique revient à valoriser une situation qui n'existe pas encore.

Le coût horaire chargé#

Pour valoriser un temps, on utilise généralement le coût horaire chargé, c'est-à-dire le coût complet du travail d'une personne, charges comprises, rapporté à ses heures effectives. Il doit être défini par la direction financière selon une règle stable, afin de ne pas varier d'un dossier à l'autre. Une valorisation construite par l'équipe projet, sans validation externe, risque de perdre sa crédibilité auprès du comité.

Ce que la valorisation ne prouve pas#

Un temps valorisé n'est pas une économie. Une économie suppose qu'une dépense disparaisse : un poste non renouvelé, une prestation non commandée, une dépense évitée. Une capacité libérée ne devient une économie que si elle se traduit en décision concrète. C'est pourquoi les rapports doivent distinguer les gains de capacité, les économies de coûts et les effets sur le chiffre d'affaires ou sur la qualité de service, sans jamais les additionner sans précaution.

Revue humaine et échantillonnage : mesurer sans se mesurer soi-même#

Usages de la revue humaine#

La revue humaine désigne la vérification d'une sortie par une personne compétente. Elle sert à des fins très différentes. Dans la production courante, c'est un contrôle : aucune sortie non vérifiée ne doit partir vers un client ou arriver devant un comité. Pour la mesure, elle devient un instrument d'évaluation. Le piège consiste à confondre ces deux rôles. Si le relecteur corrige la sortie avant de la noter, l'indicateur de qualité mesure en réalité sa capacité à réparer, et non celle de l'outil. Il faut donc séparer la relecture de contrôle, qui corrige, de la relecture de mesure, qui se contente de noter selon la grille, sur un échantillon constitué à part.

Échantillonnage#

L'échantillonnage consiste à sélectionner un sous-ensemble de sorties pour estimer les propriétés de l'ensemble. Il est indispensable, car relire la totalité des sorties n'est généralement pas réaliste. Quelques principes doivent guider le choix :

• Le tirage au hasard. Chaque unité a la même chance d'être sélectionnée. C'est le seul moyen d'éviter que la personne qui constitue l'échantillon ne retienne, consciemment ou non, les cas les plus favorables.
• La stratification. La population est découpée en groupes homogènes, par exemple par type de dossier ou par niveau de complexité, et l'on échantillonne dans chacun d'eux. Sans cela, un type de dossier rare peut disparaître de la mesure.
• La taille adaptée. La taille de l'échantillon dépend de la variabilité du phénomène mesuré et de la précision recherchée. Plus les cas sont hétérogènes, plus il faut en relire. Un résultat fondé sur un petit nombre de cas doit être présenté avec ses limites.

Le danger le plus courant consiste à relire surtout les cas faciles, parce qu'ils sont rapides à traiter. La qualité paraît alors excellente, alors qu'elle ne l'est que sur les dossiers simples.

Comparer avant et après, avec un groupe témoin#

La comparaison avant après confronte les indicateurs mesurés avant le déploiement à ceux mesurés après. Elle est simple à mettre en place et souvent suffisante pour un premier pilotage. Elle attribue toutefois à l'outil tout ce qui change entre les deux moments, y compris ce qui n'a rien à voir avec lui.

Le groupe témoin est un ensemble de personnes ou de dossiers comparables qui continuent à travailler sans l'outil, pendant que le groupe traité l'utilise. La différence entre les deux groupes donne une estimation plus solide de l'effet propre du projet, car elle neutralise une partie des changements communs.

Un biais est une distorsion systématique qui fausse la mesure dans un sens donné. La comparaison simple en présente plusieurs :

• La saisonnalité, c'est-à-dire les variations liées au calendrier. Les périodes de clôture, de reporting ou de fin d'exercice modifient les volumes et la nature du travail. Comparer deux moments différents de l'année revient à comparer deux activités différentes.
• L'effet de nouveauté. Au début d'un déploiement, les équipes sont plus attentives, plus motivées et plus disponibles pour expérimenter. Les performances peuvent ensuite baisser, ou se stabiliser à un niveau différent de celui des premiers temps.
• L'effet d'observation. Une personne qui sait qu'elle est mesurée modifie sa manière de travailler. La mesure elle-même change le processus observé.
• Les changements simultanés. Nouvelle organisation, recrutement, nouvel outil métier, évolution des clients ou de la réglementation : chacun peut expliquer une partie de l'évolution observée.

Constituer un groupe témoin#

Plusieurs méthodes existent. Le déploiement échelonné consiste à introduire l'outil par vagues successives : les équipes qui ne l'ont pas encore reçu servent de référence à celles qui l'utilisent déjà. L'attribution par tirage au sort, lorsqu'elle est acceptable, est en principe la plus solide, car elle tend à rendre les groupes comparables sur les caractéristiques connues comme sur celles qui ne le sont pas. Pour un petit projet, un groupe témoin informel reste utile : une équipe continue avec la méthode existante pendant une période fixée à l'avance. Dans tous les cas, le groupe témoin doit être défini avant le lancement, et non choisi après coup pour arranger le résultat.

Éviter le double comptage#

Le double comptage consiste à attribuer le même gain à plusieurs indicateurs, à plusieurs projets ou à plusieurs lignes d'un bilan de valeur. C'est un problème fréquent, parce que les gains d'un projet d'IA sont liés entre eux : une même tâche peut être accélérée, moins reprise et mieux documentée à la fois. Chacune de ces améliorations est réelle, mais elles ne s'additionnent pas toutes.

Situations typiques#

Quelques situations reviennent systématiquement :

• Un temps de traitement réduit est compté une première fois dans le temps gagné, une seconde fois dans les économies de coûts unitaires, puis une nouvelle fois dans la capacité libérée. Il ne s'agit pourtant que d'un seul gain, vu sous plusieurs angles.
• Une seconde automatisation, ajoutée sur un processus déjà automatisé, revendique la totalité de la réduction de délai, alors que le gain global ne peut être attribué qu'une seule fois.
• Une amélioration de la qualité est comptée comme économie de reprise, alors qu'elle est déjà prise en compte dans le coût unitaire de traitement, qui inclut justement la reprise.

Une méthode de contrôle#

Plusieurs règles permettent de maîtriser le problème :

• Construire un arbre de valeur. On part du gain total attendu et on le décompose en gains élémentaires. Chaque gain élémentaire n'a qu'un seul parent, c'est-à-dire un seul niveau supérieur auquel il est rattaché.
• Choisir une unité de compte unique. Il s'agit de la grandeur commune dans laquelle tous les gains sont exprimés, qu'il s'agisse d'heures, d'euros ou d'unités de production. La conversion d'une unité à l'autre doit être documentée.
• Attribuer chaque gain à un seul projet. Une règle de propriété indique quel projet revendique quel gain. Si deux projets agissent sur le même processus, la part commune est présentée à part.
• Tenir une matrice de contribution. Les lignes représentent les projets, les colonnes représentent les gains. On vérifie qu'aucun gain n'est revendiqué à deux endroits.
• Isoler les effets combinés. Quand plusieurs projets produisent ensemble un effet qu'aucun ne produit seul, cet effet doit apparaître dans une ligne distincte, sans être réparti arbitrairement.

Recouvrements fréquents#

Les indicateurs de vanité#

Un indicateur de vanité est un chiffre qui progresse facilement, flatte celui qui le présente, mais ne dit rien de la valeur créée. Il existe parce qu'il est simple à produire et qu'il rassure. Il devient dangereux lorsqu'il occupe la place des indicateurs utiles dans les tableaux de bord.

Les exemples sont nombreux :

• Le nombre de documents générés. Il mesure la production de l'outil, et non la qualité ni l'utilité des documents. Un document inutilisé compte autant qu'un document décisif.
• Le nombre de comptes créés. Il mesure l'intérêt initial, et non l'usage. Un compte dormant représente un coût, pas un actif.
• Le nombre d'heures de formation dispensées. Il mesure l'effort de formation, et non la compétence acquise ni son application au travail.
• Le nombre de requêtes posées. Il mesure l'activité, et non la pertinence des réponses ni leur reprise.

Un test simple permet de les repérer. À quelle décision sert cet indicateur ? Et que ferait-on si sa valeur baissait nettement ? Si la réponse est vague, l'indicateur est probablement un indicateur de vanité.

Pour le remplacer, on cherche l'indicateur relié par une chaîne de causes. Le nombre de documents générés se remplace par la proportion de documents acceptés sans correction, et le nombre de comptes créés par le taux d'adoption selon un critère d'usage concret.

Fixer l'objectif chiffré après le diagnostic#

C'est souvent la première question posée : quel est l'objectif ? Il est pourtant prématuré d'y répondre avant d'avoir établi la ligne de base. Un objectif fixé avant le diagnostic repose sur une intuition, parfois sur un chiffre entendu ailleurs ou sur une présentation commerciale. S'il est trop ambitieux, l'équipe risque de contourner la mesure. S'il est trop modeste, le projet n'est jamais tiré vers le haut.

La séquence qui fonctionne#

L'ordre recommandé est le suivant : cadrage de la décision, diagnostic du processus, ligne de base figée, hypothèses documentées, estimation de la valeur potentielle, définition des seuils d'alerte, puis fixation de l'objectif par le comité. Chaque étape fournit à la suivante la matière dont elle a besoin. L'objectif devient alors une décision fondée sur le diagnostic, et non un vœu.

Objectif de résultat et objectif de pilotage#

Un objectif de résultat porte sur un indicateur de valeur, par exemple le coût unitaire de traitement. Un objectif de pilotage porte sur une condition nécessaire, par exemple le niveau de formation effective des utilisateurs ou le respect d'une grille de relecture. Les deux doivent être fixés, mais le second est souvent plus utile au départ, car il prépare le premier. Un objectif de résultat posé trop tôt, sans processus de mesure stable, ne peut produire que de la mauvaise information.

Fixer une cible sans la figer#

Une cible utile se formule comme une relation avec la ligne de base, accompagnée d'une règle de révision. Le comité doit savoir ce qui justifie la cible et à quel moment elle sera réexaminée, notamment si les hypothèses sur l'adoption ou sur la qualité se révèlent fausses. La valeur chiffrée elle-même relève de la gouvernance, après diagnostic, et non de l'équipe qui porte le projet.

Reporter au comité sans surinterpréter#

La surinterprétation consiste à tirer d'une mesure des conclusions qu'elle ne permet pas de soutenir. Elle est très tentante, parce que les équipes projet ont besoin de montrer que leur travail a porté ses fruits, et que les comités attendent des conclusions nettes. Un bon rapport tient ensemble la clarté et la prudence.

La structure d'un rapport honnête#

Un rapport au comité gagne à suivre un ordre simple :

• La question de décision. Quelle décision le comité doit-il prendre, et sur quelle base ?
• Le périmètre et la période. Ce qui a été mesuré, sur quelle période et sur quelles unités de travail.
• La méthode. Sources, définitions, échantillon, groupe témoin éventuel, règles de calcul.
• Les résultats. Indicateurs de chaque famille, présentés avec leur distribution et leur intervalle d'incertitude, c'est-à-dire la plage de valeurs plausibles autour de la mesure, qui traduit ce que l'échantillon permet d'affirmer sur l'ensemble.
• Les limites. Ce que la mesure ne permet pas d'affirmer, les biais possibles, les cas non couverts.
• Les décisions proposées. Poursuivre, étendre, corriger ou arrêter, avec les conditions associées.

Les erreurs de présentation les plus courantes#

• Présenter une moyenne seule. Une moyenne cache souvent des cas très différents. Il faut montrer la médiane et la distribution.
• Confondre corrélation et causalité. Une corrélation est une simple concordance entre deux grandeurs ou deux événements. Une causalité suppose qu'une cause produit effectivement son effet. Une amélioration observée après le déploiement n'est pas forcément due au déploiement. Sans groupe témoin, il faut le dire.
• Présenter la valeur potentielle comme réalisée. La différence est fondamentale, et les membres du comité la retiendront.
• Généraliser à partir d'un périmètre partiel. Un résultat obtenu sur une équipe ne vaut pas pour l'ensemble de l'organisation.
• Changer la définition en cours de route. Si un indicateur est modifié, il faut expliquer pourquoi et recalculer les séries précédentes.
• Omettre les cas d'échec. Les dossiers mal traités sont la source la plus précieuse d'enseignements.

Écrire sans adjectif#

Une phrase du type « le projet a transformé le fonctionnement de l'équipe » ne se vérifie pas. Une phrase du type « sur l'échantillon relu, la proportion de sorties acceptées sans correction s'est améliorée par rapport à la ligne de base, avec un intervalle d'incertitude large sur les dossiers complexes » se vérifie. Le ton doit rester sobre. Les adjectifs, qu'ils soient enthousiastes ou alarmistes, signalent presque toujours une conclusion qui dépasse la donnée.

Gouvernance, risques et cadre réglementaire#

La mesure de la valeur ne peut pas être séparée de la mesure des risques. Un projet qui augmente la productivité en exposant l'entreprise à des erreurs non détectées n'a pas créé de valeur nette. Les indicateurs de risque et d'alerte présentés plus haut servent précisément à établir ce bilan complet.

Sur le plan réglementaire, le règlement européen sur l'intelligence artificielle fournit une grille de lecture utile, dont le contenu et le calendrier d'application sont à confirmer avec un juriste. Ses obligations précises doivent être vérifiées avec un juriste, et la classification de chaque cas d'usage doit être documentée. Plusieurs principes en ressortent, qui se traduisent directement dans la mesure :

• L'approche par niveau de risque. Les obligations dépendent de l'usage et de son impact potentiel. Un outil de rédaction interne a en général un poids réglementaire moins élevé qu'un outil qui influence une décision concernant une personne, à vérifier au cas par cas avec un juriste.
• La transparence. Les personnes concernées peuvent devoir être informées qu'elles interagissent avec un système d'IA, ou qu'un contenu a été produit ou modifié par un tel système, dans les cas prévus par le texte, à confirmer avec un juriste.
• La supervision humaine. Dans les cas où le texte l'impose, une personne compétente devrait pouvoir comprendre la sortie, la contrôler et, si nécessaire, la corriger ou l'écarter. La revue humaine décrite plus haut en est une application concrète.
• La traçabilité. Selon le niveau de risque de l'usage, l'organisation peut devoir reconstituer ce qui s'est passé, point à confirmer avec un juriste : données utilisées, outil et version, décision humaine prise. Sans traçabilité, l'audit et la mesure deviennent difficiles à conduire.

Concrètement, la traçabilité alimente la ligne de base, la supervision humaine structure la relecture, la transparence se reflète dans l'adoption, et l'approche par niveau de risque oriente le choix des indicateurs de risque.

Les pièges à éviter#

Une méthode en étapes#

Cadrer la décision#

Commencez par la question que le comité devra trancher, puis fixez le périmètre, l'unité de travail et les sources. Une mesure qui ne répond à aucune question ne sert à rien, même si elle est rigoureuse.

Construire le point de départ#

Mesurez le processus avant le changement, figez les définitions, datez la ligne de base et documentez les sources ainsi que leurs angles morts. Cette étape est la moins spectaculaire, et c'est pourtant celle qui conditionne la crédibilité de tout le reste.

Choisir les indicateurs par famille#

Retenez au moins un indicateur dans chacune des quatre familles : temps et délais, coûts unitaires, qualité, adoption et risque. Ainsi, les gains observés sur une dimension ne masquent pas les pertes survenues sur une autre.

Estimer la valeur potentielle#

Écrivez les hypothèses, leurs sources et leurs incertitudes, puis présentez une estimation avec son périmètre. Les gains qui se recouvrent doivent être retirés avant l'addition finale.

Mesurer la valeur réalisée#

Appliquez la même méthode en production, sur un échantillon tiré au hasard ou stratifié, avec une revue humaine distincte de la relecture de contrôle, et avec un groupe témoin lorsque c'est possible.

Relire, comparer, décider#

Analysez l'écart entre valeur potentielle et valeur réalisée, présentez les limites de la mesure, proposez une décision, puis fixez si besoin les seuils d'alerte et les objectifs de pilotage.

Glossaire#

• Point de départ mesuré : état d'un processus avant tout changement, observé avec une méthode documentée et figé à une date connue.
• Ligne de base (baseline) : référence des indicateurs avant projet, à laquelle les résultats ultérieurs sont comparés.
• Unité de travail : objet stable que l'on compte, avec un point d'entrée et un point de sortie clairement définis.
• Temps de cycle : durée entre l'entrée d'une unité de travail dans un processus et sa sortie, prête à être utilisée. Il inclut l'attente.
• Temps d'effort : temps réellement passé par une personne sur une unité de travail, attente exclue.
• Temps de reprise : temps consacré à corriger ou compléter une sortie avant de pouvoir l'utiliser.
• Médiane : valeur qui partage une série en deux parties, l'une de valeurs inférieures et l'autre de valeurs supérieures. Elle est plus robuste que la moyenne face aux cas extrêmes.
• Distribution : forme complète d'une série de mesures, qui montre la fréquence de chaque niveau et pas seulement une valeur moyenne.
• Capacité libérée : volume de travail que l'organisation peut consacrer à d'autres activités grâce au projet, à condition que ce temps soit réellement réaffecté.
• Coût unitaire de traitement : coût total d'un processus sur une période, divisé par le nombre d'unités traitées sur la même période.
• Coût horaire chargé : coût complet du travail d'une personne, charges comprises, rapporté à ses heures effectives.
• Qualité de sortie : degré de conformité d'un résultat, produit par un outil ou par une personne, aux critères définis à l'avance.
• IA générative : famille d'outils capables de produire du texte, des images ou des données structurées à partir de consignes.
• Modèle de langage : programme entraîné sur de grandes quantités de texte, capable de produire, résumer ou classer du texte à partir de consignes écrites.
• Taux d'adoption : part des personnes éligibles qui utilisent réellement un outil, selon un critère d'usage défini à l'avance.
• Indicateur de risque : mesure de l'exposition de l'organisation à un risque identifié, rapportée au volume d'activité.
• Indicateur d'alerte : signal qui déclenche une action prévue lorsqu'il dépasse un seuil fixé à l'avance par la gouvernance.
• Double comptage : attribution du même gain à plusieurs indicateurs, projets ou lignes de valeur.
• Arbre de valeur : décomposition du gain total attendu en gains élémentaires, chacun rattaché à un seul niveau supérieur.
• Unité de compte : grandeur commune dans laquelle tous les gains sont exprimés, comme des heures, des euros ou des unités de production.
• Matrice de contribution : tableau dont les lignes sont les projets et les colonnes les gains, destiné à vérifier qu'aucun gain n'est revendiqué deux fois.
• Indicateur de vanité : indicateur facile à produire et flatteur, qui ne renseigne pas sur la valeur créée.
• Groupe témoin : ensemble de personnes ou de dossiers comparables qui continuent à travailler sans l'outil, et qui sert de référence.
• Déploiement échelonné : introduction progressive d'un outil par vagues successives, qui permet de comparer les équipes déjà équipées à celles qui ne le sont pas encore.
• Comparaison avant après : confrontation des indicateurs mesurés avant et après un changement. Elle est simple, mais exposée à de nombreux biais de contexte.
• Biais : distorsion systématique qui fausse une mesure dans un sens donné, sans que cela se voie dans chaque donnée prise isolément.
• Saisonnalité : variations de l'activité liées au calendrier, comme les périodes de clôture ou de fin d'exercice.
• Corrélation : concordance statistique entre deux grandeurs, qui ne prouve pas à elle seule qu'il existe un lien de cause à effet.
• Causalité : relation dans laquelle une cause produit effectivement un effet.
• Échantillonnage : sélection d'un sous-ensemble d'unités pour estimer les propriétés de l'ensemble.
• Stratification : découpage de la population en groupes homogènes, dans chacun desquels on échantillonne.
• Revue humaine : vérification d'une sortie par une personne compétente, qui peut servir de contrôle en production ou d'instrument de mesure.
• Valeur potentielle : estimation de l'apport qu'un projet peut produire, fondée sur le diagnostic et sur des hypothèses explicites.
• Valeur réalisée : apport effectivement constaté après déploiement, par comparaison à la ligne de base.
• Intervalle d'incertitude : plage de valeurs plausibles autour d'une mesure, qui traduit ce que l'échantillon permet d'affirmer sur l'ensemble.
• Surinterprétation : conclusion tirée d'une donnée qui ne permet pas de la soutenir.
• Approche par niveau de risque : principe selon lequel les obligations réglementaires dépendent de l'usage et de son impact potentiel.

Checklist à imprimer#

• La question de décision est écrite et validée par le comité
• Le périmètre du processus est délimité, avec une entrée et une sortie identifiables
• L'unité de travail est définie et reste stable dans le temps
• Les sources de données sont listées, avec leurs angles morts
• La ligne de base est mesurée, datée et figée
• Au moins un indicateur est retenu dans chacune des quatre familles
• Le coût unitaire inclut personnel chargé, licences, supervision, formation et reprise
• Un critère d'usage concret est défini pour le taux d'adoption
• La grille de qualité est rédigée et partagée avant les premières mesures
• L'échantillon est tiré au hasard ou stratifié
• Le relecteur de mesure est distinct du relecteur de contrôle
• Le groupe témoin est défini avant le lancement, ou ses limites sont expliquées
• Les hypothèses de la valeur potentielle sont listées avec leurs sources
• L'arbre de valeur est établi et la règle de propriété des gains est appliquée
• La matrice de contribution est vérifiée, sans gain revendiqué à deux endroits
• Les indicateurs de vanité sont identifiés et remplacés
• Les seuils d'alerte sont fixés par la gouvernance, après le diagnostic
• L'objectif chiffré est fixé par le comité, après la ligne de base
• La valeur potentielle et la valeur réalisée sont présentées séparément
• Les intervalles d'incertitude et les limites figurent dans le rapport
• Les cas d'échec sont documentés et présentés
• La vérification réglementaire est confiée à un juriste pour les cas d'usage sensibles

Questions fréquentes#

Faut-il attendre la fin du projet pour commencer à mesurer ?#

Non. La ligne de base doit être établie avant le déploiement, et la mesure doit démarrer dès les premiers usages. Attendre la fin du projet fait perdre la référence et empêche de distinguer ce qui relève de l'outil de ce qui relève du reste.

Peut-on mesurer la valeur d'un projet sans outil d'analyse sophistiqué ?#

Oui. Un tableur bien structuré, une grille de relecture partagée et un échantillon tiré au hasard peuvent suffire pour un premier pilotage, dans les limites documentées. La rigueur tient à la définition des indicateurs et à la discipline de collecte, et non à la sophistication des outils d'analyse.

Quelle durée de mesure retenir ?#

La période doit être assez longue pour couvrir les variations normales de l'activité, y compris les pics saisonniers, et assez courte pour que la mesure reste pertinente. Elle se fixe avant le lancement, en fonction du cycle du processus étudié, et ne se modifie pas en cours de route pour arranger le résultat.

Un groupe témoin est-il indispensable pour un petit projet ?#

Non, mais son absence doit être dite. Sans groupe témoin, la comparaison avant après reste possible, à condition de présenter ses limites : saisonnalité, effet de nouveauté, changements simultanés. Un groupe témoin informel, même imparfait, aide déjà à mieux situer les résultats.

Que faire si la valeur réalisée est inférieure à la valeur potentielle ?#

Il ne faut ni conclure trop vite à un échec, ni masquer l'écart. Il faut analyser ses causes : adoption, qualité sur certains types de dossiers, reprise, processus en aval inchangé. Cette analyse oriente les corrections et permet au comité de décider en connaissance de cause : poursuivre, corriger ou arrêter.

Conclusion#

Mesurer la valeur d'un projet d'intelligence artificielle n'est pas une opération technique réservée aux spécialistes. C'est une discipline de décision. Elle commence par une question précise, se nourrit d'un point de départ mesuré et d'une ligne de base figée, s'appuie sur quatre familles d'indicateurs complémentaires, et se protège contre les indicateurs de vanité, le double comptage et la surinterprétation. Elle distingue la valeur potentielle, qui est une hypothèse, de la valeur réalisée, qui est une observation, et elle ne fixe l'objectif chiffré qu'une fois le diagnostic achevé.

Le fil conducteur est simple : une mesure n'a de valeur que si elle permet de décider, et une décision n'est solide que si elle s'appuie sur une méthode connue de tous. Les méthodes présentées ici ne promettent aucun résultat particulier. Elles permettent en revanche de savoir ce que l'on sait, ce que l'on ne sait pas encore, et ce qu'il faudrait mesurer pour le savoir. Pour les cas d'usage touchant à des décisions sur des personnes, à des données sensibles ou à des obligations réglementaires, la vérification avec un juriste reste indispensable.