Le POC qui ne passe jamais en production et la vraie origine du blocage
La démonstration était bluffante, tout le monde a applaudi et six mois plus tard le projet n'a toujours pas vu un seul utilisateur réel. Ce scénario est tellement courant qu'il mérite qu'on en cherche la cause là où elle se trouve et pas là où on a l'habitude de la chercher.
Il y a une scène que j'ai vue se rejouer dans presque toutes les organisations qui se lancent dans l'intelligence artificielle. Une équipe construit une démonstration en quelques semaines, la présente en comité et la salle est conquise. Le modèle répond avec aisance, les exemples tombent juste et chacun repart en se disant que l'avenir vient de commencer. Puis les mois passent et la chose ne devient jamais un produit. Personne n'arrive vraiment à dire pourquoi.
La cause est presque toujours la même et elle n'a rien à voir avec le modèle.
La démonstration ment et ce n'est la faute de personne
Une démonstration réussie est, par construction, une mise en scène. On l'a préparée sur quelques cas choisis, avec des données qu'on a nettoyées à la main la veille, sur des questions dont on connaissait déjà les bonnes réponses. Rien de tout cela n'est malhonnête, c'est simplement la nature de l'exercice. Le problème est qu'une démonstration prouve qu'une chose est possible, pas qu'elle est tenable.
Le jour où il faut passer à l'échelle, la donnée propre de la veille redevient ce qu'elle est réellement, c'est-à-dire un ensemble de sources hétérogènes, incomplètes, contradictoires, mises à jour à des rythmes différents et documentées nulle part. Les questions des vrais utilisateurs ne ressemblent pas aux questions de la démonstration. Et le modèle qui paraissait si sûr de lui se met à produire des réponses plausibles sur des données qu'il n'aurait jamais dû traiter telles quelles.
Ce qu'on prend pour un problème de modèle est un problème de fondation
Quand un projet cale à ce stade, le réflexe est d'incriminer le modèle et d'en chercher un meilleur. C'est une fausse piste, parce que le modèle n'a jamais été le maillon faible. Le maillon faible est tout ce qui se trouve avant lui et qu'on a négligé pendant la phase séduisante du projet.
Faire passer une intelligence artificielle de la démonstration à la production, c'est essentiellement un travail de structuration de la donnée. Il faut savoir d'où vient chaque source et à quel point on lui fait confiance. Il faut définir le sens des termes métier pour que le système ne confonde pas deux notions qui portent le même nom dans deux services différents. Il faut un mécanisme qui permette de vérifier qu'une réponse est juste et de retrouver sur quelles données elle s'appuie. Rien de tout cela n'est spectaculaire et c'est précisément pour cette raison qu'on a tendance à le repousser après la démonstration, alors que c'est le vrai cœur du travail.
La discipline qui fait la différence
Ce qui sépare un projet qui livre d'un projet qui s'enlise tient à une inversion de priorité. Plutôt que de commencer par le modèle pour finir, peut-être, par s'occuper de la donnée, on commence par traiter la donnée comme le produit et le modèle devient une couche de restitution posée sur une base saine.
Concrètement, cela veut dire qu'on investit d'abord dans les dictionnaires sémantiques, la gouvernance et l'observation de la qualité, avant d'écrire la moindre ligne d'orchestration. Cela veut dire aussi qu'on accepte une première mise en production volontairement modeste, mais réelle, plutôt qu'une démonstration ambitieuse qui n'ira nulle part. Une version utilisable en quelques semaines, branchée sur le vrai système d'information et confrontée à de vrais utilisateurs, apprend en un mois ce qu'une démonstration parfaite ne révèle jamais. Et elle a le mérite de produire de la valeur observable dès le départ, ce qui change radicalement la dynamique de financement du projet à l'intérieur de l'organisation.
Le coût qu'on paie maintenant ou plus tard
Cette approche a un défaut, qu'il serait malhonnête de cacher. Elle coûte plus cher au début et elle est moins gratifiante, parce qu'on passe les premières semaines sur un travail invisible au lieu de produire un effet de manche. La récompense vient ensuite et elle vient surtout sous la forme d'un coût qu'on ne paie pas. On ne paie pas le POC qui traîne pendant un an sans jamais aboutir. On ne paie pas la réponse fausse présentée en comité de direction comme si elle était un fait. On ne paie pas la mise en conformité d'urgence quand on s'aperçoit, après coup, que personne ne savait par où passaient les données.
Un projet d'intelligence artificielle ne meurt presque jamais d'un mauvais modèle. Il meurt d'une fondation qu'on a remise à plus tard, jusqu'au moment où plus tard n'arrive jamais.
Un projet qui a brillé en démonstration et qui n'avance plus ? Le blocage est rarement là où on le cherche. Parlons-en.