L’IA générative ne va rien changer à l’industrie

L’IA générative ne va probablement pas révolutionner l’industrie

Il semble que les trois quarts des chefs d’entreprises ont peur de rater le train de l’IA et pensent que leur entreprise gagnerait à utiliser des IA génératives.

Je ne suis pas sûr qu’il faille accorder beaucoup de crédit à cette statistique, mais elle illustre la hype énorme et souvent injustifiée qui entoure les LLMs comme ChatGPT, y compris dans le monde professionnel. Je suppose que l’idée doit être la suivante: “Il y a une révolution en marche, on est déjà en retard sur l’informatisation de notre entreprise et nos concurrents vont nous dépasser si on ne surfe pas sur la vague.” Une belle FOMO, en somme.

Il faut dire en plus que l’on tombe régulièrement sur des pubs du genre “Ne ratez pas le virage de l’intelligence artificielle” ou “Doublez votre productivité demain grâce à l’IA”. Autant de promesses qui, à défaut d’être convaincantes, entretiennent une certaine peur.

Le genre de pub ou de post douteux que l’on trouve un peu partout.

Dans la suite de ce mail, je vais vous partager mon opinion sur le sujet, basée sur mon expérience dans le développement d’ERP à destination d’entreprises industrielles d’une part, et dans le développement et d’entraînement de réseaux de neurones d’autre part.

On va voir que les gen AIs sont parfaites pour donner l’impression d’être intelligentes et pour laisser imaginer plein de use cases potentiels, mais qu’elles déçoivent souvent. À la fin, je donnerai deux exemples où la valeur ajoutée des IA est réelle -bien que limitée. 

Enfin, et voici déjà la conclusion de cet article si vous voulez vous arrêter ici, on verra qu’il n’y a pas d’urgence à implémenter de telles solutions d’IA génératives, et qu’il y a sans doute des choses plus utiles à faire.

La gen AI est impressionnante, mais pas assez fiable

Lorsque ChatGPT est arrivé, nous avons tous été subjugués par la capacité de ce modèle à générer un texte plausible et par l’étendue de ses connaissances. Nous en avons déduit que cette IA devait être omnisciente. Je me rappelle que mes premières questions ont été “Dieu existe-t-il?” et “Quel est le meilleur poète du 19° siècle?”. Comme si ChatGPT en avait la moindre idée!

Nous sommes tous tombés dans l’erreur de penser que ChatGPT devait avoir une intelligence équivalente à celle d’un homme ayant autant de connaissance et d’aisance rhétorique. Que dalle. Le processus d’entraînement des LLMs (modèles de langages, comme ChatGPT) leur donne un profil d’intelligence très différent de celui des humains.

 La plupart de ceux utilisant les IA au quotidien ont fini par le découvrir: elles sont souvent surhumaines, mais parfois inacceptablement bêtes.

On ne donne jamais de tâches complexes à un employé qu’on sait très bête. Inversement, on peut avoir une pleine confiance dans un employé brillant et débrouillard. La même chose ne s’applique pas aux IA: il est impossible pour nous de nous identifier à elles et de prédire leur niveau de performance sur une tâche donnée. Ce qui correspond à un manque de fiabilité.

Nous avons tous pensé, à un moment, aux possibilités industrielles offertes par les nouveaux LLMs, et comment elles révolutionneraient à jamais l’industrie. Voici quelques exemples, prometteurs à première vue:

1. Une IA qui lit tous les documents de l’entreprise et répond à n’importe quelle question, en se basant sur ses connaissances et celles des autres employés.
2. Un chatbot de relation et de support client basé sur une solution technique similaire.
3. Un système qui lit automatiquement tous les mails, toutes les factures reçues, et renseigne les informations collectées dans un CRM ou un ERP
4. Un système permettant de requêter les différentes sources de données (base de données d’un ERP, doc interne, etc), à l’aide d’une simple requête en langage naturel

J’ai personnellement déjà réalisé les idées 1, 2 et 4 pour des clients, et j’ai participé à la réalisation de l’idée 3 avec un de mes frères pour faire une petite proof of concept.

Pour donner rapidement une idée du résultat, la solution 1 aurait été avantageusement remplacée par un outil de recherche plein texte dans les documents de l’entreprise. L’IA apportait une valeur ajoutée très limitée, voire négative.

La solution 2 n’était pas satisfaisante pour le client, à cause d’un manque de pertinence des données proposées au modèle d’IA, puis d’un manque de recul pris par l’IA elle-même sur les documents proposés. À mon avis, une solution de recherche sémantique (façon Google) sur la doc de l’entreprise aurait été meilleure, la partie IA générative enlevant de la valeur ajoutée, comme pour le cas précédent. Un client, sauf s’il est bête, est capable de répondre aux questions qu’il se pose si on lui offre une portion de texte contenant la réponse. Il n’a pas besoin d’une IA pour lui mâcher cette partie du travail.

La solution 3 fonctionne à peu près. Il me semble juste qu’elle pose 2 risques importants, en particulier pour les entreprises industrielles:

• Le risque pour les employés de ne plus avoir en tête ce qui se passe vraiment dans l’entreprise. De se réveiller un matin en se disant “Ah, tiens, c’est vrai qu’on a ce client!”. Ou bien de ne plus se souvenir du tout des commandes passées par les clients et de leurs subtilités, faute de les avoir renseignées à la main. Il y a des choses qui gagnent à rester à l’esprit des personnes.
• Le risque d’erreur. Bien sûr, il existe également chez les humains, mais il est moins systématique. Un humain qu’on a formé en disant “La prochaine fois, évite de faire ça comme ça” a peu de chance de reproduire la même erreur la fois suivante. Une IA en revanche n’est pas capable d’apprendre, de base. Il est possible de les fine-tuner ou de les augmenter (par du RAG, par exemple) pour qu’elles “apprennent” un peu, mais cela correspond souvent à des process lourds et/ou spécifiques.

La solution 4 fonctionne tout à fait (mais elle ne sert pas à grand-chose). Je l’ai implémentée pour un client, avec quelques subterfuges mathématiques permettant d’améliorer la pertinence des résultats par rapport à un modèle d’IA classique. J’avais été moi-même surpris de sa performance. Le modèle pouvait répondre à des questions du genre: “Quel est notre chiffre d’affaires prévisionnel sur le mois prochain” ou “Montre-moi l’ensemble des rapports de production liés de près ou de loin à la commande n°451”. Et s’il se trompait, on pouvait lui apprendre pour qu’il ne fasse plus jamais la même erreur. Seulement, il faut reconnaître qu’une telle solution ne change pas la vie d’une entreprise: elle facilite un peu la vie et fait gagner un peu de temps, mais elle ne transfigure pas les process. 

Conclusion

Il est probable que vous puissiez vous servir de l’IA pour améliorer légèrement une partie de vos process ou pour vous simplifier la vie. Cependant, vu le coût de développement, vous avez sans doute mieux à faire. Acheter de meilleurs outils ou des machines plus efficaces, recruter ou licencier un mauvais élément auront un impact incomparable au petit boost offert par la Gen AI. 

Une bel exemple d’échec

J’ai justement développé un “chatbot intelligent” pour un client de mon ancien employeur. Le but était de permettre aux employés du SAV d’accéder à la doc complète des produits, de façon à avoir les informations pour répondre à toutes les demandes utilisateurs.

Au début, l’approche était assez classique: Lorsque l’employé faisait une requête, elle était vectorisée, et comparée à tous les vecteurs de documents dans la base. Les 3 ou 4 plus appropriés étaient ajoutés (de façon invisible pour l’utilisateur) à la demande formulée par l’employé, et envoyés ensuite à l’API de ChatGPT, qui donnait donc réponse à partir des informations dans le document.

Sur le papier, ça s’annonçait parfait. 1 journée de dev tout compris pour faire une petite proof-of-concept.

Sauf qu’après une journée de développement, le ChatBot avait un niveau de fiabilité inacceptable (plus de 30% d’erreurs grossières). D’une part, GPT-4 n’était pas toujours capable de faire le lien entre les informations dans les documents fournis et les demandes utilisateurs, faisant des erreurs d’interprétation. D’autre part, les documents fournis comme base de la réponse étaient parfois inadaptés.

À une question du type “Donne moi la valeur de la caractéristique A du produit X”, le chatbot répondait parfois “Voici la caractéristique B du produit Y”. Parce que le produit X et le produit Y avaient des noms très similaires, et que les caractéristiques A et B correspondaient à des concepts proches.

Bien sûr, le client a été déçu. Comme j’aime assez les maths et le machine learning, j’ai voulu pousser l’expérience plus loin, et augmenter la pertinence de la recherche de documents dans la base. Une fois ceci fait en changeant un peu l’espace de représentation vectorielle des documents, la fiabilité a été un peu augmentée. C’était loin d’être suffisant.

En fait, une bien meilleure solution répondant au besoin du client aurait été une sorte de moteur de recherche vectoriel dans la documentation, qui renvoie les documents façon Google. Peut-être améliorée par un peu de machine learning, pour apprendre du comportement des utilisateurs et proposer des documents toujours plus pertinents.

Mais même ça, je ne suis pas sûr que ç’aurait été mieux qu’un outil de recherche plein texte dans la documentation.

Le client avait vu les promesses de l’IA générative, s’est dit “on a un problème qui pourrait être résolu par l’IA, on y va”. Il s’est trompé et nous aussi. On ne pouvait pas voir avant de développer la solution qu’elle ne serait pas fiable.

Finalement, il aurait mieux fait de prendre des outils (gratuits qui plus est) comme DocFetcher ou Recoll. Sans la moindre IA, à l’ancienne.