L’IA n’est pas intelligente — on se trompe de débat #1

Cet article fait partie d'une série dans laquelle je tente de poser les bonnes questions sur l'IA en tant qu'architecte.

Depuis quelques mois, le sujet de l’intelligence artificielle est partout.

Dans nos discussions, dans les projets, et bien sûr sur LinkedIn.

J'ai parfois l'impression qu'elle est présentée comme intelligente, à la limite d'une entité autonome qui serait capable de “comprendre” les tenants et aboutissants du business.

En tant qu’architecte, j'ai beaucoup de mal avec cette approche.

Pas parce que je pense que l'IA est mauvaise en soi, mais à cause d'un changement de pensée que je vois se profiler de plus en plus.

Le problème ce n’est pas l’IA. Le problème, c’est ce que nous pensons qu'elle est capable de faire.

Le mot “intelligence” - le biais de départ

Parler d’intelligence artificielle : quelle merveilleuse idée Marketing !

Il faut l'avouer, c'est très vendeur. Mais c’est aussi très trompeur.

Un peu comme un chapeau magique qui serait capable de faire apparaître tout type de solution miracle.

Mais voilà, l’IA ne comprend pas un contexte métier.

Elle ne comprend pas une intention.

Et elle ne comprend pas non plus ce qu’est une bonne décision au sens humain du terme.

Nombreux sont les cas dans le passé qui ont montré des IA qui étaient devenues racistes, misogynes, orientées...

Était-ce réellement l’IA en cause ? Pas vraiment.

Elle n'est rien de plus qu'une machine à produire des résultats à partir de corrélations statistiques, basées sur des données fournies.

Et c'est clair qu'elle est extrêmement efficace pour détecter des patterns, classifier, prédire sur bases de statistiques, fournir des recommandations. Mais elle ne sait rien de ce que ces résultats impliquent.

En appelant cela de l’intelligence, on développe une idée dangereuse :

on commence à penser qu'une technologie a une capacité de jugement, ce qu'elle n'a absolument pas.

L'éternel débat de la responsabilité

Cet abus de langage entraîne un autre changement notoire : la responsabilité commence à se déplacer.

Quand une décision est difficile à expliquer ou à assumer (d'autant plus quand l'IA est en mode black-box), et que l'argument majeur devient C'est ce que l'IA a recommandé... On se rend bien compte que quelque chose ne va plus dans le concept d'architecture.

Pas techniquement. Conceptuellement.

Une architecture saine repose sur des concepts simples, dont celui qui dit qu'on sait toujours qui décide, pourquoi, et porte les conséquences des choix.

Notez qu'ici l'architecture ne se limite pas au côté technique, mais également (et surtout) métier.

N'est-ce pas le Product Owner qui jusqu'alors décidait des orientations à prendre en terme de valeur business, processus, facteurs de succès etc?

Le terme Product Owner ne fait-il pas référence à la notion d'Ownership sur laquelle repose la responsabilité des choix?

Pourtant on est en train de poser des architectures où c'est l'IA qui se retrouve décideur des orientations et décisions à prendre au niveau business.

Bien sûr, le PO existe toujours et a un rôle à jouer, mais attribuer une forme d’intelligence au système fait qu'à terme, l'identification du décideur deviendra de plus en plus compliqué.

Un exemple pour illustrer mes propos

Une entreprise met en place un scoring “intelligent” pour prioriser les demandes clients. Le score est basé sur des données historiques, validé statistiquement.

Sur papier, tout est maîtrisé... du moins en théorie...

Au fil du temps, ce score devient LA vérité opérationnelle. On ne le prends plus pour ce qu'il est (une recommandation) mais pour ce qu'on a fini par croire qu'il est : une décision intelligente.

Conclusion : Les demandes avec un faible scoring sont traitées plus tard, voir jamais. Personne ne remet en question le résultat (Si c'est l'IA qui le dit, ça doit être forcement vrai).

Et quand un client important se plaint, la réponse est souvent : “Le système ne l’avait pas identifié comme prioritaire.”

Et c’est précisément là que se situe le cœur du sujet. Le système n’a rien décidé.

Il a appliqué des règles et des corrélations définies par des humains.

Le score en lui-même n’est pas en cause. Ce qui pose question, c’est l’idée qu’il “savait” ce qui était important.

L’IA n’est pas intelligente, elle est cohérente. Mais surtout, elle n’exonère personne de réfléchir.

Conclusion — Conseil à l’architecte

Face à cet engouement croissant autour de l'IA, vous allez tôt ou tard être qualifié de trouble-fête, celui qui demande de ralentir quand tout le monde veut se ruer, celui qui pose les questions du pourquoi lorsque tout le monde solutionne le comment.

Et pourtant, il faut conserver cette posture, parce que c'est le rôle principal de l'architecte : s'assurer que le comment répondra à un pourquoi clairement défini.

Avant de penser à utiliser de l'IA dans un système, pose-toi cette question:

Quelles décisions humaines choisissons-nous d’encoder explicitement dans un modèle d’IA, et quelles décisions le système finira-t-il par prendre sans qu’aucune responsabilité ne soit clairement portée ?

L’IA peut aider à mieux décider. Mais seulement si quelqu’un accepte de rester responsable de la décision. Et ça, ce n’est jamais le rôle de la machine.