Le « pourquoi » de l’IA explicable
Bahador Khaleghi Bahador Khaleghi
19 août 14 min

Le « pourquoi » de l’IA explicable

L’intérêt pour la recherche sur l’intelligence artificielle explicable (IAX) s’est développé au même moment que les capacités et les applications des systèmes modernes d’IA. L’IAX a le potentiel de rendre les modèles d’IA plus fiables, conformes, performants, robustes et plus faciles à développer — tous sont des composantes de l’explicabilité. Cela peut à son tour créer de la valeur pour l’entreprise et favoriser l’adoption de solutions d’IA. Qui plus est, comme l’IA s'insère dans notre quotidien, il est nécessaire de bien établir les bases sur lesquelles ces modèles d’IA raisonnent et prennent des décisions.

Pourquoi s’intéresse-t-on à l’IAX?

Imaginez un modèle d’IA utilisé pour la gestion d’un portefeuille d’actions qui fournit des conseils qui semblent contre-intuitifs. Ou un modèle de diagnostic médical qui prédit le cancer chez un patient précédemment diagnostiqué comme étant en bonne santé par des experts médicaux. Ou une voiture autonome impliquée dans une collision mortelle. Dans tous ces cas, il est impératif de savoir pourquoi le système d’IA s’est comporté comme il l’a fait et comment il a pris ses décisions.

Comme l’IA elle-même, l’IAX n’est pas un nouveau domaine de recherche, et les progrès récents dans la théorie et les applications de l’IA ont mis une nouvelle urgence derrière les efforts pour l’expliquer. Selon un sondage annuel de PwC, la grande majorité (82 %) des dirigeants d’entreprise conviennent que pour que les décisions fondées sur l’IA soient fiables, elles doivent pouvoir être expliquées. De plus, les résultats des tendances de Google au cours des dernières années indiquent une augmentation constante de l’intérêt mondial pour l’IA explicable.

Ce regain d’intérêt pour l’IAX est principalement dû à la prévalence et à la complexité sans cesse croissantes des systèmes modernes d’IA, qui deviennent de plus en plus performants et trouvent leur voie vers de nouvelles industries et utilisations. Ces capacités accrues signifient plus de complexité, ce qui rend ces systèmes plus difficiles à comprendre. L’IAX promet de remédier à cette situation en proposant de nouvelles façons d’expliquer le processus de pensée sous-jacent des systèmes d’IA.

Malgré l’intérêt croissant pour la recherche sur l’IAX, la communauté de l’IA n’est pas d’accord sur la nécessité d’une telle recherche. Certains chercheurs, dont Yann LeCun, chercheur principal en intelligence artificielle chez Facebook, suggèrent que des tests rigoureux suffisent à fournir une explication : si vous pouvez observer comment le modèle a agi dans différentes situations, vous pouvez inférer son raisonnement. D’autres, comme Rich Caruana de Microsoft Research, suggèrent que l’IAX est importante en tant que domaine d’étude propre, en particulier dans les secteurs sensibles comme les soins de santé.

Plus récemment, Cassie Kozyrkov, ingénieure en chef de l’intelligence décisionnelle de Google, a expliqué pourquoi l’IAX ne livrera pas la marchandise, en partie parce que les modèles d’intelligence artificielle s'attaquent dans certains cas à des problèmes qui sont trop complexes ou difficiles à comprendre pour les humains. Elle suggère que les tentatives de rendre ces modèles explicables seront inévitablement vaines.

Ces arguments contre l’IAX supposent que la seule raison pour laquelle nous expliquons les modèles d’IA est pour établir la confiance. Ces arguments suggèrent que l’IAX n’est pas nécessaire, puisqu’ils insinuent que la fiabilité, prouvée par des tests rigoureux, équivaut à la confiance. Que si les modèles d’IA sont prévisibles et fiables, ils n’ont pas besoin d’être expliqués. Pourtant, cette approche échoue dans la pratique. Souvent, nous n’avons pas d’ensembles de données d’essai complets pour effectuer une évaluation rigoureuse, en raison de divers défis tels que la nature dynamique d’un secteur, comme les véhicules autonomes, ou le coût prohibitif de la collecte de données d’essai complètes, comme dans le domaine de la santé.

De plus, la confiance envers les modèles d’IA n’est pas la seule raison pour laquelle nous sommes intéressés par l’IAX. Plusieurs facteurs motivent la recherche en IAX, la confiance n’étant que la plus évidente. La conformité réglementaire, la détection des préjugés et la protection contre les techniques accusatoires ne sont que quelques-uns des principaux moteurs de la recherche en IAX.

Confiance

La confiance est peut-être le premier et le plus important facteur d’intérêt pour l’IAX, en particulier pour les secteurs impliquant des prises de décisions à enjeux élevés et les domaines pour lesquels une évaluation rigoureuse du modèle n’est pas possible. Pour faire confiance aux prédictions des modèles dans ces secteurs, les utilisateurs doivent s’assurer qu’elles sont produites pour des raisons valables et appropriées. Cela n’implique pas que l’objectif de l’IAX est de tromper les utilisateurs humains en leur donnant aveuglément confiance en un modèle. Au contraire, cela signifie que l’IAX doit révéler les véritables limites d’un modèle d’IA afin que les utilisateurs connaissent les limites dans lesquelles ils peuvent faire confiance au modèle. Cela est d’autant plus important qu’il a déjà été démontré que les humains sont enclins à se fier aveuglément aux explications de l’IA. Certains attribuent cette tendance au phénomène soi-disant de l’illusion de profondeur explicative. Autrement dit, « lorsqu’une personne acquiert une compréhension d’une fonction de haut niveau et, avec cet élan de compréhension, il en assume faussement une compréhension de niveaux inférieurs dans la hiérarchie des mécanismes causals ». Pour éviter d’induire les utilisateurs en erreur et de leur faire perdre confiance, les explications relatives au niveau de confiance doivent refléter avec précision le fonctionnement d’un modèle d’IA donné, sous une forme compréhensible pour l’humain, et être présentées en utilisant des interfaces permettant de communiquer leurs limites.

Conformité réglementaire

Les environnements de production doivent généralement se conformer à un ensemble de réglementations et de plus en plus de modèles d’IA sont transformés en produits. En conséquence, les entités chargées de réglementer les industries évoluent pour faire face à ces nouveaux défis. Certaines industries hautement réglementées, comme la finance ou l’assurance, sont déjà tenues de fournir des explications sur les prédictions faites par leurs modèles. Par exemple, le Equal Credit Opportunity Act qui régit le secteur financier américain précise que « chaque demandeur contre lequel des mesures défavorables sont prises a droit à un énoncé des motifs de ces mesures par le créancier ». En outre, la récente adoption du règlement général sur la protection des données par l’Union européenne a créé une discussion autour du droit à l’explication pour la prise de décision par l’IA ayant une incidence sur les citoyens européens. Pour être conformes à ces exigences réglementaires, les modèles d’IA doivent comprendre une certaine notion d’explication dans leur processus de création.


Généralisation

Une des conditions essentielles pour affirmer qu’un modèle d’IA est efficace est sa capacité à généraliser. C’est-à-dire d’obtenir des résultats précis à partir d’un nouvel échantillon semblable à ceux de l’ensemble d'entraînement, mais provenant d’un contexte différent. Il a été démontré que, pour établir la généralisation d’un modèle, il est souvent insuffisant d’examiner uniquement sa performance de validation. Cela s’explique par le fait que les modèles sont fondamentalement des modèles d’apprentissage associatif (pas nécessairement causal) dans les données d’apprentissage. Ainsi, il est possible qu’un modèle produise des performances de validation élevées tout en s’appuyant sur des associations non essentielles. Les explications des prédictions des modèles permettent de cibler ces corrélations fallacieuses et d’avoir ainsi une meilleure idée de leur potentiel de généralisation. De plus, une fois en production, la performance de généralisation d’un modèle pourrait changer avec le temps en raison d’un phénomène connu sous le nom de concept “drift”, c’est-à-dire un changement dans la relation entre les données en entrées et en sorties du problème sous-jacent. Lorsqu’on lui fournit des explications sur les prédictions du modèle, le concept “drift” serait plus facile à détecter et à gérer.

Débogage et amélioration des modèles d’IA

L’élaboration d’un modèle d’IA performant implique souvent un processus itératif, dans le cadre duquel des ajustements sont apportés pour améliorer progressivement le rendement. Ces ajustements sont souvent guidés par un processus où les sources possibles d’erreurs du modèle sont identifiées et éliminées par une examination et une expérimentation minutieuses. Les explications peuvent accélérer ce processus en facilitant l’identification des sources d’erreurs de modèle. Par exemple, l’approche des fonctions d’influence permet d’identifier l’échantillon d'entraînement qui a le plus d’influence pour une prévision donnée du modèle. Pour les prédictions invalides, cette approche pourrait fournir des indices concernant les problèmes liés à l’ensemble de données d’entraînement, p. ex. des échantillons d’entraînement mal étiquetés.

De plus, l’explication du fonctionnement interne d’un modèle peut permettre de développer des modèles plus efficaces. Par exemple, le DeepEyes visual analytics system permet une analyse détaillée par couche des réseaux convolutifs profonds pour identifier et éliminer les filtres morts, c’est-à-dire les filtres qui sont soit toujours ou rarement actifs. Enfin, il a été démontré que les explications du modèle sont appliquées en tant que régulateur durant le processus d'entraînement. En particulier, limiter les explications à celle déjà connue dans le domaine correspondant, a permis d’obtenir une meilleure performance générale du modèle.

Débogage et amélioration des modèles d’IA.
Identifier et éliminer les « filtres morts » d’un modèle convolutionnel profond en utilisant les explications DeepEyes. Les filtres morts sont ceux qui sont toujours ou rarement activés.

Détection de préjugés

Les modèles d’IA sont souvent utilisés pour automatiser entièrement ou partiellement un processus décisionnel. Ces modèles sont formés avec des données historiques qui peuvent contenir des préjugés de notre société. Les experts ont averti que, s’ils sont déployés à l’aveuglette, ces modèles peuvent renforcer systématiquement nos préjugés existants avec des conséquences socio-économiques dévastatrices. Par conséquent, la question à propos des préjugés et de l’équité dans les systèmes d’IA a suscité beaucoup d’attention. Le préjugé est un problème nuancé qui peut s’intégrer dans les différentes étapes du pipeline d’IA, et non seulement le développement du modèle. Lorsqu’il s’agit de détecter un préjugé dans les modèles d’IA, l’IAX pourrait être utile. Par exemple, un type d’explication courant est l’attribution de caractéristiques, c’est-à-dire la détermination de l’importance relative des caractéristiques d’entrées pour une ou plusieurs prédictions d’un modèle. Si une caractéristique protégée, par exemple le sexe ou la race, a une grande importance pour les prédictions du modèle, elle pourrait être considérée comme un préjugé.

Hypothèse sur les nouvelles connaissances

Il y a dix ans, au début de l’ère “des grandes données”, certaines personnes ont prétendu que la méthode scientifique devenait obsolète. La prémisse était qu’au lieu d’utiliser la méthode scientifique (souvent fastidieuse) pour théoriser notre monde, nous pouvions simplement nous fier à nos abondantes données d’observation. Autrement dit, avec suffisamment de données, les chiffres parlent d’eux-mêmes. Plus récemment, cependant, l’importance d’avoir une compréhension théorique de ce que les chiffres impliquent refait surface. En effet, certains soutiennent qu’avec l’abondance des données, le fait d’avoir une théorie importe encore plus qu’avant. Il demeure difficile de formuler des hypothèses fondées sur des données qui pourraient mener à de nouvelles théories. C’est là que les explications du modèle pourraient être utiles.
Les explications des prédictions d’un modèle d’IA sont généralement comparées à des modèles établis, qui sont basés sur la connaissance du domaine et/ou simplement sur le bon sens, pour évaluer et valider le processus de pensée sous-jacent du modèle. Dans certains secteurs scientifiques empiriques, comme la biologie et la physique, ces connaissances a priori n’existent pas nécessairement. Les explications du modèle peuvent être utilisées pour générer des hypothèses scientifiques. Les hypothèses générées peuvent ensuite être évaluées, par exemple, par l’expérimentation et, si elles sont vérifiées, elles peuvent donner lieu à de nouvelles découvertes scientifiques. Il est à noter que la stabilité des explications est cruciale dans de telles applications.

L’interaction de l’IAX et de l’apprentissage machine antagoniste

Les attaques antagonistes sont des processus où l’entrée d’un modèle est manipulée, souvent d’une manière imperceptible par un humain, pour rendre sa prédiction invalide. Les défenses développées pour contrer ce type d’attaque nous permettent de créer des modèles plus robustes. Pour que les modèles d’IA puissent être déployés dans la nature, ils doivent être aussi robustes que possible. Cette exigence a fait de l’apprentissage machine antagoniste un domaine de recherche très actif.

Certains soutiennent que les deux domaines de l’IAX et de l’apprentissage machine antagoniste sont interreliés. Il existe plusieurs exemples d’utilisation des méthodes de l’IAX à la fois pour effectuer des attaques, par exemple pour élaborer des échantillons de test antagoniste, et pour se défendre contre des attaques, par exemple en développant des détecteurs pour des échantillons antagonistes. D’autre part, il a été démontré que certaines méthodes pour rendre un modèle plus robuste peuvent également le rendre plus interprétable. Certains soutiennent même que la principale raison sous-jacente de la susceptibilité des modèles d’IA aux attaques adverses est l’existence de caractéristiques non robustes : « des caractéristiques (dérivées de modèles dans la distribution des données) qui sont hautement prédictives, mais fragiles et (donc) incompréhensibles pour les humains ». Autrement dit, les modèles robustes reposent sur des représentations de caractéristiques robustes qui sont souvent des représentations plus intuitives que celles généralement trouvées.

L’interaction de l’IAX et de l’apprentissage machine antagoniste.
Utiliser des explications des prédictions des modèles en matière d’exemples de formation pour concevoir des échantillons de test antagonistes qui renversent les prédictions de plusieurs exemples de tests.

Et ensuite?

Vous devriez maintenant être convaincu de l’importance de l’IAX en tant que domaine de recherche au sein de la communauté de l’IA. Les explications des modèles d’IA peuvent rendre nos systèmes d’IA plus fiables, conformes, efficaces, équitables et robustes, ce qui pourrait favoriser leur adoption et leur valeur commerciale.

Dans la prochaine partie (à venir bientôt), nous examinerons ce que signifie réellement expliquer un modèle d’IA en passant en revue certains des ouvrages les plus remarquables.