Les scientifiques étudient pour comprendre l’intelligence artificielle

Cette approche aide les utilisateurs à comprendre le fonctionnement interne des « boîtes noires » des algorithmes d'IA, notamment dans les applications médicales et dans le contexte de la future loi européenne sur l'intelligence artificielle.

Une équipe de chercheurs de l'Université de Genève (UNIGE), des Hôpitaux universitaires de Genève (HUG) et de l'Université nationale de Singapour (NUS) a développé une nouvelle approche pour évaluer la compréhension des technologies d'intelligence artificielle.

Cette avancée majeure renforce la transparence et la crédibilité des outils de diagnostic et de prédiction basés sur l'IA. La nouvelle méthode dévoile le fonctionnement complexe des algorithmes d'IA, souvent qualifiés de « boîtes noires », permettant ainsi aux utilisateurs de comprendre les facteurs influençant les résultats et d'évaluer leur fiabilité.

Ceci est particulièrement important dans les scénarios qui ont un impact significatif sur la santé et le bien-être humains, comme l’utilisation de l’IA dans un contexte médical. La recherche revêt une importance particulière dans le contexte de la prochaine loi de l’Union européenne sur l’intelligence artificielle, qui vise à réglementer le développement et l’utilisation de l’IA dans l’UE.

Les résultats ont été récemment publiés. publié dans la revue Nature Machine IntelligenceLes séries chronologiques de données, qui représentent l'évolution de l'information au fil du temps, sont présentes partout : par exemple, en médecine lors de l'enregistrement de l'activité cardiaque avec un électrocardiogramme (ECG), dans l'étude des tremblements de terre, le suivi des tendances météorologiques ou en économie pour surveiller les marchés financiers.

Ces données peuvent être modélisées à l'aide de technologies d'IA pour concevoir des outils de diagnostic ou de prédiction. Les progrès de l'IA, et notamment de l'apprentissage profond (qui consiste à entraîner une machine à l'aide de grandes quantités de données pour les interpréter et en extraire des schémas utiles), ouvrent la voie à des outils de diagnostic et de prédiction toujours plus précis. Toutefois, le manque de visibilité sur le fonctionnement des algorithmes d'IA et sur les facteurs qui influencent leurs résultats soulève d'importantes questions quant à la fiabilité de cette technologie d'IA « boîte noire ».

« Le fonctionnement de ces algorithmes est pour le moins opaque », déclare le professeur Christian Lovis, directeur du département de radiologie et d'informatique médicale de la faculté de médecine de l'UNIGE et chef du département d'informatique médicale des HUG, et l'un des auteurs de l'étude sur la compréhension de l'IA.

"Bien sûr, les enjeux, notamment financiers, sont extrêmement importants. Mais comment faire confiance à une machine sans comprendre les fondements de son raisonnement ? Ces questions sont cruciales, en particulier dans des secteurs comme la médecine, où les décisions fondées sur l'IA peuvent affecter la santé des personnes, voire leur vie, et dans le secteur financier, où elles peuvent entraîner d'énormes pertes en capital.»

Les méthodes de compréhension visent à répondre à ces questions en révélant pourquoi et comment l'IA est parvenue à une décision particulière, ainsi que les raisons qui la sous-tendent. « Connaître les éléments qui ont fait pencher la balance en faveur ou contre une solution dans une situation donnée, ce qui permet une certaine transparence, renforce notre confiance dans la performance des outils », explique Gianmarco Mengaldo, professeur adjoint et directeur du MathEXLab à la Faculté de design et d'ingénierie de l'Université nationale de Singapour.

« Cependant, les méthodes de compréhension actuelles, largement utilisées dans les applications pratiques et les circuits industriels, produisent des résultats très différents, même lorsqu'elles sont appliquées à la même tâche et au même ensemble de données. Cela soulève une question importante : quelle méthode est correcte s’il est censé y avoir une réponse unique et correcte ? Par conséquent, évaluer les méthodes de compréhension devient tout aussi important que la compréhension elle-même ?

Faire la différence entre les informations importantes et non pertinentes

La différenciation des données est essentielle pour développer des technologies d’IA afin de les comprendre pleinement. Par exemple, lorsque l’IA analyse des images, elle se concentre sur quelques caractéristiques saillantes.

Hugues Turbé, doctorant dans le laboratoire du professeur Lovis et premier auteur de l'étude sur l'IA, explique : « Par exemple, l'IA peut faire la distinction entre une image de chien et une image de chat. Le même principe s’applique à l’analyse des séquences temporelles : la machine doit être capable de sélectionner les éléments sur lesquels raisonner. Dans le cas des signaux ECG, cela signifie coordonner les signaux provenant de différentes électrodes pour évaluer d’éventuelles fluctuations qui seraient le signe d’une certaine maladie cardiaque. »

Choisir une méthode de compréhension parmi toutes celles disponibles dans un but particulier n’est pas chose aisée. Différentes méthodes d’IA donnent souvent des résultats très différents, même lorsqu’elles sont appliquées au même ensemble de données et à la même tâche.

Pour relever ce défi, les chercheurs ont développé deux nouvelles méthodes d'évaluation pour aider à comprendre comment l'IA prend des décisions : l'une pour identifier les parties les plus importantes du signal et l'autre pour évaluer leur importance relative dans la prédiction finale.

Pour évaluer la compréhension, ils ont caché une partie des données pour voir si elles étaient pertinentes pour la prise de décision de l’IA. Cependant, cette approche a parfois produit des erreurs dans les résultats. Pour résoudre ce problème, ils ont entraîné la machine sur un ensemble de données augmenté comprenant des données cachées, ce qui a permis de maintenir l’équilibre et la précision. L’équipe a ensuite créé deux façons de mesurer les performances des méthodes de compréhension, montrant si l’IA utilisait les bonnes données pour prendre des décisions et si toutes les données étaient correctement prises en compte.

« Notre méthode vise à évaluer le modèle que nous utiliserons réellement dans notre zone opérationnelle, garantissant ainsi sa fiabilité », explique Hugues Turbé. Pour poursuivre la recherche, l’équipe a développé un ensemble de données synthétiques mis à la disposition de la communauté scientifique pour évaluer facilement toute nouvelle IA conçue pour interpréter des séquences au fil du temps.

L'avenir de l'intelligence artificielle en médecine

L’équipe prévoit de tester leur méthode en milieu clinique, où la peur de l’IA est encore répandue. "Instaurer la confiance dans l'évaluation de l'IA est une étape cruciale vers son adoption en milieu clinique", explique le Dr. Mina Bjelogrlic, qui dirige l'équipe d'apprentissage automatique de la division Lovis et est co-auteur de cette étude. « Nos recherches se concentrent sur l’évaluation de l’IA basée sur des séquences temporelles, mais la même méthodologie pourrait être appliquée à l’IA basée sur d’autres types de données, telles que des données d’image ou de texte. L’objectif est d’assurer la transparence, la compréhensibilité et la fiabilité de l’IA pour les utilisateurs.

Comprendre le fonctionnement interne de l’IA est essentiel pour renforcer la confiance dans son utilisation, en particulier dans des secteurs critiques tels que la médecine et la finance. La recherche, menée par une équipe de chercheurs de l’Université de Genève et de l’Université nationale de Singapour, propose une méthode innovante d’évaluation de la compréhension de l’intelligence artificielle qui aide les utilisateurs à comprendre pourquoi et comment les décisions sont prises. Cette approche est particulièrement importante pour les applications médicales, où les décisions prises par l’intelligence artificielle peuvent mettre la vie en danger.