La diff\u00e9rence entre l’entra\u00eenement d’une IA et son utilisation en conditions r\u00e9elles peut \u00eatre surprenante. D\u00e9couvrez la notion de \u00ab\u00a0champ d’utilisation\u00a0\u00bb.<\/p>\n\n\n\n
La validation interne d’une IA et l’utilisation de cette IA dans un environnement r\u00e9el peuvent \u00eatre tr\u00e8s diff\u00e9rentes. L’IA est souvent confront\u00e9e \u00e0 des probl\u00e8mes de confrontation entre la pens\u00e9e commune et la r\u00e9alit\u00e91<\/a><\/sup>. Les performances d’un algorithme d’IA sur un ensemble de tests peuvent parfois \u00eatre trompeuses et conduire \u00e0 des surprises ou m\u00eame \u00e0 des d\u00e9ceptions lorsqu’elles sont mises en conditions r\u00e9elles. Pour mieux \u00e9valuer comment la performance peut se comporter en conditions r\u00e9elles, il est important de clarifier d’abord ce qu’est un \u00ab\u00a0domaine d\u00a0\u00bbusage\u00a0\u00bb de l’IA.<\/p>\n\n\n\n Pour illustrer le probl\u00e8me, nous pouvons suivre le cycle de vie d’un algorithme d’IA (et plus sp\u00e9cifiquement d’un algorithme d’apprentissage automatique). <\/p>\n\n\n\n Il commence par la conceptualisation du projet, l’analyse d’un besoin. Vient ensuite l’identification, la collecte et la pr\u00e9paration des donn\u00e9es afin de constituer un jeu de donn\u00e9es. L’\u00e9tape suivante est le choix, la construction et l’entra\u00eenement d’un algorithme de test afin de v\u00e9rifier la faisabilit\u00e9 et les performances attendues du projet \u00e0 petite \u00e9chelle. Si l’\u00e9tape pr\u00e9c\u00e9dente est valid\u00e9e, il est temps de d\u00e9velopper et d’entra\u00eener l’algorithme final. <\/p>\n\n\n\n Au final, il est n\u00e9cessaire de proc\u00e9der \u00e0 une \u00e9valuation de l’algorithme et des r\u00e9sultats qu’il produit2<\/a><\/sup>. C’est cette derni\u00e8re \u00e9tape qui r\u00e9v\u00e8le souvent que l’utilisation de l’IA dans des conditions r\u00e9elles est plus difficile que pr\u00e9vu. Ceci est g\u00e9n\u00e9ralement d\u00fb aux diff\u00e9rences entre la mod\u00e9lisation faite pour l’entra\u00eenement et la r\u00e9alit\u00e9 de l’utilisation. Ces diff\u00e9rences apparaissent en fait dans la construction de l’ensemble d’entra\u00eenement. La notion de \u00ab\u00a0domaine d’utilisation\u00a0\u00bb de l’IA joue un r\u00f4le fondamental lors de la phase de construction du jeu de donn\u00e9es d’entra\u00eenement et nous allons d\u00e9crire en quoi elle consiste.<\/p>\n\n\n\n Le concept de domaine d’utilisation consiste \u00e0 d\u00e9crire l’ensemble des situations dans lesquelles un algorithme d’IA est cens\u00e9 \u00eatre utilis\u00e9. Les performances des algorithmes doivent \u00eatre en ad\u00e9quation avec leur finalit\u00e9 et leur contexte d’utilisation. Mais pour pouvoir d\u00e9finir un domaine d\u2019usage sur lequel l’ing\u00e9nieur syst\u00e8me construirait une exigence, il faut d\u00e9limiter certaines fronti\u00e8res de ce domaine. <\/p>\n\n\n\n Dans certains cas, ces domaines sont tr\u00e8s ouverts, ils peuvent varier consid\u00e9rablement. Quelles sont alors les limites acceptables ? Pour une voiture sans conducteur, comment d\u00e9finir le domaine \u00ab\u00a0\u00eatre capable de conduire sur une route fran\u00e7aise\u00a0\u00bb ? Pour mod\u00e9liser un domaine, il faut s’appuyer sur des \u00ab\u00a0param\u00e8tres\u00a0\u00bb qui visent \u00e0 le d\u00e9crire et \u00e0 le d\u00e9limiter. Ces param\u00e8tres peuvent ensuite \u00eatre instanci\u00e9s pour former une configuration particuli\u00e8re. L’ensemble de ces param\u00e8tres aidera \u00e0 d\u00e9finir le jeu de donn\u00e9es sur lequel l’IA s’entra\u00eenera et sera \u00e9valu\u00e9e. Par exemple, le param\u00e8tre \u00ab\u00a0jour de pluie\u00a0\u00bb peut \u00eatre exprim\u00e9 par le param\u00e8tre \u00ab\u00a0gouttes d’eau sur l’objectif de la cam\u00e9ra\u00a0\u00bb. La surface couverte ainsi que le nombre et la taille des gouttelettes peuvent \u00eatre ajust\u00e9s par diff\u00e9rents param\u00e8tres. Il peut \u00e9galement \u00eatre d\u00e9crit par une gamme de luminosit\u00e9 plus faible des images en raison des nuages. <\/p>\n\n\n\n L’objectif serait que l’apprentissage de l’algorithme se fasse sur un ensemble dans lequel il y a suffisamment d’images avec des param\u00e8tres repr\u00e9sentatifs. Cependant, ces param\u00e8tres sont multiples (voire parfois innombrables) et ils peuvent \u00eatre non num\u00e9riques. En effet, on peut imaginer qu’un chabot doit \u00eatre capable d’interagir correctement avec des utilisateurs furieux, frustr\u00e9s, malheureux, ironiques\u2026 Dans ces conditions, comment d\u00e9finir un contexte d’utilisation qui permette aux concepteurs d’IA de r\u00e9pondre \u00e0 une exigence sur l’utilisateur qui se situe entre \u00ab\u00a0heureux et furieux\u00a0\u00bb ?<\/p>\n\n\n\n Pour y parvenir, le premier objectif est de collecter les donn\u00e9es existantes et d’identifier les param\u00e8tres que le concepteur de l’IA peut utiliser pour mettre en \u0153uvre le jeu d’entra\u00eenement. Dans le cas des algorithmes de voiture autonome utilisant la technologie de reconnaissance d’image, ils ont besoin d’images de voitures et d’obstacles dans divers environnements. Celui-ci est d\u00e9crit \u00e0 travers diff\u00e9rents param\u00e8tres que nous pouvons incorporer, tels que : la largeur de la route, les conditions m\u00e9t\u00e9orologiques, la luminosit\u00e9 de la route, la temp\u00e9rature, etc. <\/p>\n\n\n\n Dans notre exemple, les possibilit\u00e9s de param\u00e8tres pour d\u00e9crire le concept de \u00ab\u00a0conduite sur une route en France\u00a0\u00bb sont tr\u00e8s nombreuses et peuvent \u00eatre complexes. Ainsi, les concepteurs d’IA doivent choisir les param\u00e8tres qu’ils jugent les plus pertinents et les plus appropri\u00e9s pour d\u00e9crire des concepts sp\u00e9cifiques. Cependant, la description d’un environnement sp\u00e9cifique peut conduire \u00e0 un nombre exponentiel de possibilit\u00e9s de param\u00e8tres. De toute \u00e9vidence, plus le nombre de param\u00e8tres utilis\u00e9s dans l’ensemble d’apprentissage des donn\u00e9es est \u00e9lev\u00e9, plus l’analyse de la repr\u00e9sentation de l’environnement est pr\u00e9cise, mais plus elle est difficile \u00e0 mettre en \u0153uvre. Il faut garder \u00e0 l’esprit qu’un jeu d’entra\u00eenement est fondamentalement restreint mais qu’il s’efforce d’\u00eatre le plus repr\u00e9sentatif possible.<\/p>\n\n\n\n Un des principaux probl\u00e8mes concernant le domaine d’utilisation est la sous-sp\u00e9cification. Elle est difficile \u00e0 d\u00e9tecter car l’IA peut sembler suffisamment bonne sur l’ensemble de test qui peut aussi ne pas couvrir suffisamment les conditions r\u00e9elles. Les IA sont form\u00e9es avec des algorithmes d’apprentissage automatique non sp\u00e9cifi\u00e9s, avec une validation trop faible, ce qui peut les rendre insuffisamment efficaces dans les conditions r\u00e9elles du domaine d’utilisation. C’est un probl\u00e8me illustr\u00e9 par plusieurs exemples sur lesquels nous nous appuierons : les v\u00e9hicules \u00e0 conduite autonome dans les villes anglaises, l’IA m\u00e9dicale de Google pour l’analyse des yeux, etc.<\/p>\n\n\n\n Pour commencer, il peut y avoir des diff\u00e9rences de qualit\u00e9 sur les donn\u00e9es en raison de diff\u00e9rences dans le syst\u00e8me d’acquisition (par exemple une cam\u00e9ra diff\u00e9rente). Ce qui entra\u00eene des distorsions dans le traitement des donn\u00e9es : les angles peuvent \u00eatre diff\u00e9rents, la r\u00e9solution de l’image aussi. <\/p>\n\n\n\n C’est le probl\u00e8me qu’a rencontr\u00e9 l’IA de Google en analysant les yeux en condition r\u00e9elle. La cause profonde vient du fait que les infirmi\u00e8res n’avaient pas assez de temps pour produire des images de tr\u00e8s haute qualit\u00e9 \u00e0 donner au syst\u00e8me. L’algorithme ayant \u00e9t\u00e9 entra\u00een\u00e9 avec des images de haute qualit\u00e9, il avait une fonction emp\u00eachant les analyses sur des images de mauvaise qualit\u00e9. Cela a entra\u00een\u00e9 une \u00e9norme perte de temps pour les infirmi\u00e8res car les examens devaient \u00eatre refaits et parce qu’elles devaient maintenant prendre plus de temps que pr\u00e9vu pour produire des images de haute qualit\u00e93<\/a><\/sup>.<\/p>\n\n\n\n De plus, les param\u00e8tres peuvent \u00eatre difficiles \u00e0 anticiper : les chutes de feuilles sur la route ont \u00e9t\u00e9 consid\u00e9r\u00e9es comme des objets mobiles par les voitures autopilot\u00e9es anglaises4<\/a><\/sup>. Il n’est pas facile de savoir comment cela va fonctionner si les donn\u00e9es changent par rapport \u00e0 ce \u00e0 quoi l’algorithme est habitu\u00e9. En effet, l’IA est form\u00e9e sur des donn\u00e9es pass\u00e9es et pr\u00e9sentes et a des difficult\u00e9s si elle doit s’adapter \u00e0 quelque chose de nouveau. M\u00eame si la g\u00e9n\u00e9ralisation est l’objectif principal des algorithmes d’IA<\/a>, elle peut s’av\u00e9rer difficile lorsque les conditions varient trop fortement, comme nous l’avons pr\u00e9sent\u00e9 dans un article pr\u00e9c\u00e9dent.<\/p>\n\n\n\n Une \u00e9tude r\u00e9alis\u00e9e par des chercheurs de Google a montr\u00e9 que m\u00eame si les algorithmes ont re\u00e7u la m\u00eame formation, leurs performances peuvent \u00eatre tr\u00e8s diff\u00e9rentes et ne peuvent \u00eatre anticip\u00e9es. Sur un pool de 50 algorithmes, dont seules les valeurs de d\u00e9part changent, certaines IA auront de meilleures performances sur des images floues, d’autres sur des images pixellis\u00e9es ou au contraste alt\u00e9r\u00e9, et certaines auront \u00e9galement de meilleurs r\u00e9sultats globaux que d’autres5<\/a><\/sup>. Ceci est \u00e9galement d\u00fb \u00e0 la sous-sp\u00e9cification.<\/p>\n\n\n\n Pour r\u00e9sumer, le domaine d’utilisation d’une application en monde ouvert est d\u00e9licat \u00e0 exprimer pr\u00e9cis\u00e9ment. Les algorithmes peuvent avoir des difficult\u00e9s \u00e0 s’adapter \u00e0 des conditions r\u00e9elles qui varient trop par rapport au domaine d’utilisation implicitement suppos\u00e9 par la conception de l’IA. Le principal probl\u00e8me est la sous-sp\u00e9cification des algorithmes. <\/p>\n\n\n\n Les param\u00e8tres du domaine (lorsqu’ils sont d\u00e9finis) et leurs variations doivent \u00eatre suffisamment repr\u00e9sentatifs du domaine d’utilisation. Une sous-sp\u00e9cification peut conduire \u00e0 l’\u00e9chec du projet. C’est pourquoi, du point de d\u00e9part \u00e0 la phase de validation, il est crucial de s’assurer que le domaine d’usage est correctement g\u00e9r\u00e9. Une fois que cela est fait, une \u00e9valuation de la robustesse et l’explicabilit\u00e9 de la d\u00e9cision peuvent am\u00e9liorer les chances d’att\u00e9nuer tout \u00e9chec une fois dans le monde r\u00e9el6<\/a><\/sup>. <\/p>\n\n\n\n L’explicabilit\u00e9 permet de mettre en \u00e9vidence les param\u00e8tres les plus utilis\u00e9s par l’algorithme et de limiter les param\u00e8tres \u00e0 ceux qui comptent vraiment. Valider l’IA et sa robustesse de la meilleure fa\u00e7on possible nous permettra de r\u00e9sister \u00e0 la variabilit\u00e9 du domaine d’utilisation et d’avoir l’IA la plus performante possible pour les t\u00e2ches \u00e0 effectuer.<\/p>\n\n\n\n La diff\u00e9rence entre l’entra\u00eenement d’une IA et son utilisation en conditions r\u00e9elles peut \u00eatre surprenante. D\u00e9couvrez la notion de \u00ab\u00a0champ d’utilisation\u00a0\u00bb. La validation interne d’une IA et l’utilisation de cette IA dans un environnement r\u00e9el peuvent \u00eatre tr\u00e8s diff\u00e9rentes. L’IA est souvent confront\u00e9e \u00e0 des probl\u00e8mes de confrontation entre la pens\u00e9e commune et la r\u00e9alit\u00e9. […]<\/p>\n","protected":false},"author":8,"featured_media":7169,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_seopress_robots_primary_cat":"none","_seopress_titles_title":"","_seopress_titles_desc":"","_seopress_robots_index":"","footnotes":"[{\"content\":\"Artificial Intelligence and Machine Learning \u2013 Hype vs Reality<\/a>\",\"id\":\"88c5baa8-da41-4a4e-a029-3948589b2f9a\"},{\"content\":\"How to build a machine learning model in 7 steps | TechTarget<\/a>\",\"id\":\"b2718797-1a44-4eb1-a7b1-83855ffb341b\"},{\"content\":\"Google\u2019s medical AI was super accurate in a lab. Real life was a different story. | MIT Technology Review<\/a>\",\"id\":\"e422f622-5087-4a03-9b52-748a50be6507\"},{\"content\":\"Inside the UK government's weird and wacky self-driving car trials | WIRED UK<\/a>\",\"id\":\"3ebf70e1-a9dc-447d-9780-797432306eae\"},{\"content\":\"The way we train AI is fundamentally flawed | MIT Technology Review<\/a>\",\"id\":\"ed37c43c-86c1-44b5-98bf-b8074f9d94ea\"},{\"content\":\"Robustness and Explainability of Artificial Intelligence<\/a>\",\"id\":\"668c8b40-1004-47a0-86aa-15cb89aee781\"}]"},"categories":[152],"tags":[186],"class_list":["post-7160","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ia-technique","tag-semantique"],"acf":[],"_links":{"self":[{"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/posts\/7160","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/comments?post=7160"}],"version-history":[{"count":0,"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/posts\/7160\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/media\/7169"}],"wp:attachment":[{"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/media?parent=7160"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/categories?post=7160"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/numalis.com\/fr\/wp-json\/wp\/v2\/tags?post=7160"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Le cycle de vie d’un algorithme d’IA<\/h2>\n\n\n\n
Le concept de domaine d’utilisation en IA<\/h2>\n\n\n\n
L’importance de la validation de l’IA<\/h2>\n\n\n\n
Conclusion<\/h2>\n\n\n\n
Sources<\/h2>\n\n\n