Protéger sans empêcher : nos vulnérabilités à l’ère de l’IA générative

Il n’aura suffi que de deux mois à ChatGPT pour atteindre le cap des 100 millions d’utilisateurs, contre plus de deux ans pour les principaux réseaux sociaux, à l’image d’Instagram. Jamais une technologie ne s’était imposée aussi vite. Pourtant, la défiance à son égard persiste chez 25 % de ses utilisateurs et 75 % des non-utilisateurs. C’est dans ce contexte que la Commission a cartographié les vulnérabilités les plus critiques associées à l’émergence fulgurante de l’IA générative, avec un objectif clair : les anticiper au mieux afin d’en atténuer la portée. 

Lire le rapport

Une réflexion collégiale et concertée 

Au vu de la multiplicité des enjeux à l’œuvre, la Commission était résolument interdisciplinaire. 

Co-présidence :

• Amine BENYAMINA, Professeur de psychiatrie et d’addictologie à l’Université Pais-Saclay 
• Raphaël GAILLARD, Professeur de psychiatrie à l’Université Paris Cité 
• Serena VILLATA, Directrice de recherche CNRS en Intelligence artificielle au Centre INRIA d’Université Côte d’Azur

Membres :

• Sylvie CHOKRON, Neuropsychologue, directrice de recherche au CNRS 
• Marie COHEN-SKALLI, Codirectrice d’Emmaüs Connect 
• Marc FADDOUL, Cofondateur d’AI Forensics 
• Juliette SÉNÉCHAL, Professeure de droit privé et sciences criminelles, adjointe au directeur scientifique d’Inria (Université de Lille / Inria) 
• Joëlle TOLEDANO, Professeure émérite en économie, associée à la Chaire « Gouvernance et Régulation » de l’Université Paris Dauphine 
• Célia ZOLYNSKI, Professeure de droit privé à l’Université Paris 1 Panthéon-Sorbonne

Les travaux de cette Commission ont été enrichis d’un cycle de 55 auditions, menées auprès de professionnels de santé, de la recherche publique et de l’enseignement supérieur, d’entreprises de l’écosystème, d’institutions publiques, d’autorités de régulation et d’instances consultatives, d’associations de protection de l’enfance et de représentants de la société civile. 

Nous tenons chaleureusement à les remercier pour leurs contributions.

De l’individu à la société, trois constats essentiels

1/ En premier lieu, les systèmes d’IA générative présentent des risques de mieux en mieux documentés pour les utilisateurs. Ceux-ci sont principalement de trois ordres : 

• Les utilisateurs développent une « dette cognitive » croissante à l’égard de l’IA, à laquelle ils délèguent, de plus en plus souvent, une part de leurs fonctions cognitives (capacités de réflexion, d’expression, prise de décision). À titre d’exemple, l’utilisation des chatbots pour des tâches d’écriture réduirait l’amplitude cognitive de 55 %, selon des chercheurs du MIT.
• Les mécanismes d’anthropomorphisation excessive et de flagornerie de l’IA générative, en particulier des compagnons IA, engendrent des risques de dépendance émotionnelle, voire affective, des utilisateurs envers l’outil. 
• Les violences en ligne sont exacerbées par l’IA générative, qui facilite leur production et la diffusion massive, peu couteuse et rapide de deepfakes, qui visent principalement les femmes.

Face à des applications d’IA générative très persuasives, les utilisateurs mineurs, dont le développement des capacités cérébrales est encore inachevé, apparaissent particulièrement vulnérables. 92 % des adolescents avouent à ce titre passer plus de temps qu’ils ne le souhaitent sur ces outils.

2/ En deuxième lieu, les vulnérabilités observées à l’échelon individuel sont de nature à se répliquer de façon plus structurelle à l’échelle de nos sociétés et posent, en creux, la question de l’avenir de la cohésion sociale et de l’exercice démocratique à moyen terme dans un monde profondément empreint d’IA générative. 

• L’IA n’est pas neutre, et les modèles de langage comportent des biais structurels qui sont de nature à porter atteinte aux diversités culturelles, à renforcer les stéréotypes préexistants et à engendrer des discriminations concrètes.
• L’espace informationnel est imprégné par l’IA générative qui est désormais utilisée par 73 % des Français comme moyen d’accès à l’information. Cette infiltration, doublée d’une grande persuasion de l’IA générative, engendre des défis dans le rapport des citoyens au débat public et à la confrontation des idées. 
• Les risques observés sont particulièrement préoccupants en période électorale. Alors que 16 % des Français ont eu recours à l’IA générative pour affiner leur vote lors des dernières élections municipales, la question d’une délégation progressive de citoyenneté au profit de la machine se pose avec une certaine acuité.

3/ L’adoption massive de l’IA générative grand public pourrait marquer l’avènement de « l’économie de la cognition », dans laquelle la cognition humaine devient, directement ou indirectement, une source directe de valeur et de monétisation.

18 recommandations pour répondre aux problèmes pressants et anticiper les mutations 

Si l’objectif est de protéger les utilisateurs face aux vulnérabilités que créent ces systèmes, la Commission reconnaît que ces outils sont aussi porteurs d’opportunités dont il faut impérativement se saisir dans les conditions adéquates.

Convaincue que la charge de la protection ne doit pas porter sur les usagers ou leur entourage, les recommandations formulées ciblent avant tout le modèle de l’économie de la cognition.

Parmi les 18 recommandations formulées dans le rapport, la Commission propose notamment en priorité de :

• encadrer strictement les mécanismes des IA génératives suscitant la dépendance des utilisateurs, avec une attention accrue sur les plus jeunes d’entre eux, en s’appuyant sur l’ouverture des discussions dans le cadre du projet de règlement européen EU KIDS Act ; 
• conditionner l’entrée et le maintien sur le marché des systèmes d’IA générative grand public à une évaluation ex ante de leurs impacts sur les vulnérabilités et à un contrôle ex post renforcé ;
• former massivement et dès le plus jeune âge à l’IA l’ensemble de la population afin de permettre à chacun d'en maîtriser les usages et les risques.

Lire le rapport