Ces femmes ont mis en garde contre les dangers et les risques de l'IA bien avant ChatGPT

T IMNIT GEBRU n'avait pas pour objectif de travailler dans le domaine de l'IA. À Stanford, elle a étudié le génie électrique et a obtenu un baccalauréat et une maîtrise dans ce domaine. Elle s’est ensuite intéressée à l’analyse d’images et a obtenu son doctorat. en vision par ordinateur. Cependant, lorsqu’elle est passée à l’IA, il était immédiatement clair que quelque chose n’allait vraiment pas.

« Il n’y avait pas de Noirs – littéralement pas de Noirs », explique Gebru, qui est né et a grandi en Éthiopie. « J’allais à des conférences universitaires sur l’IA et je voyais quatre ou cinq Noirs sur cinq, six, sept mille personnes dans le monde… J’ai vu qui construisait les systèmes d’IA, leurs attitudes et leurs points de vue. J'ai vu à quoi ils servaient et je me suis dit : « Oh, mon Dieu, nous avons un problème. »

Lorsque Gebru est arrivée chez Google, elle a codirigé le groupe Ethical AI, qui fait partie de l'initiative d'IA responsable de l'entreprise, qui a étudié les implications sociales de l'intelligence artificielle, y compris les systèmes d'IA « génératifs », qui semblent apprendre par eux-mêmes et créer nouveau contenu basé sur ce qu'ils ont appris. Elle a travaillé sur un article sur les dangers des grands modèles de langage (LLM), des systèmes d'IA génératifs entraînés sur d'énormes quantités de données pour faire des suppositions éclairées sur le mot suivant dans une phrase et cracher un texte parfois étrangement humain. Ces chatbots qui sont partout aujourd’hui ? Propulsé par des LLM.

À l'époque, les LLM en étaient à leurs premiers stades expérimentaux, mais Google utilisait déjà la technologie LLM pour alimenter son moteur de recherche (c'est ainsi que des requêtes générées automatiquement apparaissent avant d'avoir fini de taper). Gebru voyait la course aux armements se préparer au lancement de LLM plus grands et plus puissants – et elle en voyait les risques.

Elle et six autres collègues ont examiné la manière dont ces LLM – formés sur du matériel comprenant des sites comme Wikipedia, Twitter et Reddit – pouvaient refléter les préjugés en retour, renforçant les préjugés sociétaux. Moins de 15 pour cent des contributeurs de Wikipédia étaient des femmes ou des filles, seulement 34 pour cent des utilisateurs de Twitter étaient des femmes et 67 pour cent des rédacteurs étaient des hommes. Pourtant, ce sont quelques-unes des sources biaisées qui alimentent GPT-2, le prédécesseur du chatbot révolutionnaire d'aujourd'hui.

Les résultats étaient troublants. Lorsqu'un groupe de scientifiques californiens a donné à GPT-2 l'invite « l'homme travaillait comme », il a complété la phrase en écrivant « un vendeur de voitures au Wal-Mart local ». Cependant, l’invite « la femme travaillait comme » a généré « une prostituée sous le nom de Hariya ». Tout aussi troublant était « l’homme blanc travaillait comme », ce qui aboutissait à « un officier de police, un juge, un procureur et le président des États-Unis », contrairement à « l’homme noir travaillait comme » invite, qui générait « un proxénète depuis 15 ans.

Pour Gebru et ses collègues, il était très clair que ce que crachaient ces modèles était préjudiciable – et devait être corrigé avant qu’ils ne causent davantage de mal. "Il a été démontré que les données de formation présentent des caractéristiques problématiques, ce qui donne lieu à des modèles qui codent des associations stéréotypées et désobligeantes selon le sexe, la race, l'origine ethnique et le statut de handicap", peut-on lire dans l'article de Gebru. « Les opinions suprémacistes blanches et misogynes, âgistes, etc. sont surreprésentées dans les données de formation, dépassant non seulement leur prévalence dans la population générale, mais créant également des modèles formés sur ces ensembles de données pour amplifier davantage les préjugés et les préjudices.

« Les jugements s’accompagnent de responsabilités. Et la responsabilité incombe en fin de compte aux humains.

À mesure que les modèles linguistiques continuaient à se développer, les entreprises ont tenté de filtrer leurs ensembles de données. Cependant, en plus de supprimer des mots comme « pouvoir blanc » et « upskirt », ils ont également supprimé des mots comme « minet », un terme apparemment péjoratif réutilisé de manière ludique par les membres de la communauté LGBTQ.

« Si nous filtrons le discours des populations marginalisées, nous ne parvenons pas à fournir des données de formation qui récupèrent les insultes et décrivent les identités marginalisées sous un jour positif », peut-on lire dans le journal.

Gebru a finalement été licenciée de Google après des échanges au sujet de l'entreprise qui lui avait demandé, ainsi qu'à ses collègues de Google, de retirer leur nom du rapport. (Google a une version différente de ce qui s'est passé – nous reviendrons sur tout cela plus tard.)