Lorsqu'on lui a demandé de générer des curriculum vitae pour les personnes ayant des noms féminines, comme Allison Baker ou Maria Garcia, et des personnes ayant des noms masculins, tels que Matthew Owens ou Joe Alvarez, les candidats féminines ont fait de 1,6 ans, en moyenne, les chercheurs, les chercheurs se présentent le 8 octobre. Nature. Dans une boucle auto-réalisatrice, le bot a ensuite classé les candidats féminins comme moins qualifiés que les candidats masculins, montrant l'âge et le biais de genre.
Mais la préférence du modèle d'intelligence artificielle pour les jeunes femmes et les hommes plus âgés sur le marché du travail ne reflète pas la réalité. Aux États-Unis, les employés masculins et féminins ont à peu près le même âge, selon les données du recensement américain. De plus, le biais d'âge de l'âge du chatbot est apparu même dans les industries où les femmes ont tendance à fausser plus âgées que les hommes, comme celles liées aux ventes et aux services.
La discrimination à l'égard des femmes âgées sur le marché du travail est bien connue, mais il a été difficile de prouver quantitativement, explique l'informaticien Danaé Mataxa de l'Université de Pennsylvanie, qui n'a pas été impliqué dans l'étude. Cette découverte de «l'âgisme sexospécifique» omniprésent a des implications réelles. «C'est une chose notable et nuisible pour les femmes de se voir représentées… comme si leur durée de vie avait un arc d'histoire qui tombe dans la trentaine ou la quarantaine», disent-ils.
En utilisant plusieurs approches, y compris une analyse de près de 1,4 million d'images et de vidéos en ligne, d'analyse de texte et d'une expérience contrôlée randomisée, l'équipe a montré comment les entrées d'information biaisées déforment les sorties AI – dans ce cas, une préférence pour les curriculum vitae appartenant à certains groupes démographiques.
Ces résultats pourraient expliquer la persistance du plafond de verre pour les femmes, explique le co-auteur de l'étude et spécialiste du social informatique Douglas Guilbeault. De nombreuses organisations ont cherché à embaucher plus de femmes au cours de la dernière décennie, mais les hommes continuent d'occuper les rangs les plus élevés des entreprises, selon des recherches. «Les organisations qui essaient d'être diverses… embauchent des jeunes femmes et elles ne les promeuvent pas», explique Guilbeault, de l'Université de Stanford.
Dans l'étude, GuilBeault et ses collègues ont d'abord jugé plus de 6 000 codeurs à juger l'âge des individus dans des images en ligne, telles que celles trouvées sur Google et Wikipedia, à travers diverses professions. Les chercheurs avaient également des codeurs à évaluer les travailleurs représentés dans des vidéos YouTube comme jeunes ou vieux. Les codeurs ont toujours évalué les femmes en images et vidéos comme plus jeunes que les hommes. Ce biais était le plus fort dans les occupations prestigieuses, telles que les médecins et les chefs de la direction, suggérant que les gens perçoivent les hommes plus âgés, mais pas les femmes plus âgées, comme faisant autorité.
L'équipe a également analysé le texte en ligne en utilisant neuf modèles de langue pour exclure la possibilité que les femmes apparaissent plus jeunes en ligne en raison de facteurs visuels tels que les filtres d'image ou les cosmétiques. Cette analyse textuelle a montré que des catégories d'emplois moins prestigieuses, telles que le secrétaire ou le stagiaire, étaient liées à des femmes plus jeunes et à des catégories d'emplois plus prestigieuses, telles que le président du conseil d'administration ou le directeur de la recherche, lié aux hommes plus âgés.
Ensuite, l'équipe a lancé une expérience avec plus de 450 personnes pour voir si les distorsions en ligne influencent les croyances des gens. Les participants à la condition expérimentale ont recherché des images liées à plusieurs dizaines d'occupations sur Google Images. Ils ont ensuite téléchargé des images dans la base de données des chercheurs, les ont étiquetés comme hommes ou femmes et ont estimé l'âge de la personne représentée. Les participants à la condition de contrôle ont téléchargé des images aléatoires. Ils ont également estimé l'âge moyen des employés dans diverses professions, mais sans images.
Le téléchargement d'images a influencé les croyances, a constaté l'équipe. Les participants qui ont téléchargé des images d'employés, tels que les mathématiciens, les graphistes ou les professeurs d'art, ont estimé l'âge moyen des autres dans la même occupation que deux ans de moins que les participants à la condition de contrôle. À l'inverse, les participants qui ont téléchargé la photo des employés masculins dans une occupation donnée ont estimé l'âge des autres dans la même profession que plus d'un demi-an de plus.
Les modèles d'IA formés sur la trate en ligne massive d'images, de vidéos et de texte sont hérités et exacerbent l'âge et le biais de genre, a ensuite démontré l'équipe. Les chercheurs ont d'abord incité Chatgpt à générer des curriculum vitae pour 54 professions en utilisant 16 noms masculins féminins et 16, entraînant près de 17 300 curriculum vitae par groupe de genre. Ils ont ensuite demandé à Chatgpt de classer chaque curriculum vitae sur un score de 1 à 100. Le bot a constamment généré des CV pour les femmes plus jeunes et moins expérimentées que celles pour les hommes. Il a ensuite donné à ces curriculum vitae des scores inférieurs.
Ces biais sociétaux nuisent à tout le monde, dit Guilbeault. Les AIS ont également obtenu des curriculum vitae des jeunes hommes inférieurs aux curriculum vitae des jeunes femmes.
Dans un article de perspective qui l'accompagne, le sociologue Ana Macanovic de l'Institut universitaire européen de Fiesole, en Italie, prévient que, comme plus de personnes utilisent l'IA, de tels biais sont prêts à s'intensifier.
Des entreprises comme Google et Openai, qui possèdent Chatgpt, essaient généralement de lutter contre un biais à la fois, comme le racisme ou le sexisme, dit Guilbeault. Mais cette approche étroite néglige les biais qui se chevauchent, tels que le sexe et l'âge ou la race et la classe. Considérez, par exemple, les efforts pour augmenter la représentation des Noirs en ligne. En l'absence d'attention aux biais qui se croisent avec la pénurie d'images racialement diverses, l'écosystème en ligne peut être inondé de représentations de riches blancs et de pauvres Noirs, dit-il. «La réelle discrimination provient de la combinaison des inégalités.»
