Sony AI a récemment annoncé un benchmark appelé « FHIBE » (Fair Human-Centric Image Benchmark), qui met en avant l'équité et l'impartialité.Nouvel ensemble de données de test d'IA.
Sony la décrit comme « la première collection d'images humaines accessible au public, diversifiée à l'échelle mondiale et fondée sur le consentement », conçue spécifiquement pour évaluer l'existence de biais dans les processus de reconnaissance par vision par ordinateur.
En résumé, cet ensemble de données permet de vérifier si les modèles d'IA actuels traitent équitablement différents groupes. La première conclusion de Sony est qu'aucun ensemble de données d'une entreprise ne correspond parfaitement à son modèle de référence.
En mettant l'accent sur la conception « fondée sur le consentement », en comparant les données des robots d'exploration Web
Sony souligne que « FHIBE » vise à répondre aux problèmes éthiques et de biais persistants auxquels est confrontée l’industrie de l’IA. L’ensemble de données contient des images provenant de près de 2 000 volontaires dans plus de 80 pays.
La principale caractéristique de cet ensemble de données est que toutes les images sont partagées avec consentement, ce qui diffère radicalement de la pratique courante qui consiste à extraire de grandes quantités de données publiques par web scraping. Les participants à FHIBE ont également le droit de demander le retrait de leurs images à tout moment.
De plus, ces photos contiennent une multitude d'annotations détaillant les caractéristiques démographiques, les caractéristiques physiques, les facteurs environnementaux et même les réglages de l'appareil photo.
Résultats des tests : confirmation des biais existants de l’IA et découverte de nouveaux facteurs d’influence.
Les résultats des tests effectués avec cet outil confirment l'existence de biais déjà enregistrés dans les modèles d'IA actuels. Cependant, Sony affirme que « FHIBE » peut aller plus loin et identifier les facteurs potentiels à l'origine de ces biais.
Par exemple, des recherches ont montré que certains modèles sont moins précis lorsqu'il s'agit de personnes utilisant les pronoms féminins « elle/la/son ». De plus, FHIBE révèle qu'une plus grande variabilité des coiffures est un facteur clé négligé dans les analyses précédentes de ces biais, ce qui conduit à des erreurs d'interprétation de la part de l'IA.
Stéréotypes professionnels et réactions toxiques
FHIBE a également constaté que, lorsqu'on leur posait des questions neutres sur la profession des participants, les modèles d'IA actuels renforçaient les stéréotypes. Les modèles testés présentaient notamment des biais à l'encontre de certains pronoms et groupes ethniques ; par exemple, ils étaient plus enclins à les décrire comme des travailleuses du sexe, des trafiquants de drogue ou des voleurs.
Plus sérieusement, lorsqu'on l'interroge sur un crime commis, le modèle produit parfois une proportion plus élevée de réponses toxiques envers les personnes d'origine africaine ou asiatique, celles ayant un teint plus foncé et celles qui utilisent « il/lui/son » (pronoms masculins), ce qui signifie qu'il forme des préjugés stéréotypés contre ces personnes.
Démontrer la faisabilité d'une collecte de données éthique
Sony AI affirme que FHIBE prouve qu'une collecte de données « éthique, diversifiée et équitable » est possible. Cet outil est actuellement accessible au public et continuera d'être mis à jour ; des articles de recherche connexes ont été publiés."la nature" Publié dans la revue (Nature).
