Twitters foto-beskjæringsalgoritme foretrekker unge, vakre og lyshudede ansikter

Twitter har kunngjort resultatene av en åpen konkurranse om å finne algoritmisk skjevhet i sitt foto-beskjæringssystem. Selskapet deaktiverte automatisk fotoklipping i mars etter at eksperimenter av Twitter-brukere i fjor foreslo at det foretrakk hvite ansikter fremfor svarte ansikter. Deretter lanserte den en algoritmisk bug -dusør for å prøve å analysere problemet nærmere.

Konkurransen har bekreftet disse tidligere funnene. Den øverst plasserte oppføringen viste at Twitters beskjæringsalgoritme favoriserer ansikter som er “slanke, unge, med lys eller varm hudfarge og glatt hudtekstur, og med stereotypisk feminine ansiktstrekk.” Den andre og tredje plasserte oppføringen viste at systemet var partisk mot mennesker med hvitt eller grått hår, noe som tyder på aldersdiskriminering, og favoriserer engelsk fremfor arabisk skrift i bilder.

“Vi lager disse filtrene fordi vi tror det er det som er vakkert, og det ender opp med å trene modellene våre.”

I en presentasjon av disse resultatene på DEF CON 29 -konferansen, fortalte Rumman Chowdhury, direktør for Twitters META -team (som studerer etikk, åpenhet og ansvarlighet for maskinlæring), berømmet deltakerne for å vise virkelige effekter av algoritmisk skjevhet.

“Når vi tenker på skjevheter i modellene våre, handler det ikke bare om det akademiske eller det eksperimentelle […], men hvordan det også fungerer med måten vi tenker i samfunnet,” sa Chowdhury. “Jeg bruker uttrykket 'liv som etterligner kunst som etterligner livet.' Vi lager disse filtrene fordi vi tror det er det som er vakkert, og det ender opp med å trene modellene våre og drive disse urealistiske forestillingene om hva det vil si å være attraktiv.”

Den vinnende oppføringen brukte et GAN til å generere ansikter som varierte etter hudfarge, bredde og maskuline kontra feminine trekk. Bilde: Bogdan Kulynych

Konkurransens førsteplass, og vinner av den øverste $ 3500 -prisen, var Bogdan Kulynych, doktorgradsstudent ved EPFL, et forskningsuniversitet i Sveits. Kulynych brukte et AI -program kalt StyleGAN2 for å generere et stort antall realistiske ansikter som han varierte etter hudfarge, feminine kontra maskuline ansiktstrekk og slankhet. Deretter førte han disse variantene inn i Twitters fotobeskjæringsalgoritme for å finne hvilken den foretrakk.

Som Kulynych bemerker i sitt sammendrag, forsterker disse algoritmiske skjevhetene i samfunnet og bokstavelig talt beskjærer “de som ikke oppfyller algoritmens preferanser om kroppsvekt, alder, hudfarge.”

Slike skjevheter er også mer gjennomgripende enn du kanskje tror. En annen deltaker i konkurransen, Vincenzo di Cicco, som vant spesiell omtale for sin innovative tilnærming, viste at algoritmen for bildebeskjæring også favoriserte emoji med lysere hudtoner fremfor emoji med mørkere hudtoner. Tredjeplassoppføringen, av Roya Pakzad, grunnlegger av organisasjonen Taraaz for teknologi, viste at skjevhetene også strekker seg til skriftlige funksjoner. Pakzads arbeid sammenlignet memer ved hjelp av engelsk og arabisk skript, og viste at algoritmen jevnlig beskåret bildet for å markere den engelske teksten.

Eksempelmeme som ble brukt av Roya Pakzad for å undersøke skjevhet mot engelsk språk i Twitters algoritme. Bilde: Roya Pakzad

Selv om resultatene av Twitters partiskonkurranse kan virke nedslående, noe som bekrefter den gjennomgripende naturen til samfunnsskjevhet i algoritmiske systemer, viser den også hvordan teknologiske selskaper kan bekjempe disse problemene ved å åpne sine systemer opp til ekstern granskning. “Evnen til folk som deltar i en konkurranse som denne for å dykke ned i en bestemt type skade eller skjevhet er noe lag i selskaper ikke har luksus til å gjøre,” sa Chowdhury.

Twitters åpne tilnærming er en kontrast til svarene fra andre teknologiselskaper når de konfronteres med lignende problemer. Da forskere ledet av MITs Joy Buolamwini fant rasemessige og kjønnsforstyrrelser i Amazons ansiktsgjenkjenningsalgoritmer, for eksempel, foretok selskapet en omfattende kampanje for å diskreditere de involverte, og kalte arbeidet sitt “misvisende” og “falskt.” Etter å ha kjempet om funnene i flere måneder, slapp Amazon til slutt og la et midlertidig forbud mot bruk av de samme algoritmene av politiet.

Patrick Hall, dommer i Twitters konkurranse og AI -forsker som arbeider med algoritmisk diskriminering, understreket at slike skjevheter eksisterer i alle AI -systemer, og selskaper må jobbe proaktivt for å finne dem. “AI og maskinlæring er bare det ville vesten, uansett hvor dyktig du tror datateknologi -teamet ditt er,” sa Hall. “Hvis du ikke finner feilene dine, eller hvis feilbelønninger ikke finner feilene dine, hvem finner så feilene dine? Fordi du definitivt har feil. ”