Twitter's algoritme voor het bijsnijden van foto's geeft de voorkeur aan jonge, mooie en lichte gezichten

Twitter heeft de resultaten aangekondigd van een open competitie om algoritmische vooringenomenheid te vinden in het fotobijsnijdsysteem. Het bedrijf schakelde het automatisch bijsnijden van foto's in maart uit nadat experimenten van Twitter-gebruikers vorig jaar suggereerden dat witte gezichten de voorkeur gaven boven zwarte gezichten. Vervolgens lanceerde het een algoritmische bugbounty om het probleem nader te analyseren.

De concurrentie heeft deze eerdere bevindingen bevestigd. De bovenaan geplaatste inzending toonde aan dat het bijsnijdalgoritme van Twitter de voorkeur geeft aan gezichten die “slank, jong, met een lichte of warme huidskleur en een gladde huidtextuur zijn, en met stereotiepe vrouwelijke gezichtskenmerken.” De inzendingen op de tweede en derde plaats lieten zien dat het systeem bevooroordeeld was tegen mensen met wit of grijs haar, wat wijst op leeftijdsdiscriminatie, en de voorkeur geeft aan Engels boven Arabisch schrift in afbeeldingen.

“We maken deze filters omdat we denken dat dat is wat mooi is, en dat leidt uiteindelijk tot het trainen van onze modellen”

In een presentatie van deze resultaten op de DEF CON 29-conferentie, Rumman Chowdhury, directeur van het META-team van Twitter (die Machine learning Ethics, Transparency, and Accountability bestudeert), prees de deelnemers voor het tonen van de real-life effecten van algoritmische vooringenomenheid.

“Als we nadenken over vooroordelen in onze modellen, gaat het niet alleen om het academische of het experimentele […] maar hoe dat ook werkt met de manier waarop we in de samenleving denken”, zei Chowdhury. “Ik gebruik de uitdrukking 'het leven imiteert kunst dat het leven imiteert'. We maken deze filters omdat we denken dat dat is wat mooi is, en dat leidt uiteindelijk tot het trainen van onze modellen en het aansturen van deze onrealistische ideeën over wat het betekent om aantrekkelijk te zijn.”

De winnende inzending gebruikte een GAN om gezichten te genereren die varieerden op huidskleur, breedte en mannelijke versus vrouwelijke kenmerken. Afbeelding: Bogdan Kulynych

De eerste inzending van de wedstrijd, en winnaar van de topprijs van $ 3.500, was Bogdan Kulynych, een afgestudeerde student aan EPFL, een onderzoeksuniversiteit in Zwitserland. Kulynych gebruikte een AI-programma genaamd StyleGAN2 om een ​​groot aantal realistische gezichten te genereren die hij varieerde op huidskleur, vrouwelijke versus mannelijke gelaatstrekken en slankheid. Vervolgens voerde hij deze varianten in het foto-cropping-algoritme van Twitter in om te bepalen welke het de voorkeur gaf.

Zoals Kulynych in zijn samenvatting opmerkt, versterken deze algoritmische vooroordelen de vooroordelen in de samenleving, letterlijk “degenen die niet voldoen aan de voorkeuren van het algoritme voor lichaamsgewicht, leeftijd en huidskleur.”

Dergelijke vooroordelen zijn ook meer doordringend dan je zou denken. Een andere deelnemer aan de wedstrijd, Vincenzo di Cicco, die een speciale vermelding won vanwege zijn innovatieve aanpak, toonde aan dat het algoritme voor het bijsnijden van afbeeldingen ook de voorkeur gaf aan emoji met lichtere huidtinten boven emoji met donkere huidtinten. De inzending op de derde plaats, door Roya Pakzad, oprichter van tech advocacy-organisatie Taraaz, onthulde dat de vooroordelen zich ook uitstrekken tot geschreven functies. Het werk van Pakzad vergeleek memes met Engels en Arabisch schrift, wat aantoont dat het algoritme de afbeelding regelmatig bijsnijdt om de Engelse tekst te markeren.

Voorbeeldmemes gebruikt door Roya Pakzad om de voorkeur voor de Engelse taal in het algoritme van Twitter te onderzoeken. Afbeelding: Roya Pakzad

Hoewel de resultaten van Twitter's vooringenomenheidsconcurrentie ontmoedigend kunnen lijken, wat de alomtegenwoordige aard van maatschappelijke vooroordelen in algoritmische systemen bevestigt, laat het ook zien hoe technologiebedrijven deze problemen kunnen bestrijden door te openen hun systemen aan externe controle. “Het vermogen van mensen die deelnemen aan een wedstrijd als deze om diep in een bepaald soort schade of vooringenomenheid te duiken, is iets waar teams in bedrijven niet de luxe voor hebben”, zei Chowdhury.

De open benadering van Twitter staat in schril contrast met de reacties van andere technologiebedrijven wanneer ze met soortgelijke problemen worden geconfronteerd. Toen onderzoekers onder leiding van MIT's Joy Buolamwini bijvoorbeeld raciale en gendervooroordelen ontdekten in de gezichtsherkenningsalgoritmen van Amazon, zette het bedrijf een substantiële campagne op om de betrokkenen in diskrediet te brengen en noemde hun werk 'misleidend' en 'vals'. Na maandenlang over de bevindingen te hebben gevochten, gaf Amazon uiteindelijk toe en plaatste een tijdelijk verbod op het gebruik van dezelfde algoritmen door wetshandhavers.

Patrick Hall, een rechter in de Twitter-competitie en een AI-onderzoeker die zich bezighoudt met algoritmische discriminatie, benadrukte dat dergelijke vooroordelen bestaan ​​in alle AI-systemen en dat bedrijven proactief moeten werken om ze te vinden. “AI en machine learning zijn gewoon het Wilde Westen, hoe bekwaam u ook denkt dat uw datawetenschapsteam is”, zegt Hall. “Als u uw bugs niet vindt, of bug bounties uw bugs niet vinden, wie vindt dan uw bugs? Want je hebt zeker bugs.”