L'algoritmo di ritaglio delle foto di Twitter preferisce i volti giovani, belli e con la pelle chiara

Twitter ha annunciato i risultati di un concorso aperto per trovare distorsioni algoritmiche nel suo sistema di ritaglio di foto. La società ha disabilitato il ritaglio automatico delle foto a marzo dopo che gli esperimenti degli utenti di Twitter dell'anno scorso hanno suggerito di preferire i volti bianchi ai volti neri. Ha quindi lanciato un bug bounty algoritmico per cercare di analizzare il problema più da vicino.

La concorrenza ha confermato questi risultati precedenti. La voce più in alto ha mostrato che l'algoritmo di ritaglio di Twitter favorisce i volti che sono “magri, giovani, di colore della pelle chiaro o caldo e consistenza della pelle liscia e con tratti del viso stereotipicamente femminili”. Il secondo e il terzo posto hanno mostrato che il sistema era prevenuto nei confronti delle persone con i capelli bianchi o grigi, suggerendo una discriminazione in base all'età e favorisce l'inglese rispetto alla scrittura araba nelle immagini.

“Creiamo questi filtri perché pensiamo che sia bello e questo finisce per allenare i nostri modelli”

In una presentazione di questi risultati alla conferenza DEF CON 29, Rumman Chowdhury, direttore del team META di Twitter (che studia l'etica, la trasparenza e la responsabilità dell'apprendimento automatico), ha elogiato i partecipanti per aver mostrato gli effetti nella vita reale del pregiudizio algoritmico.

“Quando pensiamo ai pregiudizi nei nostri modelli, non si tratta solo di quello accademico o sperimentale […] ma di come funziona anche con il modo in cui pensiamo nella società”, ha affermato Chowdhury. “Uso la frase 'la vita che imita l'arte che imita la vita'. Creiamo questi filtri perché pensiamo che questo sia ciò che è bello, e questo finisce per addestrare i nostri modelli e guidare queste nozioni irrealistiche su cosa significhi essere attraenti.”

Il vincitore ha utilizzato un GAN per generare volti che variavano in base al tono della pelle, alla larghezza e caratteristiche maschili contro femminili. Immagine: Bogdan Kulynych

Il primo classificato della competizione, e vincitore del primo premio di $ 3,500, è stato Bogdan Kulynych, uno studente laureato presso l'EPFL, un'università di ricerca in Svizzera. Kulynych ha utilizzato un programma di intelligenza artificiale chiamato StyleGAN2 per generare un gran numero di volti realistici che ha variato in base al colore della pelle, alle caratteristiche facciali femminili rispetto a quelle maschili e alla magrezza. Ha quindi inserito queste varianti nell'algoritmo di ritaglio delle foto di Twitter per trovare quale preferiva.

Come osserva Kulynych nel suo riassunto, questi pregiudizi algoritmici amplificano i pregiudizi nella società, letteralmente tagliando fuori “coloro che non soddisfano le preferenze dell'algoritmo di peso corporeo, età, colore della pelle”.

Tali pregiudizi sono anche più pervasivi di quanto si possa pensare. Un altro concorrente al concorso, Vincenzo di Cicco, che ha vinto una menzione speciale per il suo approccio innovativo, ha dimostrato che anche l'algoritmo di ritaglio delle immagini ha favorito le emoji con tonalità della pelle più chiare rispetto a quelle con tonalità della pelle più scure. La voce al terzo posto, di Roya Pakzad, fondatrice dell'organizzazione di difesa della tecnologia Taraaz, ha rivelato che i pregiudizi si estendono anche alle caratteristiche scritte. Il lavoro di Pakzad ha confrontato i meme utilizzando la scrittura inglese e araba, dimostrando che l'algoritmo ritagliava regolarmente l'immagine per evidenziare il testo inglese.

Esempio di meme usati da Roya Pakzad per esaminare i pregiudizi verso la lingua inglese nell'algoritmo di Twitter. Immagine: Roya Pakzad

Sebbene i risultati della competizione sui pregiudizi di Twitter possano sembrare scoraggianti, confermando la natura pervasiva del pregiudizio sociale nei sistemi algoritmici, mostrano anche come le aziende tecnologiche possono combattere questi problemi aprendo loro sistemi fino al controllo esterno. “La capacità delle persone che partecipano a una competizione come questa di immergersi in profondità in un particolare tipo di danno o pregiudizio è qualcosa che i team delle aziende non hanno il lusso di fare”, ha affermato Chowdhury.

L'approccio aperto di Twitter è in contrasto con le risposte di altre aziende tecnologiche di fronte a problemi simili. Quando i ricercatori guidati da Joy Buolamwini del MIT hanno trovato pregiudizi razziali e di genere negli algoritmi di riconoscimento facciale di Amazon, ad esempio, la società ha lanciato una campagna sostanziale per screditare le persone coinvolte, definendo il loro lavoro “fuorviante” e “falso”. Dopo aver combattuto per mesi sui risultati, Amazon alla fine ha ceduto, vietando temporaneamente l'uso di questi stessi algoritmi da parte delle forze dell'ordine.

Patrick Hall, giudice del concorso di Twitter e ricercatore di intelligenza artificiale che lavora nella discriminazione algoritmica, ha sottolineato che tali pregiudizi esistono in tutti i sistemi di intelligenza artificiale e le aziende devono lavorare in modo proattivo per trovarli. “L'intelligenza artificiale e l'apprendimento automatico sono solo il selvaggio West, non importa quanto pensi che sia abile il tuo team di data science”, ha affermato Hall. “Se non trovi i tuoi bug, o le taglie di bug non trovano i tuoi bug, allora chi sta trovando i tuoi bug? Perché sicuramente hai dei bug.”