Non è stato un periodo felice per i ricercatori delle grandi aziende tecnologiche. Assunti per aiutare i dirigenti a comprendere le carenze delle piattaforme, i team di ricerca rivelano inevitabilmente verità scomode. Le aziende assumono team per costruire “l'intelligenza artificiale responsabile” ma si innervosiscono quando i loro dipendenti scoprono distorsioni algoritmiche. Si vantano della qualità della loro ricerca interna, ma la rinnegano quando arriva alla stampa. In Google, questa storia si è svolta nella partenza forzata della ricercatrice di intelligenza artificiale etica Timnit Gebru e nella successiva ricaduta per il suo team. A Facebook, ha portato a Frances Haugen e ai Facebook Files.
Per questi motivi, è sempre importante quando una piattaforma tecnologica prende uno di quei risultati poco lusinghieri e lo pubblica per il mondo vedere. Alla fine di ottobre, Twitter ha fatto proprio questo. Ecco Dan Milmo sul Guardian:
Twitter ha ammesso di amplificare più tweet di politici e organi di informazione di destra che contenuti di fonti di sinistra.
La piattaforma di social media ha esaminato i tweet di funzionari eletti in sette paesi: Regno Unito, Stati Uniti, Canada, Francia, Germania, Spagna e Giappone. Ha anche studiato se il contenuto politico delle organizzazioni giornalistiche è stato amplificato su Twitter, concentrandosi principalmente su fonti di notizie statunitensi come Fox News, New York Times e BuzzFeed. […]
La ricerca ha rilevato che in sei paesi su sette, a parte la Germania, i tweet dei politici di destra hanno ricevuto più amplificazione dall'algoritmo rispetto a quelli di sinistra; le testate giornalistiche di destra erano più amplificate di quelle di sinistra; e in genere i tweet dei politici erano più amplificati da una linea temporale algoritmica che dalla linea temporale cronologica.
Il post sul blog di Twitter sull'argomento è stato accompagnato da un documento di 27 pagine che descrive ulteriormente i risultati dello studio, la ricerca e la metodologia. Non era la prima volta quest'anno che l'azienda offriva volontariamente supporto empirico per critiche speculative e vecchie di anni al suo lavoro. Quest'estate, Twitter ha ospitato un concorso aperto per trovare pregiudizi nei suoi algoritmi di ritaglio di foto. James Vincent ha descritto i risultati a The Verge:
La voce più in alto ha mostrato che l'algoritmo di ritaglio di Twitter favorisce i volti che sono “magri, giovani, di colore della pelle chiaro o caldo e consistenza della pelle liscia e con tratti del viso stereotipicamente femminili”. La seconda e la terza classificata hanno mostrato che il sistema era prevenuto nei confronti delle persone con i capelli bianchi o grigi, suggerendo una discriminazione in base all'età e che nelle immagini favorisce l'inglese rispetto alla scrittura araba.
Questi risultati non sono stati nascosti in un gruppo di chat chiuso, per non essere mai discussi. Invece, Rumman Chowdhury, che guida l'etica e la responsabilità dell'apprendimento automatico su Twitter, li ha presentati pubblicamente al DEF CON e ha elogiato i partecipanti per aver contribuito a illustrare gli effetti del mondo reale del pregiudizio algoritmico. I vincitori sono stati pagati per i loro contributi.
Da un lato, non voglio sopravvalutare il coraggio di Twitter qui. I risultati che la società ha pubblicato, pur aprendosi ad alcune critiche, non sono nulla che si tradurrà in un'indagine completa del Congresso. E il fatto che l'azienda sia molto più piccola di Meta, la società madre di Google o di Facebook, che servono entrambi miliardi di persone, significa che qualsiasi cosa trovata dai suoi ricercatori ha meno probabilità di innescare una tempesta di fuoco globale.
Allo stesso tempo, Twitter non deve fare questo tipo di lavoro di interesse pubblico. E a lungo termine, credo che renderà l'azienda più forte e più preziosa. Ma sarebbe relativamente facile per qualsiasi dirigente aziendale o membro del consiglio di amministrazione sostenere una causa contro il farlo.
Per questo motivo, non vedevo l'ora di parlare con il team responsabile. Questa settimana ho incontrato virtualmente Chowdhury e Jutta Williams, product lead per il team di Chowdhury. (Sconvenientemente, dal 28 ottobre: il nome ufficiale del team di Twitter è Machine Learning Ethics, Transparency and Accountability: META.) Volevo saperne di più su come Twitter sta facendo questo lavoro, come è stato ricevuto internamente e dove sta andando avanti.
Ecco alcune delle cose che ho imparato.
Twitter scommette che la partecipazione del pubblico accelererà e migliorerà i suoi risultati
forte>. Uno degli aspetti più insoliti della ricerca etica sull'intelligenza artificiale di Twitter è che la partecipazione di ricercatori volontari esterni paga. Chowdhury è stata addestrata come hacker etico e ha osservato che i suoi amici che lavorano nella sicurezza informatica sono spesso in grado di proteggere i sistemi con maggiore agilità creando incentivi finanziari per aiutare le persone.
“Twitter è stata la prima volta in cui sono stato effettivamente in grado di lavorare in un'organizzazione che era abbastanza visibile e di impatto per farlo e anche abbastanza ambiziosa da finanziarla”, ha affermato Chowdhury, che è entrata a far parte dell'azienda un anno fa quando ha acquisito il suo rischio di intelligenza artificiale avvio della gestione. “È difficile trovarlo.”
Spesso vengono affrontate solo le voci più alte, mentre i problemi principali vengono lasciati in sospeso
In genere è difficile ottenere un buon feedback dal pubblico sui pregiudizi algoritmici, mi ha detto Chowdhury. Spesso vengono affrontate solo le voci più alte, mentre i problemi principali vengono lasciati in sospeso perché i gruppi interessati non hanno contatti su piattaforme che possano affrontarli. Altre volte, i problemi sono diffusi nella popolazione e i singoli utenti potrebbero non risentirne direttamente gli effetti negativi. (La privacy tende a essere un problema del genere.)
La ricompensa di Twitter ha aiutato l'azienda a costruire un sistema per sollecitare e implementare quel feedback, mi ha detto Chowdhury. Da allora la società ha annunciato che smetterà di ritagliare le foto nelle anteprime dopo che i suoi algoritmi sono stati trovati per favorire in gran parte i giovani, i bianchi e i belli.
L'intelligenza artificiale responsabile è difficile in parte perché nessuno comprende appieno le decisioni prese dagli algoritmi. Gli algoritmi di ranking nei social feed sono probabilistici: ti mostrano le cose in base a quanto è probabile che ti piacciano, condividerle o commentarle. Ma non esiste un algoritmo che prenda questa decisione: in genere è una mesh di più (a volte dozzine) di modelli diversi, ognuno dei quali fa ipotesi che vengono poi ponderate in modo diverso in base a fattori in continua evoluzione.
Questa è una delle ragioni principali per cui è così difficile costruire con sicurezza sistemi di intelligenza artificiale che siano “responsabili”: ci sono semplicemente molte congetture coinvolte. Chowdhury ha sottolineato qui la differenza tra lavorare su un'intelligenza artificiale responsabile e sulla sicurezza informatica. In sicurezza, ha detto, di solito è possibile scoprire perché il sistema è vulnerabile, purché si possa scoprire dove l'hacker è entrato. Ma nell'IA responsabile, trovare un problema spesso non dice molto su cosa lo ha creato.
È il caso, ad esempio, della ricerca dell'azienda sull'amplificazione delle voci di destra. Twitter è fiducioso che il fenomeno sia reale, ma può solo teorizzare le ragioni dietro. Potrebbe essere qualcosa nell'algoritmo. Ma potrebbe anche essere un comportamento degli utenti: forse i politici di destra tendono a twittare in modo da suscitare più commenti, ad esempio, il che fa sì che i loro tweet vengano pesati più pesantemente dai sistemi di Twitter.
“C'è questa legge delle conseguenze indesiderate per i sistemi di grandi dimensioni”, ha affermato Williams, che in precedenza ha lavorato presso Google e Facebook. “Potrebbero essere tante cose diverse. Il modo in cui abbiamo ponderato la raccomandazione algoritmica potrebbe farne parte. Ma non doveva essere una conseguenza dell'appartenenza politica. Quindi c'è così tanta ricerca da fare.”
Non c'è un vero consenso su cosa “dovrebbero” fare gli algoritmi di ranking. Anche se Twitter risolverà il mistero di ciò che sta causando la diffusione più ampia dei contenuti di destra, non sarà chiaro cosa dovrebbe fare l'azienda al riguardo. E se, ad esempio, la risposta non fosse nell'algoritmo ma nel comportamento di certi account? Se i politici di destra generano semplicemente più commenti dei politici di sinistra, potrebbe non esserci un intervento ovvio per Twitter.
“Non credo che nessuno voglia che ci impegniamo a forzare una sorta di ingegneria sociale delle voci delle persone”, mi ha detto Chowdhury. “Ma anche, siamo tutti d'accordo sul fatto che non vogliamo l'amplificazione di contenuti negativi o tossici o pregiudizi politici ingiusti. Quindi queste sono tutte cose che mi piacerebbe che disfacessimo.”
Questa conversazione dovrebbe essere tenuta pubblicamente, ha detto.
Twitter pensa che gli algoritmi possano essere salvati. Una possibile risposta all'idea che tutti i nostri feed social siano insondabilmente complessi e non possano essere spiegati dai loro creatori è che dovremmo chiuderli ed eliminare il codice. Il Congresso ora introduce regolarmente progetti di legge che renderebbero illegali gli algoritmi di classificazione, o renderebbero le piattaforme legalmente responsabili per ciò che raccomandano, o costringerebbero le piattaforme a consentire alle persone di rinunciarvi.
Il team di Twitter, per esempio , ritiene che il ranking abbia un futuro.
“L'algoritmo è qualcosa che può essere salvato”, ha affermato Williams. “L'algoritmo deve essere compreso. E gli input all'algoritmo devono essere qualcosa che tutti possono gestire e controllare.”
Con un po' di fortuna, Twitter creerà proprio quel tipo di sistema.
Naturalmente, il rischio nello scrivere un pezzo come questo è che, nella mia esperienza, team come questo sono fragili. Un minuto, la leadership è soddisfatta delle sue scoperte e assume con entusiasmo per essa; il prossimo, sta appassindo per logoramento in mezzo a tagli di budget o riorganizzato dall'esistenza in mezzo a conflitti di personalità o preoccupazioni normative. Il successo iniziale di Twitter con META è promettente, ma il futuro a lungo termine di META non è assicurato.
Nel frattempo, il lavoro rischia di diventare più duro. Twitter è ora attivamente al lavoro su un progetto per rendere la sua rete decentralizzata, che potrebbe proteggere parti della rete dai propri sforzi per costruire la rete in modo più responsabile. Il CEO di Twitter Jack Dorsey ha anche immaginato un “app store per algoritmi di social media”, offrendo agli utenti una scelta più ampia su come vengono classificati i loro feed.
“Non sono sicuro che sia fattibile per noi entrare direttamente in un mercato di algoritmi ”
È già abbastanza difficile classificare un feed in modo responsabile: cosa significa rendere “responsabile” un intero app store di algoritmi sarà una sfida molto più grande.
“Non sono sicuro che sia fattibile per noi di entrare direttamente in un mercato di algoritmi”, ha detto Williams. “Ma penso che sia possibile per il nostro algoritmo capire il segnale che è stato curato da te. Quindi, se c'è una parolaccia in un tweet, per esempio: quanto sei sensibile a quel tipo di linguaggio? Ci sono parole specifiche che considereresti molto, molto profane e che non vorresti vedere? Come ti diamo i controlli per stabilire quali sono le tue preferenze in modo che quel segnale possa essere utilizzato in qualsiasi tipo di raccomandazione?
“Penso che ci sia un segnale di terze parti più di quanto ci sia un gruppo di algoritmi di terze parti”, ha detto Williams. “Devi stare attento a cosa c'è in un algoritmo”.
Platformer di Casey Newton
Questa colonna è stata pubblicata in collaborazione con Platformer, una newsletter quotidiana su Big Tech e democrazia. Iscriviti qui