Non c'è vera rivoluzione dell'IA senza etica Guarda ora
Twitter ha pubblicato un rapporto dettagliato sui risultati della sua prima sfida algoritmica al bias bounty, rivelando una serie di aree in cui si è scoperto che i loro sistemi e algoritmi erano privi di equità.
Twitter si è impegnato a ridurre la sua dipendenza dal ritaglio di immagini basato su ML e ha iniziato a implementare le modifiche nel maggio 2021. Un portavoce di Twitter ha detto a ZDNet che ha in gran parte eliminato l'algoritmo di salienza dal loro servizio. Ma i membri della comunità etica degli hacker di intelligenza artificiale sono riusciti a trovare altri problemi nell'ambito della sfida della ricompensa del pregiudizio algoritmico tenutasi quest'estate.
“I risultati delle loro scoperte hanno confermato la nostra ipotesi: non possiamo risolvere queste sfide da soli e la nostra comprensione dei pregiudizi nell'IA può essere migliorata quando voci diverse sono in grado di contribuire alla conversazione”, Yee e Peradejordi ha scritto.
“Quando si costruiscono sistemi di apprendimento automatico, è quasi impossibile prevedere tutti i potenziali problemi e garantire che un modello serva equamente tutti i gruppi di persone. Ma oltre a ciò, quando si progettano prodotti che prendono decisioni automatiche, il mantenimento dello status quo spesso porta a rafforzare la cultura esistente e pregiudizi sociali».
I due hanno aggiunto che la sfida della taglia del pregiudizio ha aiutato Twitter a scoprire una vasta gamma di problemi in un breve lasso di tempo, osservando che la proposta vincente “ha utilizzato un approccio controfattuale per dimostrare che il modello tende a codificare la bellezza stereotipata standard, come la preferenza per i volti più snelli, più giovani, femminili e dalla pelle più chiara”.
Un'altra proposta, che è arrivata al secondo posto nella competizione, ha scoperto che l'algoritmo di Twitter per le immagini multi-faccia non sceglie quasi mai le persone con i capelli bianchi come la persona più importante nella foto.
Il vincitore del terzo posto ha esaminato i pregiudizi linguistici su Twitter mostrando le differenze tra il modo in cui il sito gestisce i meme in inglese e i meme in caratteri arabi.
Altri due premi – uno per la presentazione più innovativa e la presentazione più generalizzabile – si sono concentrati su come il modello di Twitter preferisce gli emoji con la pelle più chiara e su come l'aggiunta di imbottitura attorno a un'immagine può consentire di evitare la funzione di ritaglio.
Altri contributi hanno mostrato come il sistema di apprendimento automatico di Twitter può influenzare determinati gruppi come veterani, gruppi religiosi, persone con disabilità, anziani e coloro che comunicano in lingue non occidentali.
“Spesso, la conversazione sui pregiudizi nel machine learning si concentra su razza e genere, ma come abbiamo visto attraverso questa sfida, i pregiudizi possono assumere molte forme. La ricerca sull'apprendimento automatico equo si è storicamente concentrata su questioni occidentali e statunitensi, quindi eravamo particolarmente ispirato a vedere più contributi incentrati su problemi relativi al Sud del mondo”, hanno detto i due.
“I risultati della taglia suggeriscono che i pregiudizi sembrano essere incorporati nel modello di salienza principale e questi pregiudizi sono spesso appresi dai dati di addestramento. Il nostro modello di salienza è stato addestrato su dati di tracciamento dell'occhio umano open source, il che comporta il rischio di incorporare conscio e inconscio pregiudizi. Poiché la salienza è una tecnica di elaborazione delle immagini comunemente usata e questi set di dati sono open source, speriamo che altri che hanno utilizzato questi set di dati possano sfruttare le intuizioni emerse dalla taglia per migliorare i propri prodotti.”
Twitter ha affermato incorporerà alcuni aspetti della competizione nei propri processi interni.
Ma in una dichiarazione a ZDNet, Twitter ha affermato che l'obiettivo della sfida “non era identificare ulteriori cambiamenti che dobbiamo apportare al nostro prodotto”, ma semplicemente “riunire la comunità etica degli hacker di intelligenza artificiale, premiarli per il loro lavoro e ampliare il nostro comprensione dei tipi di danni e delle conseguenze indesiderate che questo tipo di modello può potenzialmente causare.”
“Ciò che abbiamo appreso attraverso le presentazioni di questa sfida, tuttavia, aiuterà a informare su come pensiamo a problemi simili in futuro e su come aiutiamo a educare altri team di Twitter su come costruire modelli più responsabili”, ha affermato il portavoce di Twitter.
Twitter si è anche difeso dicendo che il modello di salienza che usano è ampiamente diffuso da altre società e hanno in programma di pubblicare un documento sul pregiudizio.
Quando è stato chiesto se Twitter avrebbe tenuto un altro programma di ricompensa per pregiudizi, il portavoce ha affermato di sperare che i programmi “diventino più guidati dalla comunità”. Hanno esortato altre società a tenere i propri programmi di ricompensa per pregiudizi.
“Questa sfida è stata ispirata da programmi di ricompensa simili nel campo della privacy e della sicurezza. Possiamo vedere il valore degli approcci guidati dalla comunità per comprendere e mitigare i pregiudizi nel machine learning in una gamma di applicazioni per qualsiasi azienda che utilizza l'apprendimento automatico per prendere decisioni automatizzate, “, ha detto il portavoce di Twitter. “Come abbiamo condiviso ad aprile, il nostro team di ML Ethics, Transparency and Accountability (META) sta attualmente conducendo ricerche sui bias di ML in aree come i modelli di raccomandazione.”
Intelligenza artificiale
Che cos'è l'IA? Tutto ciò che devi sapere sull'intelligenza artificiale e i lavori di data science sono caldi. Ecco cosa vogliono i datori di lavoro I migliori robot di telepresenza per acquistare IA stanno diventando più intelligenti, veloci. Questo sta creando domande difficili a cui non possiamo rispondere. I lavori di intelligenza artificiale sono in forte espansione. Queste sono le competenze necessarie per essere assunti (ZDNet YouTube) Intelligenza artificiale: Cheat sheet (TechRepublic)
Argomenti correlati:
Collaborazione con l'intelligenza artificiale CXO Tech Industry Trasformazione digitale Smart Office 