Er is geen echte AI-revolutie zonder ethiek Bekijk nu
Twitter heeft een gedetailleerd rapport uitgebracht over de resultaten van zijn eerste algoritmische bias bounty-uitdaging, waarbij een aantal gebieden werd onthuld waar hun systemen en algoritmen niet eerlijk bleken te zijn.
Twitter beloofde minder afhankelijk te zijn van het bijsnijden van afbeeldingen op basis van ML en begon de wijzigingen in mei 2021 uit te rollen. Een Twitter-woordvoerder vertelde ZDNet dat het het saliency-algoritme grotendeels uit hun service heeft verwijderd. Maar leden van de ethische AI-hackergemeenschap slaagden erin andere problemen te vinden als onderdeel van de algoritmische bias-bounty-uitdaging die deze zomer werd gehouden.
“De resultaten van hun bevindingen bevestigden onze hypothese: we kunnen deze uitdagingen niet alleen oplossen, en ons begrip van vooringenomenheid in AI kan worden verbeterd wanneer verschillende stemmen kunnen bijdragen aan het gesprek,” Yee en schreef Peradejordi.
“Bij het bouwen van systemen voor machinaal leren, is het bijna onmogelijk om alle potentiële problemen te voorzien en ervoor te zorgen dat een model alle groepen mensen in gelijke mate van dienst zal zijn. en sociale vooroordelen.”
De twee voegden eraan toe dat de bias bounty-uitdaging Twitter hielp om in korte tijd een breed scala aan problemen te ontdekken, en merkten op dat de winnende inzending “een contrafeitelijke benadering gebruikte om aan te tonen dat het model de neiging heeft om stereotiepe schoonheid te coderen normen, zoals een voorkeur voor slankere, jongere, vrouwelijke en lichtere gezichten.”
Een andere inzending, die op de tweede plaats eindigde in de competitie, ontdekte dat het algoritme van Twitter voor afbeeldingen met meerdere gezichten bijna nooit mensen met wit haar kiest als de meest opvallende persoon op de foto.
De winnaar van de derde plaats onderzocht taalkundige vooroordelen op Twitter door verschillen te laten zien tussen hoe de site omgaat met Engelse memes en Arabische schriftmemes.
Nog twee prijzen – een voor de meest innovatieve inzending en de meest generaliseerbare inzending – gericht op hoe het model van Twitter de voorkeur geeft aan emoji's met een lichtere huid en hoe het toevoegen van opvulling rond een afbeelding kan voorkomen dat de bijsnijdfunctie wordt vermeden.
Andere inzendingen lieten zien hoe het machine learning-systeem van Twitter bepaalde groepen kan beïnvloeden, zoals veteranen, religieuze groepen, mensen met een handicap, ouderen en mensen die in niet-westerse talen communiceren.
“Vaak is het gesprek over vooringenomenheid in ML gericht op ras en geslacht, maar toen we deze uitdaging doorzagen, kan vooringenomenheid vele vormen aannemen. Onderzoek naar eerlijke machine learning was van oudsher gericht op westerse en VS-gecentreerde kwesties, dus we waren vooral geïnspireerd om meerdere inzendingen te zien die gericht waren op problemen met betrekking tot het Zuiden”, aldus de twee.
“De resultaten van de premie suggereren dat vooroordelen lijken te zijn ingebed in het belangrijkste saliency-model en deze vooroordelen worden vaak geleerd uit de trainingsgegevens. Ons saliency-model is getraind op open source menselijke eye-trackinggegevens, wat het risico inhoudt van het inbedden van bewuste en onbewuste vooroordelen. Aangezien saliency een veelgebruikte beeldverwerkingstechniek is en deze datasets open source zijn, hopen we dat anderen die deze datasets hebben gebruikt, de inzichten uit de premie kunnen gebruiken om hun eigen producten te verbeteren.”
Twitter zei het zal een aantal aspecten van de competitie opnemen in zijn eigen interne processen.
Maar in een verklaring aan ZDNet zei Twitter dat het doel van de uitdaging “niet was om aanvullende wijzigingen te identificeren die we in ons product moeten aanbrengen”, maar om eenvoudig “de ethische AI-hackergemeenschap samen te brengen, hen te belonen voor hun werk en onze begrip van de soorten schade en onbedoelde gevolgen die dit type model mogelijk kan veroorzaken.”
“Wat we door de inzendingen van deze uitdaging hebben geleerd, zal echter helpen om te informeren hoe we in de toekomst over soortgelijke problemen denken, en hoe we andere teams bij Twitter kunnen informeren over hoe ze meer verantwoorde modellen kunnen bouwen”, aldus de Twitter-woordvoerder.
Twitter verdedigde zich ook door te zeggen dat het saliency-model dat ze gebruiken op grote schaal wordt gebruikt door andere bedrijven, en ze zijn van plan een paper over de vooringenomenheid te publiceren.
Op de vraag of Twitter nog een vooringenomen premieprogramma zou houden, zei de woordvoerder dat ze hopen dat de programma's “meer community-gedreven worden”. Ze drongen er bij andere bedrijven op aan om hun eigen vooringenomen premieprogramma's te houden.
“Deze uitdaging is geïnspireerd op soortgelijke premieprogramma's op het gebied van privacy en beveiliging. We zien de waarde van gemeenschapsgestuurde benaderingen om vooroordelen in ML te begrijpen en te verminderen in een reeks toepassingen voor elk bedrijf dat machine learning gebruikt om geautomatiseerde beslissingen te nemen, ', aldus de Twitter-woordvoerder. “Zoals we in april hebben gedeeld, doet ons ML Ethics, Transparency and Accountability (META)-team momenteel onderzoek naar ML-bias op gebieden zoals aanbevelingsmodellen.”
Kunstmatige intelligentie
Wat is AI? Alles wat u moet weten over Artificial Intelligence AI en data science-banen is hot. Dit is wat werkgevers willen De beste telepresence-robots om AI's te kopen worden steeds slimmer en sneller. Dat creëert lastige vragen die we niet kunnen beantwoorden. AI-banen zijn booming. Dit zijn de vaardigheden die je nodig hebt om aangenomen te worden (ZDNet YouTube) Kunstmatige intelligentie: Cheatsheet (TechRepublic)
Verwante onderwerpen:
Kunstmatige intelligentie Samenwerking CXO Tech Industrie Digitale transformatie Smart Office 