De tech-industrie niet hebben van een plan voor het omgaan met vooroordelen in gezichtsherkenning

Gezichtsherkenning is onderdeel van de stof van het dagelijks leven. Misschien heeft u al gebruiken om in te loggen op uw telefoon of computer, of verifiëren betalingen met uw bank. In China, waar de technologie komt vaker voor, je gezicht kan worden gebruikt voor het kopen van fast food, of het claimen van uw uitkering van het wc-papier op een openbaar toilet. En dit is om niets te zeggen van hoe recht handhaving agentschappen over de hele wereld zijn aan het experimenteren met gezichtsherkenning als instrument van de massa van het toezicht.

Maar de wijdverbreide acceptatie van deze technologie logenstraft onderliggende structurele problemen, niet in het minst het probleem van bias. Door deze onderzoekers betekenen dat de software die gebruikt wordt voor gezichts-identificatie, herkenning, of een analyse uitvoert, anders op basis van de leeftijd, het geslacht en de etniciteit van de betreffende persoon te identificeren.

Een studie gepubliceerd in februari door onderzoekers van het MIT Media Lab vinden dat gezichtsherkenning algoritmen ontworpen door IBM, Microsoft, en het Gezicht++ had het foutpercentage van maximaal 35 procent hoger zijn wanneer het detecteren van het geslacht van donkerder gekleurde vrouwen in vergelijking met lichter gekleurde mannen. Op deze manier bias in gezichtsherkenning dreigt voor het versterken van de vooroordelen van de maatschappij; in onevenredige mate van invloed zijn vrouwen en minderheden, mogelijk vergrendeling hen uit de wereld van de digitale infrastructuur, of het toebrengen van het leven-veranderende oordeel over hen.

We moeten de industrie-brede juistheid tests voor gezichtsherkenning

Dat is het slechte nieuws. Slechter nieuws is dat de bedrijven nog niet over een plan om dit op te lossen probleem. Hoewel de individuele bedrijven zijn de aanpak van bias in hun eigen software, experts zeggen dat er geen benchmarks die het mogelijk maken het publiek te volgen verbetering op een industrie-brede schaal. En dus wanneer bedrijven doen verminderen bias in hun algoritmen (zoals Microsoft aangekondigd dat zij in de laatste maand), is het moeilijk te beoordelen hoe zinvol dit is.

Clare Garvie, een medewerker van de Georgetown Law Center op Privacy & Technologie, vertelde Het Punt dat velen geloven dat het tijd is om te introduceren aan de industrie-brede benchmarks voor bias en nauwkeurigheid: de tests die meten hoe goed algoritmen uit te voeren op verschillende demografische gegevens, zoals leeftijd, geslacht en huidskleur. “Ik denk dat dat ongelooflijk veel voordelen,” zegt Garvie. “Met name voor de bedrijven die worden contracteren met de overheid.”

Wat zijn de bedrijven doen?

In een informele enquête, Het Punt nam contact op met een dozijn andere bedrijven die verkopen gezichts-identificatie, herkenning en analyse algoritmes. Alle bedrijven die antwoordde, zei ze waren zich bewust van het probleem van bias, en de meeste zeggen dat ze hun best doen om het te verminderen in hun eigen systemen. Maar niemand zou delen gedetailleerde gegevens over hun werk, of onthullen hun eigen interne gegevens. Als u regelmatig een gezichtsherkenning-algoritme, zou je dan niet willen weten of het consistent presteert slechter voor je geslacht of huidskleur?

Google, die verkoopt alleen algoritmen die het detecteren van de aanwezigheid van gezichten, niet hun identiteiten, zei: “Wij doen de test voor bias en we zijn voortdurend bezig met het testen van onze onderliggende modellen in een poging om ze minder vooroordelen en meer fair. We hebben geen meer detail te delen rond dat op dit moment.”

Microsoft gewezen op de recente verbeteringen, waaronder de gender recognition software, die heeft nu een fout tarief van 1,9 procent voor de donkere huidskleur, vrouwen (van 20,8 procent). De onderneming heeft geen officiële reactie, maar wees op een juli blog post door de chief legal officer, Brad Smith. In de post, Smith zei dat het tijd was voor de AMERIKAANSE regering tot regeling van haar eigen gebruik van gezichtsherkenning, maar niet de implementatie door private ondernemingen. Met inbegrip van, misschien, het instellen van een minimale nauwkeurigheid van de normen.

Sommige van tech is de grootste bedrijven ondersteunen benchmarks en regelgeving

IBM ook gewezen op de recente verbeteringen, alsmede de release van de laatste maand van een gevarieerde dataset voor de opleiding van systemen voor gezichtsherkenning, samengesteld ter bestrijding van vooroordelen. Ruchir Puri, chief architect van IBM Watson, vertelde De Rand in juni dat het bedrijf is geïnteresseerd in het helpen vaststellen van de nauwkeurigheid van benchmarks. “Er moet matrixen waardoor veel van deze systemen moet worden veroordeeld,” zei Puri. “Maar dat het beoordelen dient uitgevoerd te worden door de gemeenschap, en niet door een andere speler.”

Amazon ook niet reageren op vragen, maar stuurde ons naar verklaringen heeft eerder dit jaar na kritiek door de ACLU voor de verkoop van gezichtsherkenning tot handhaving van de wet. (ACLU soortgelijke kritiek vandaag: tests van het bedrijf gezichtsherkenning software te identificeren foto ‘ s van het Congres leden, en vond dat ze onjuist afgestemd 28 personen aan criminele smoelenboek.)

Amazon zegt dat het trekken van klanten toegang tot de algoritmen als ze worden gebruikt om illegaal te discrimineren of inbreuk maken op het recht van privacy, maar maakt geen melding van enige vorm van toezicht. Het bedrijf, vertelde De Rand hadden de teams werken aan het intern testen en verwijderen van alle vooroordelen van haar systemen, maar zou het delen van meer informatie. Dit is opmerkelijk gezien het feit Amazon blijft verkopen zijn algoritmes om te agentschappen van de wetshandhaving.

Van de onderneming leveranciers De Rand benaderd, sommige bieden niet een direct antwoord op alle, met inbegrip van FaceFirst, Gemalto, en NEC. Anderen, zoals Cognitec, een duitse firma die verkoopt gezichtsherkenning algoritmen om handhaving van de wet en de grens agentschappen over de hele wereld toegegeven dat het voorkomen van bias was moeilijk zonder de juiste gegevens.

“Databases die beschikbaar zijn, zijn vaak bevooroordeeld,” Cognitec, marketing manager, Elke Oberg, vertelde De Berm. “Ze kunnen gewoon worden van blanke mensen, want dat is wat de provider beschikbaar als modellen.” Oberg zegt Cognitec zijn best doet om te trainen op de diverse gegevens, maar zegt dat de krachten van de markt zal het onkruid uit de slechte algoritmen. “Alle verkopers werken op [het probleem] omdat het publiek weet het,” zei ze. “En ik denk dat als je wilt om te overleven als een verkoper zal je zeker nodig hebt om het trainen van je algoritme op zeer uiteenlopende gegevens.”

Hoe kunnen we het probleem van bias?

Deze antwoorden laten zien dat er weliswaar bewust van het probleem van bias, er is geen gecoördineerde reactie. Dus wat te doen? De oplossing voor de meeste experts raden is in principe simpel, maar lastig uit te voeren: maak industrie-brede tests voor de juistheid en bias.

Het interessante is dat een dergelijke test bestaat al, soort van. Het heet de FRVT (gezichtsherkenning Leverancier van Test) en wordt beheerd door de National Institute of Standards and Technology of NIST. Het testen van de nauwkeurigheid van tientallen systemen voor gezichtsherkenning in verschillende scenario ‘ s, zoals het vergelijken van een pasfoto voor een persoon die in een border gate, of overeenkomende gezichten van CCTV beelden te smoelenboek in een database. En het testen van het “demografische verschillen” — hoe algoritmes uit te voeren op basis van geslacht, leeftijd en ras.

Echter, de FRVT is volledig op vrijwillige basis, en de organisaties die het indienen van hun algoritmen hebben de neiging om ofwel enterprise leveranciers proberen om hun diensten te verkopen aan de federale overheid, of academici het testen van nieuwe, experimentele modellen. Kleinere bedrijven als NEC en Gemalto dienen hun algoritmes, maar geen van de grote commerciële tech bedrijven.

Garvie suggereert dat het niet zozeer het creëren van nieuwe tests voor gezichtsherkenning nauwkeurigheid, is het misschien een goed idee om uit te breiden het bereik van de FRVT. “NIST heeft een zeer bewonderenswaardige werk in het uitvoeren van deze tests,” zegt Garvie. “[Maar] zij hebben beperkte middelen. Ik vermoed dat we het nodig zouden hebben van de wetgeving of van de federale financiële steun om het vermogen te verhogen van NIST testen van andere bedrijven.” Een andere uitdaging is dat de diepe leren van algoritmen geïmplementeerd door de wil van Amazon en Microsoft kan niet gemakkelijk worden verzonden voor analyse. Ze zijn grote stukken van het constant updaten van de software, anders dan bij oudere systemen voor gezichtsherkenning, die meestal op één usb-stick.

“We gaan niet doen verordening, doen we niet op ons beleid. We hebben net het produceren van nummers.”

Spreken tot De Rand, NIST biometrische standaarden en testen leiden Patrick Grother duidelijk gemaakt dat de organisatie de huidige rol is niet reglementair. “We gaan niet doen verordening, doen we niet op ons beleid. Wij produceren getallen”, zegt Grother. NIST heeft getest voor de juistheid van gezichtsherkenning algoritmen voor bijna 20 jaar, en is momenteel bezig met een rapport specifiek gericht op het onderwerp van de afwijking, te wijten aan het eind van het jaar.

Grother zegt dat hoewel er “een aanzienlijke vermindering van de fouten” sinds NIST begon te testen, zijn er nog steeds grote verschillen tussen de prestaties van verschillende algoritmes. “Niet iedereen kan het doen gezichtsherkenning, maar veel mensen denken dat ze kunnen”, zegt hij.

Grother zegt dat de recente bespreking van de afwijking vaak verwart verschillende soorten problemen. Hij wijst erop dat, hoewel een gebrek aan diversiteit in de opleiding van datasets kunnen maken bias, zo kan ook slecht met het fotograferen van het onderwerp, vooral als hun huidskleur is niet goed belicht. Ook verschillende types van fouten betekent meer wanneer het wordt toegepast op verschillende soorten taken. Al deze subtiliteiten zou moeten worden beschouwd voor een benchmark of op de verordening.

Bias is niet het enige probleem

Maar de discussie over vooroordelen en nodigt andere vragen over het gebruik van de maatschappij van gezichtsherkenning. Waarom zorgen maken over de juistheid van deze hulpmiddelen als een groter probleem is of ze al dan niet zullen worden gebruikt voor overheid toezicht en de gerichtheid van de minderheden?

Vreugde Buolamwini, een AI-wetenschapper die de co-auteur van de MIT-studie op verschillende nauwkeurigheid van de wisselkoersen in gender-identificatie van algoritmen, vertelde De Rand over e-mail die vaststelling bias alleen niet volledig adres van deze bredere problematiek. “Wat goed is voor de ontwikkeling van gezichts-analyse-technologie dat is dan bewapende?” zegt Buolamwini. “Een meer integrale aanpak die behandelt problemen met gezichts-analyse-technologie als een socio-technische probleem is nodig. De technische aspecten kunnen niet los worden gezien van de sociale gevolgen.”

Buolamwini en enkele anderen in de AI van de gemeenschap nemen een proactieve houding aan deze vraagstukken. Brian Brackeen, CEO van gezichtsherkenning leverancier van Kairos, heeft onlangs aangekondigd dat zijn bedrijf niet zou verkopen systemen voor gezichtsherkenning tot handhaving van de wet, omdat de mogelijkheid van misbruik.

“De technische aspecten niet los kan worden gezien van de sociale gevolgen.”

Spreken tot De Rand, Brackeen zegt dat als het gaat om commerciële implementatie van gezichtsherkenning, de krachten van de markt zou helpen bij het elimineren van vooringenomen algoritmen. Maar, zegt hij, toen deze tools worden gebruikt door de overheid, de inzet veel hoger. Dit is omdat de federale instanties hebben toegang tot veel meer gegevens, het vergroten van de mogelijkheid van deze systemen worden gebruikt voor onderdrukkende toezicht. (Het is geschat dat de AMERIKAANSE regering houdt gezichts-gegevens voor de helft van het land van de volwassen bevolking.) Ook de beslissingen genomen door de regering met behulp van deze algoritmen zullen een grotere impact hebben op de levens van individuen.

“De use case [voor de handhaving van de wet] is niet alleen een camera aan de straat; het lichaam van de camera’ s, smoelenboek, line-ups,” zegt Brackeen. Als bias is een factor in deze scenario ‘ s, zegt hij, dan “heb je een grotere kans voor een persoon van een bepaalde kleur worden ten onrechte beschuldigd van een misdaad.”

Discussie over vooroordelen, dan lijkt het slechts het begin van een veel groter debat. Als Buolamwini zegt, benchmarks kunnen een rol spelen, maar er moet meer gebeuren: “Bedrijven, onderzoekers en academici de ontwikkeling van deze tools hebben om verantwoordelijkheid te nemen voor het plaatsen van context beperkingen op de systemen die zij ontwikkelen als de wil beperken harms.”