Met de AI te beperken AI bias
Tonya Hall gesprekken naar Tsjaad Steelberg, mede-oprichter, voorzitter en CEO van Veritone, over manieren waarop AI kan nu gebruikt worden om de ernst van de afwijking van AI.
Stel dat een CCTV-camera waren om ter plaatse uw gezicht in een menigte buiten een stadion. In een datacenter ergens op de planeet, een kunstmatig neuraal netwerk analyseert de beelden van de CCTV-frame-by-frame. Hoeveel vertrouwen hebt u dat dit algoritme kan uitsluiting van uw gezicht uit een set van mug shots in een Interpol wanted-lijst?
Als de politie te bellen, afgezien voor vragen, informeert u precies wat het algoritme afgeleid uit het beeld, en je vertellen dat ze een reden had om aan vast te houden, hoe zou je jezelf verdedigen? Kun je beweren dat het is oneerlijk voor iets of iemand aan te nemen om te weten wat een terroristische meestal lijkt? Zou u beschuldigen sommige ontwikkelaar of exploitant van discriminatie tegen mensen met uw huidskleur of geslacht? Of zou u kiezen voor een meer technische bewering — bijvoorbeeld, dat deze algoritmes hebben de neiging om verkeerd? Welke van deze beweringen zou hebben de grootste kans dat u het huis aan het eind van de dag?
Afwijking van cognitie
Het grootste probleem met machine learning systemen is dat we onszelf niet begrijp is alles wat ze zogenaamd leren, noch zijn wij zeker van dat ze leren alles wat ze zou moeten of kunnen worden. We hebben systemen die trekken meestal, maar nooit volledig, juist de conclusies van de gewone data, door middel van logica, dat is niet evident.
De herhaling effect is de impliciete veronderstelling dat een vaak herhaalde verklaring (bijvoorbeeld, “Vrouwen krijgen nooit ergens in dit bedrijf”, “John Kerry nooit in Vietnam”) moet worden voldaan. De implicatie hier is die conversatie aannames kunnen de feitelijke regels, zelfs als de mensen het delen van die verklaringen denk niet dat ze het geloven.Confirmation bias is vrij eenvoudig te verklaren: Het is een neiging om geloof hechten aan een regel die analisten of ontwikkelaars verondersteld om waar te beginnen.Negativiteit bias is, vreemd genoeg, juist het tegenovergestelde: de neiging om extra geloof hechten aan een regel of conclusie dat weerlegt de hypothese, zelfs als die hypothese zwak was om te beginnen met.Het primacy-effect is een fenomeen waarbij analisten kan het sluiten van een regel om waar te zijn op basis van de eerste gegevens, al blijven behandelen die regel als het ware toen later de gegevens controverts het. Het is het fenomeen dat, bijvoorbeeld, geeft het gewicht aan het begin van de front-runner in een cumulatieve tally, zoals een stemmen tellen, hoewel dat de front-runner status kan zijn toe te rekenen aan die gegevens arbitrair geteld eerste.
Voor veel van deze cognitieve biases, de voorgeschreven debiasing tegengif is voornamelijk informatief of educatief van aard. Als ontwikkelaars of data-analisten op de hoogte zijn van de onderliggende logica, en de misvatting van de betwisten, dan zullen ze meer kans om te vangen van hun eigen vooroordelen voordat ze handelen.
Maar dit onderzoek maakt een potentieel zwakke hypothese: dat AI algoritmen in de praktijk worden meestal de regel-gebaseerde besluit motoren, geen machine learning systemen. Zij vertrouwden op analisten het vermogen om uit te leggen wat de regels bedoeld in het engels. Bij het uitleggen van wat zij noemden de “combinatie drogreden,” ze hebben zelfs geprobeerd om opnieuw te definiëren, in een logische en contextuele detail, de betekenis van “en.” Voor dit team, cognitieve bias kaarten zelf op AI bias door middel van taal-door een verkeerd begrip van de regels en verkeerde interpretatie van hun resultaten.
Machine learning systemen zijn bij het ontwerp, niet de regel-gebaseerd. Inderdaad, hun hele doel is om te bepalen wat de regels zijn of kunnen worden, als we niet weten hen om te beginnen. Als de menselijke cognitieve vooroordelen eigenlijk kan zelf opdruk op machine learning, hun enige manier om in het systeem is met behulp van de gegevens.
De trade-off
In de machine learning, bias is een berekenbaar schatting van de mate waarin de conclusies gemaakt over een set gegevens hebben de neiging om verkeerd. Door “verkeerd” is in deze context bedoelen we niet onjuist of ongepast, net als het onderwerp van een politieke discussie over Twitter, maar nogal onnauwkeurig. In de wiskundige zin, er kan een aantal manieren voor het berekenen van bias, maar hier is een methodiek die heeft de grootste invloed in het kader van AI-software: Kwantitatief, bias in een nieuw algoritme is het verschil tussen de vastgestelde tarief van de fout en de fout beoordelen van een bestaande, vertrouwde algoritme in dezelfde categorie. Anders gezegd, wanneer we aan de slag om 0s en 1s, alle bias is relatief.
“ML-modellen zijn ondoorzichtig en inherent subjectief”, zei Douglas Merrill, CEO van credit software bedrijf ZestFinance in zijn getuigenis in de AMERIKAANSE House committee afgelopen juni. “Dus, kredietverstrekkers stelden zich, de consumenten, en de veiligheid en soliditeit van het financiële systeem in gevaar als ze niet correct valideren en controleren ML modellen.”
Merrill schetste een beeld van machine learning systemen als “zwarte dozen” — apparaten met duidelijke ingangen en uitgangen, maar biedt geen inzicht in de verbindingen tussen de twee. Inderdaad, neurale netwerken, door het ontwerp, niet-deterministisch. Als de menselijke geest, maar op een veel meer beperkte schaal, kunnen ze gevolgtrekkingen maken, aftrekposten, of voorspellingen zonder te zien hoe. Dat is een probleem voor een instelling waarvan de algoritmes die bepalen of goed te keuren voor een aanvrager, de aanvraag voor het krediet. Wetten in de verenigde staten en elders nodig credit rapportage agentschappen om transparant te zijn over hun processen. Dat wordt bijna onmogelijk als de financiële instellingen regelen van de gegevens op basis waarvan ze verslag kan niet goed uitleggen wat er aan de hand voor zich.
Dus als een individu krediet aanvraag is afgewezen, lijkt de processen die hebben geleid tot die beslissing te behoren tot een mechanisme dat is ondoorzichtig door het ontwerp.
In een lezing voor zijn computer science studenten aan de Cornell University, Associate Professor Kilian Weinberger V. aangeboden deze uitleg: Stel dat het doel van een machine learning algoritme is om een object te identificeren, gebaseerd op het trainen van gegevens die staat voor hetzelfde object. Formeel gezien, een dergelijke bepaling is een hypothese (h). Het doel van een machine learning algoritme is om te beschrijven dat de hypothese als een toewijzing van de functie-een manier om het verband tussen de invoer van gegevens naar de classifiers die het resultaat zijn van de analyse. Het doel van de functie is het product van een neuraal netwerk te trainen. Via die functie, een machine learning systeem kan de evaluatie van de testgegevens en het renderen van een classifier — een naam of label die het identificeert (y). Dus als je verse input van gegevens via een doel van de functie die werd zelf geproduceerd door middel van training data, dan wordt die functie in staat moet zijn om te erkennen dat de input data als één van de classifiers het al geleerd.
Prof. Dr. Kilian Weinberger V.
Cornell University
Elke machine learning algoritme is een fout tarief (E), die een maat is van de betrouwbaarheid. Wiskundig kan het fout tarief vertegenwoordigt de waarschijnlijke verschil tussen de definitie en feit. Alle berekende fout tarief schatting kapot (“ontleedt”) in drie onderdelen:
Lawaai (ook wel het absolute fout) is het verschil tussen het label of de identiteit van de functie wordt afgeleid van de testgegevens en het label dat de functie wordt verwacht te hebben afgeleid gegeven de training data. Het is de mate van onnauwkeurigheid op het deel van de invoer, wanneer het doel van de functie duidelijk wordt het verkeerd.Zodra variantie en geluid hebben opgenomen en meegenomen uit, wat blijft is de mate van de fout die heeft meestal geen account of uitleg. Dit is de laatste maat van de functie is het onvermogen om de werkelijkheid, met alle andere factoren uitgesloten. Dit is een vooroordeel. “Als ik had oneindig veel training datasets,” verklaarde Weinberger, “en de verwachte indeler, en lawaai maakt niet uit. . . hoeveel fout ik krijg nog steeds? Wat heeft dat te vangen? Dat [restant] in principe vangt hoeveel mijn classifier is bevooroordeeld in de richting van een andere verklaring, die is niet echt in de gegevens.”
Van Prof. Weinberger ‘ s perspectief, vertekening is het een onderdeel van een fout waarvan de oorzaken niet worden onthuld door de gegevens, of via een wiskundige analyse van die gegevens. Zijn lezing wordt weergegeven om te bewijzen dat onze oorspronkelijke theorie: als je Eenmaal weg van de patronen van de fout waarvan de oorzaken zijn rationeel, wat blijft er moet worden die patronen die irrationeel zijn (“een andere verklaring die is niet echt in de gegevens”). Het heeft ook de deugd van de klinkende als Sherlock Holmes (“Wat blijft echter onwaarschijnlijk…”) uitgaande van Holmes was op zoek naar het tegenovergestelde van de waarheid.
Als een machine learning systeem waren alleen geschikt voor het genereren van een lineaire regressie model (afgebeeld linksboven) dan zou het produceren van een vector die het beste passen bij de grafiek van de training data. Zoals een vector kan een hoge bias (links) vergeleken tegen de vector voor de test gegevens. Machine learning is eigenlijk geschikt voor het produceren van een functie met een relatief lage bias, dat nauw aansluit op de opleiding van gegevens (rechtsboven). Het probleem is, wanneer u te elimineren zo veel vooringenomenheid mogelijk, het verschil tussen de training en test functies — wat de som van de kwadraten van de afstanden tussen de voorspelde en werkelijke waarden, — is enorm.
Uitgelegd Dell, EMC-CTO Roese:
John Roese – Global CTO
Dell, EMC
Er zijn vele manieren om te beschrijven bias. U kunt het omschrijven als de drift van een algoritme de loop van de tijd op basis van de inputs. U kunt het omschrijven als de delta tussen de voorspelde foutmarge en wat je daadwerkelijk te verwezenlijken. De uitdaging met vooroordelen, hoewel, in dit kader, heeft de neiging om rond het feit dat het niet gemakkelijk laten kwantificeren in een bepaalde functie in real time, want het is meestal een uiting van eerdere activiteiten of gegevens, waar u niet moet volledige transparantie over de herkomst en oorsprong.
Ironisch genoeg, het meten van machine learning is de effectiviteit in het creëren van betrouwbare doel van de functies is hoe veel minder vertekening ze produceren, in vergelijking met een zuiver wiskundige functie als best-fit bochten of lineaire regressie. Hoewel het onmogelijk om een doel te fungeren als een zuivere formule, het verhaal vertelt is in de resultaten: Het is in staat meer nauw montage van de test gegevens dan iets geproduceerd door, zeg, de som van de kleinste kwadraten methode. Maar op hetzelfde moment, het kan gaan helemaal de andere kant: De theoretische mate waarin een machine learning doel van de functie kan meer benadert het verwachte resultaat is hetzelfde in hoeverre kan het minder nauw te benaderen. Dat is de variantie.
Er is een omgekeerde relatie tussen de bias en variantie, voor wat AI beoefenaars noemen de bias/variantie nadeel. Als de afwijking kan worden verminderd voor een model van de opleiding ingesteld, variantie toeneemt. Dit is het moeilijkste feit te verzoenen met. Terwijl bias vertegenwoordigt de mate waarin het doel van de functie van de resultaten kan worden pijnlijk, variantie geeft aan hoe veel het verkeerd kan zijn.
Zwarte doos
Hier is het waar dat het verleidelijk is om te verwijderen van de verbinding of de causaliteit tussen de menselijke cognitieve bias en AI computational bias — om te zeggen dat vooroordeel is niet iets dat mensen opdruk, per ongeluk of anderszins, op de machine learning model. Maar onderzoekers ontdekken, en zelfs bewijzen, dat de twee begrippen zijn niet toevallig met elkaar gecorreleerd zijn. Voor de Mei 2019 vergadering van de Web-Conferentie in San Francisco, de onderzoekers van de Penn State en de Purdue Universiteiten geprobeerd om het principe van de causaliteit om vooroordelen en een aantal noemden ze billijkheid [PDF]. Daarbij ontdekten ze de bias/variantie trade-off werkte tegen hen. “Er is een toenemende interesse in algoritmische besluitvorming systemen die aantoonbaar fair” het team schreef. Ze vervolgde:
Helaas, het kiezen van de juiste definitie van de billijkheid in de gegeven context is zeer uitdagend vanwege een aantal redenen. Eerste, afhankelijk van de relatie tussen een beschermd kenmerk en de gegevens, afdwingen van bepaalde definities van billijkheid kunnen zelfs een toename van discriminatie. Ten tweede, de verschillende definities van billijkheid kan het onmogelijk zijn om te voldoen tegelijk. Veel van deze problemen kunnen worden toegeschreven aan het feit dat fairness criteria zijn uitsluitend gebaseerd op de gezamenlijke kansverdeling van de random variabelen van belang… Vandaar, is het verleidelijk om de aanpak van het probleem van de rechtvaardigheid door de lens van de causaliteit. Het beantwoorden van vragen van eerlijkheid door de lens van de causaliteit houdt in het vervangen van de vraag “Is de discriminerende beslissing met betrekking tot een beschermd kenmerk?” door: “Heeft het attribuut protected een causaal effect op de beslissing?”
Anders gezegd: Als iemand bewust de moeite om de schijn van racisme uit een machine learning model, kunnen ze een negatieve invloed op de nauwkeurigheid van de resultaten. Dit is een gevaarlijke vordering te maken in een publiek forum. Buiten de juiste context, lijkt te zeggen dat de enige nauwkeurige modellen zijn mensen die gevoelig zijn voor het maken van stellingen die zijn, op zijn minst, gênant, en in het ergste geval een schending van de rechten van mensen.
Elders
Kan Kunstmatige Intelligentie Onkruid Uit Onbewuste Bias?Dit is Wat er Gebeurt Als Diep Leren Neurale Netwerken Hallucinerenmet Behulp van kunstmatige intelligentie te detecteren discriminatie
Verwante Onderwerpen:
Innovatie
Digitale Transformatie
CXO
Het Internet van Dingen
Enterprise Software
Smart Cities