Når algoritmer gå galt, vi har brug for flere kræfter til at kæmpe sig tilbage, siger AI-forskere

Regeringer og private virksomheder er implementering af AI-system i et hurtigt tempo, men mangler værktøjer til at holde disse systemer ansvarlig, når de fejler. Det er en af de vigtigste konklusioner i en ny rapport, som AI Nu, har en forskergruppe med hjem til ansatte fra tech virksomheder som Microsoft og Google, og tilknyttet New York University.

Rapporten undersøger de sociale udfordringer i AI og algoritmisk systemer, med fokus på det, som forskerne kalder “den ansvarlighed hul”, da denne teknologi er integreret på tværs af de centrale sociale domæner.” De lægger frem ti anbefalinger, herunder at kalde for offentlig regulering af ansigtsgenkendelse (noget Microsoft-formand Brad Smith har også slået til lyd for i denne uge) og “sandhed-i-reklame,” love for AI produkter, så virksomhederne kan ikke bare handle om omdømme-teknologi til at sælge deres tjenester.

Store tech firmaer har fundet sig selv i en AI-gold rush, til opladning i en bred vifte af markeder fra rekruttering til sundhedspleje til at sælge deres tjenester. Men, som AI Nu medstifter Meredith Whittaker, leder af Google ‘ s Open Research Group, fortæller The Verge, “en masse af deres påstande om gavn og nytte ikke er bakket op af offentligt tilgængelige videnskabelige beviser.”

Whittaker giver eksemplet med IBM ‘ s Watson-system, som, i løbet af retssagen diagnoser på Memorial Sloan Kettering Cancer Center, gav “usikker og forkert behandling anbefalinger,” ifølge lækkede interne dokumenter. “De hævder, at deres marketing afdeling havde lavet om [deres teknologi] nær-magiske egenskaber aldrig blev underbygget af peer-reviewed forskning,” siger Whittaker.

2018 har været et år med en “overlappende skandaler” til AI

Forfatterne af AI-Nu er rapporten siger, at denne hændelse er blot en af en række “cascading skandaler”, der omfatter AI og algoritmisk systemer anvendes af regeringer og store tech virksomheder i 2018. Andre spænder fra beskyldninger om, at Facebook hjalp lette folkedrab i Myanmar, at den åbenbaring, at Google ‘ s er med til at opbygge AI værktøjer til droner til militæret som en del af Projektet Maven, og Cambridge Analytica skandale.

I alle disse tilfælde har der været ramaskrig samt interne uenighed i Silicon Valley ‘ s mest værdifulde virksomheder. De år oplevede en Google-medarbejdere at holde op over virksomhedens Pentagon kontrakter, Microsoft-medarbejdere presser virksomheden til at stoppe med at arbejde med Immigration and Customs Enforcement (ICE), og medarbejderen walkouts fra Google, Uber, eBay, og Airbnb protesterer spørgsmål, der involverer seksuel chikane.

Whittaker siger, at disse protester, der understøttes af arbejdskraft alliancer og forskningsinitiativer som AI Nu selv er blevet en uventet og glædeligt kraft for den offentlige ansvarlighed.”

Men rapporten er klar: det offentlige har brug for mere. Den fare, at borgerlige retfærdighed er især tydeligt, når det kommer til indførelse af automatiseret afgørelse systemer (ANNONCER) af regeringen. Disse omfatter algoritmer, der anvendes til beregning af fængselsstraffe og færre lægehjælp. Normalt, siger rapportens forfattere, software er indført i disse områder med henblik på at nedbringe omkostninger og øge effektiviteten. Men at resultatet er ofte, systemer til at træffe beslutninger, der ikke kan forklares eller ankes.

AI-Nu er rapporten nævner en række eksempler, herunder af Tammy Dobbs, en Arkansas bopæl med cerebral parese, der havde sit Medicaid-såfremt hjemmepleje er skåret fra 56 timer til 32 timer om ugen uden forklaring. Retshjælp med succes sagsøgt Staten Arkansas, og den algoritmiske system til fordeling blev vurderet til at være forfatningsstridig.

Whittaker og kolleger AI Nu medstifter Kate Crawford, en forsker hos Microsoft, siger integration af ANNONCER i offentlige tjenester har overhalet vores evne til at revidere disse systemer. Men de siger, at der er konkrete skridt, der kan tages for at afhjælpe dette. Disse omfatter kræver teknologi-leverandører, der sælger tjenester til regeringen om at ophæve handel tavshedspligt beskyttelse, og derved giver forskere mulighed for bedre at kunne undersøge deres algoritmer.

“Hvis vi ønsker en offentlig ansvarlighed vi er nødt til at være i stand til at kontrollere denne teknologi.”

“Du er nødt til at være i stand til at sige, ‘du har været afskåret fra Medicaid, her er “hvorfor”, og du kan ikke gøre det samme med black box systemer”, siger Crawford. “Hvis vi ønsker en offentlig ansvarlighed vi er nødt til at være i stand til at kontrollere denne teknologi.”

Et andet område, hvor der er behov for handling straks, siger parret, er brugen af facial anerkendelse og indflydelse anerkendelse. Førstnævnte er i stigende grad anvendes af politiet i Kina, USA og Europa. Amazon ‘ s Rekognition software, for eksempel, har været udsendt af politiet i Orlando og Washington County, selv om undersøgelser har vist, at den software, der kan udføre forskelligt på tværs af forskellige racer. I en test, hvor Rekognition blev brugt til at identificere medlemmerne af Kongressen, at det havde en fejlprocent på 39 procent for ikke-hvide medlemmer i forhold til at kun fem procent for hvid medlemmer. Og for at påvirke anerkendelse, hvor virksomheder hævder teknologi kan scanne en persons ansigt og læse deres karakter og selv hensigt, AI Nu er forfattere siger, virksomheder, er ofte nye pseudovidenskab.

På trods af disse udfordringer, men, Whittaker og Crawford sige, at 2018 har vist, at når problemer af AI ansvarlighed og bias er bragt frem i lyset, tech medarbejdere, lovgivere og offentligheden er villig til at handle snarere end samtykker.

Med hensyn til den algoritmiske skandaler inkuberes med Silicon Valley ‘ s største virksomheder, Crawford siger: “Deres” bevæge sig hurtigt og bryde ting’ ideologi har brudt en masse ting, der er temmelig kærlighed til os, og lige nu er vi nødt til at begynde at tænke på at det er i offentlighedens interesse.”

Siger Whittaker: “Hvad du ser er folk vågne op til modsætningerne mellem de cyber-utopiske tech retorik og virkelighed konsekvenser af disse teknologier, som de er brugt i hverdagen.”