När algoritmer gå fel och att vi behöver mer ström för att slå tillbaka, säger AI-forskare

Regeringar och privata företag som använder AI-system i snabb takt, men det offentliga saknar verktyg för att hålla dessa system till svars när de misslyckas. Det är en av de viktigaste slutsatserna i en ny rapport utfärdad av AI Nu har en forskargrupp hem till anställda från tech-företag som Microsoft och Google och samarbetar med New York University.

Rapporten undersöker de sociala utmaningar av AI och algoritmiska system, målsökande på vad forskare kallar “the accountability gap” som denna teknik är integrerad i kärnan sociala domäner.” De lägger fram tio rekommendationer, bland annat för statlig reglering av ansiktsigenkänning (något som Microsoft ordförande Brad Smith förespråkade även för denna vecka) och “sanningen i reklam” lagar för AI-produkter, så att företag inte kan helt enkelt handla om anseende teknik för att sälja sina tjänster.

Stora företag har funnit sig själva i ett AI-gold rush, för laddning i ett brett utbud av marknader, från rekrytering till hälso-och sjukvård för att sälja sina tjänster. Men, som AI Nu medgrundare Meredith Whittaker, ledare av Googles Öppna Research Group, berättar Gränsen, “en hel del av sina påståenden om nytta och nytta är inte backas upp av allmänt tillgängliga vetenskapliga bevis.”

Whittaker ger exempel på IBM: s Watson-systemet, som, under rättegången diagnoser på Memorial Sloan Kettering Cancer Center, gav “osäkra och felaktig behandling rekommendationer”, enligt läckt internt dokument. “De hävdar att deras marknadsavdelning hade gjort om [deras teknik] nära magiska egenskaper var aldrig motiveras av peer-reviewed forskning, säger Whittaker.

2018 har varit ett år av “cascading skandaler” för AI

Författarna av AI Nu: s rapport säger att den här händelsen är bara en av ett antal “cascading skandaler” där AI och algoritmiska system som utnyttjas av myndigheter och stora företag i 2018. Andra sträcker sig från anklagelser om att Facebook hjälpt till att underlätta folkmord i Myanmar, den uppenbarelse som Google är att hjälpa till att bygga AI-verktyg för drönare för den militära som en del av Projektet Maven och Cambridge Analytica skandal.

I alla dessa fall har det varit allmänt ramaskri, liksom de inre motsättningarna i Silicon Valley: s mest värdefulla företag. Året såg Google-anställda att sluta över bolagets Pentagon kontrakt, Microsofts anställda och tvingar företaget att sluta arbeta med Immigration and Customs Enforcement (IS), och anställd strejker från Google, Uber, eBay, och Airbnb protesterar frågor som rör sexuella trakasserier.

Whittaker säger dessa protester, som stöds av arbetskraft allianser och forskningsinitiativ som AI Nu eget, har blivit “en oväntad och glädjande kraft för offentlig ansvarsskyldighet.”

Men rapporten är tydlig: det offentliga behöver mer. Faran för medborgerlig rättvisa är särskilt tydliga när det gäller antagandet av automatiserade beslut system (ADS) av regeringen. Dessa inkluderar algoritmer som används för beräkning av fängelsestraff och tilldela medicinsk hjälp. Vanligtvis, säger rapportens författare, programvara införs i dessa områden, med syfte att minska kostnaderna och öka effektiviteten. Men att resultatet är ofta system för att fatta beslut som inte kan förklaras eller överklagas.

AI Nu är rapporten nämns ett antal exempel, bland annat av Tammy Dobbs, en Arkansas bosatt med cerebral pares som hade henne Medicaid-förutsatt att vård i hemmet klipp från 56 timmar till 32 timmar i veckan utan förklaring. Rättshjälp framgångsrikt stämt Staten av Arkansas och den algoritmiska fördelning system bedömdes vara grundlagsstridig.

Whittaker och kolleger AI Nu medgrundare Kate Crawford, forskare på Microsoft, säger integrationen av ANNONSER i offentliga tjänster har gått vår förmåga att granska dessa system. Men, säger de, att det finns konkreta åtgärder som kan vidtas för att råda bot på detta. Dessa inkluderar kräver teknik-leverantörer som säljer tjänster till regeringen att avstå från handel sekretess-skydd, vilket gör det möjligt för forskarna att bättre undersöka sina algoritmer.

“Om vi vill ha en offentligt ansvar vi har för att kunna granska denna teknik.”

“Du måste kunna säga: ‘du har varit avskurna från Medicaid, här är varför”, och du kan inte göra det med black box-system”, säger Crawford. “Om vi vill ha en offentligt ansvar vi har för att kunna granska denna teknik.”

Ett annat område där insatser behövs omedelbart, säger paret, är användningen av ansiktsigenkänning och påverka erkännande. Den före detta används alltmer och med att polisen, i Kina, USA och Europa. Amazons Rekognition programvara, till exempel, har använts av polisen i Orlando och Washington County, även om försök har visat att programmet kan utföra olika sätt i olika raser. I ett test där Rekognition användes för att identifiera medlemmar av Kongressen hade en felprocent på 39 procent för icke-vita medlemmar jämfört med bara fem procent för vita medlemmar. Och för att påverka erkännande, där företag hävdar att tekniken kan skanna någons ansikte och läsa deras karaktär och ens uppsåt, AI Nu författare säger att företag är ofta sysslat pseudovetenskap.

Trots dessa utmaningar, men, Whittaker och Crawford säger att 2018 har visat att när problem av AI ansvar och bias förs till ljus, tech-anställda, beslutsfattare, och allmänheten är villiga att agera snarare än att hålla med.

När det gäller den algoritmiska skandaler ruvas av Silicon valleys största företag, Crawford säger: “Deras” gå fort och bryta saker ideologi har brutit en massa saker som är ganska varmt för oss och att vi nu måste börja tänka på det allmänna intresset.”

Säger Whittaker: “Vad du ser är människor vakna upp till motsättningar mellan it-utopiska tech retoriken och verkligheten av konsekvenserna av dessa tekniker som är de som används i vardagslivet.”