Wanneer algoritmen verkeerd gaan we nog meer vermogen nodig hebt om terug te vechten, zeg AI-onderzoekers

Overheden en private ondernemingen de implementatie van AI-systemen in een snel tempo, maar het publiek mist de instrumenten om deze systemen van verantwoording wanneer ze falen. Dat is een van de belangrijkste conclusies in een nieuw rapport uitgegeven door de AI Nu, een onderzoek groep medewerkers van tech-bedrijven als Microsoft en Google en verbonden aan de Universiteit van New York.

Het rapport bestudeert de sociale uitdagingen van de AI en algoritmische systemen, homing in op wat de onderzoekers noemen “de accountability gap” als deze technologie is geïntegreerd “in de kern maatschappelijke domeinen.” Ze tien aanbevelingen, inclusief het aanroepen voor de regelgeving van de overheid van gezichtsherkenning (iets wat Microsoft president Brad Smith pleitte ook voor voor deze week) en “waarheid in advertenties” – wetten voor AI producten, zodat de bedrijven kunnen het niet alleen om de handel op de reputatie van de technologie om hun diensten te verkopen.

Grote tech-bedrijven gevonden zich in een AI gold rush, opladen in een brede waaier van markten, van werving tot de gezondheidszorg om hun diensten te verkopen. Maar, als AI Nu co-founder Meredith Whittaker, leider van Google ‘ s Open Research Group, vertelt De Rand, “veel van de beweringen over het voordeel en nut worden niet gesteund door het publiek toegankelijke wetenschappelijke bewijzen.”

Whittaker geeft het voorbeeld van IBM ‘ s Watson-systeem, dat, tijdens de proefperiode diagnoses aan de Memorial Sloan Kettering Cancer Center, gaf “onveilige en onjuiste behandeling aanbevelingen”, volgens de gelekte interne documenten. “De vorderingen die hun marketing afdeling gemaakt had over [hun technologie is] in de buurt-magische eigenschappen zijn nooit onderbouwd door peer-reviewed onderzoek,” zegt Whittaker.

2018 is een jaar geweest van “cascading schandalen” voor AI

De auteurs van AI Nu het rapport zeggen dat dit een incident is slechts één van een aantal van de “trapsgewijze schandalen” waarbij de AI en algoritmische systemen ingezet door overheden en grote tech-bedrijven in 2018. Anderen variëren van beschuldigingen dat Facebook meewerkten aan de genocide in Myanmar, in de openbaring van Google is te helpen bij het opbouwen AI tools voor drones voor de militairen als onderdeel van het Project Maven, en de Cambridge Analytica schandaal.

In al deze gevallen is er publieke verontwaardiging en de interne dissidentie in Silicon Valley ‘ s meest waardevolle bedrijven. Het jaar zag Google-werknemers stoppen met het bedrijf over het Pentagon contracten, medewerkers van Microsoft druk uit op het bedrijf om te stoppen met werken met Immigration and Customs Enforcement (ICE) en werknemer walkouts van Google, Uber, eBay, en Airbnb protesteren problemen met betrekking tot seksuele intimidatie.

Whittaker zegt deze protesten, ondersteund door arbeid allianties en onderzoeksinitiatieven zoals AI Nu eigen, “een onverwachte en het bevredigen van kracht voor publieke verantwoording.”

Maar het rapport is duidelijk: het publiek heeft behoefte aan meer. Het gevaar voor de maatschappelijke rechtvaardigheid is vooral duidelijk als het gaat om de goedkeuring van geautomatiseerde beslissing systemen (ADS) door de overheid. Deze zijn algoritmes die gebruikt worden voor de berekening van de gevangenisstraffen en het toewijzen van de medische hulp. Meestal, zeggen de auteurs van het rapport, wordt software geïntroduceerd in deze domeinen, met het doel van het snijden in de kosten en het verhogen van de efficiëntie. Maar het resultaat is vaak systemen voor het maken van beslissingen die niet kunnen worden verklaard of in beroep gaan.

AI Nu het rapport noemt een aantal voorbeelden, waaronder dat van Tammy Dobbs, een Arkansas inwoner met een cerebrale parese die had haar Medicaid-mits de thuiszorg gesneden uit 56 uur tot 32 uur per week, zonder uitleg. Rechtsbijstand met succes opgeroepen de Staat Arkansas en de algoritmische het systeem van toekenning werd veroordeeld om te worden gediend.

Whittaker en collega-AI Nu co-founder van Kate Crawford, een onderzoeker bij Microsoft, zeggen de integratie van ADVERTENTIES in de diensten van de overheid heeft overtrof onze mogelijkheid tot controle van deze systemen. Maar, zeggen ze, er zijn concrete stappen die genomen kunnen worden om dit te verhelpen. Deze omvatten eigen technologie leveranciers die verkopen van diensten aan de overheid om afstand te doen van de handel geheimhouding, bescherming, waardoor de onderzoekers beter te onderzoeken hun algoritmen.

“Als we willen dat de publieke verantwoording hebben we in staat zijn om de controle van deze technologie.”

“Je moet in staat zijn om te zeggen, ‘je bent afgesneden van Medicaid, hier is waarom’, en dat mag je niet doen met black box systemen”, zegt Crawford. “Als we willen dat de publieke verantwoording hebben we in staat zijn om de controle van deze technologie.”

Een ander gebied waar actie nodig is om onmiddellijk te zeggen dat de paar, is het gebruik van gezichtsherkenning en de invloed op de opname. De voormalige toenemende mate wordt gebruikt door de politie, in China, de VS en Europa. Amazon ‘ s Rekognition software, bijvoorbeeld, is ingezet door de politie in Orlando en Washington County, hoewel tests hebben aangetoond dat de software kan verschillend presteren in de verschillende races. In een test waar Rekognition werd gebruikt voor het identificeren van de leden van het Congres had een fout tarief van 39 procent voor de niet-blanke leden, in vergelijking tot slechts vijf procent voor wit-leden. En voor de invloed op de erkenning, waarbij bedrijven beweren technologie kunt scannen iemand ‘ s gezicht en lees hun karakter en zelfs de bedoeling, AI Nu de auteurs zeggen bedrijven vaak leuren pseudowetenschap.

Ondanks deze uitdagingen, hoewel, Whittaker en Crawford zeggen dat 2018 heeft aangetoond dat wanneer de problemen van AI verantwoording en de vooroordelen aan het licht zijn gekomen, technische medewerkers, wetgevers, en het publiek bereid zijn te handelen in plaats van toe.

Met betrekking tot de algoritmische schandalen geïncubeerd door Silicon Valley de grootste bedrijven, Crawford zegt: “Hun ‘snel bewegen en dingen breken’ ideologie heeft gebroken bij een heleboel dingen die zijn vrij ons dierbaar zijn, en nu hebben we beginnen na te denken over het publiek belang.”

Zegt Whittaker: “Wat je ziet is dat mensen wakker worden en de tegenstellingen tussen de cyber-utopische tech retoriek en realiteit van de gevolgen van deze technologieën zoals ze zijn gebruikt in het dagelijks leven.”