Gizmodo udgav et dybtgående kig på dataindsamlingsprocessen bag sin co-rapporterede undersøgelse med The Markup i PredPol, et softwarefirma med speciale i prædiktiv politiarbejde (deraf navnet, som det siden har ændret til Geolitica) gennem maskinlæring.
PredPols algoritme formodes at lave forudsigelser baseret på eksisterende kriminalitetsrapporter. Men da forbrydelser ikke rapporteres lige overalt, kan de aflæsninger, den giver til retshåndhævelsen, simpelthen kopiere skævhederne i rapporteringen over hvert område. Hvis politiet bruger dette til at beslutte, hvor de skal patruljere, kan de ende med at overpolitisere områder, der ikke har brug for en større tilstedeværelse.
Da Gizmodo og The Markup evaluerede områderne, fandt de ud af, at de steder, hvor PredPols software var målrettet mod øget patruljering, “var mere tilbøjelige til at være hjemsted for sorte, latinoer og familier, der ville kvalificere sig til det føderale gratis og reducerede frokostprogram.”
23 af de 38 sporede retshåndhævende myndigheder er ikke længere PredPol-kunder
Selv da politiets taktik udviklede sig til at inkludere kriminalitet og arrestationsdata, har der været en historisk forskel i, hvordan disse taktikker påvirker farvesamfund. Som Gizmodo påpeger i sin analyse, fandt forskere i New York i 1990'erne på det tidspunkt, at metoderne reducerede kriminalitet uden blot at forskyde den til andre områder. Tilgangen omfattede dog taktikker som stop-og-frisk, som er blevet kritiseret som krænkelser af borgerrettigheder.
PredPols algoritme er allerede blevet undersøgt og kritiseret af akademikere mere end én gang. Som Vice citerede Suresh Venkatasubramanian, et medlem af bestyrelsen for ACLU Utah, i 2019:
“Fordi disse data er indsamlet som et biprodukt af politiaktivitet, vedrører forudsigelser lavet på basis af mønstre lært af disse data ikke fremtidige tilfælde af kriminalitet som helhed,” bemærker Venkatasubramanians undersøgelse. “I denne forstand er prædiktiv politiarbejde et passende navn: det forudsiger fremtidig politiarbejde, ikke fremtidig kriminalitet.”
Alligevel har der ikke været en efterforskning så grundig som denne. Denne undersøgelse brugte tal hentet fra offentlige data tilgængelige via internettet. Ifølge Gizmodo og The Markup fandt de en usikret cloud-database, der var linket til fra Los Angeles Police Departments hjemmeside. Disse data indeholdt millioner af forudsigelser, der strækker sig flere år tilbage.
Udover angiveligt at forudsige individuelle forbrydelser, undersøgte en rapport fra The Verge fra 2018 Pentagon-finansieret forskning af PredPols grundlægger Jeff Brantingham om at bruge softwaren til at forudsige banderelateret kriminalitet. Den tidligere antropologiprofessor ved University of California-Los Angeles tilpassede tidligere forskning i forudsigelse af tab på slagmarken i Irak for at skabe platformen, og papiret – “Partially Generative Neural Networks for Band Crime Classification with Partial Information” – rejste bekymring over de etiske implikationer.< /p>
Kritikere sagde, at denne tilgang kunne gøre mere skade end gavn. “Du laver algoritmer ud fra en falsk fortælling, der er skabt til mennesker – bandedokumentationen er, at staten definerer folk efter, hvad de tror … Når du tilslutter dette til computeren, vil enhver forbrydelse være banderelateret, ” fortalte aktivisten Aaron Harvey til The Verge.
At stole på nogle algoritmer kan virke magi for nogle industrier, men deres indvirkning kan komme til en reel menneskelig pris. Med dårlige data eller forkerte parametre kan tingene hurtigt gå galt, selv under omstændigheder, der er mindre belastende end politi. Se ikke længere, end at Zillow for nylig var nødt til at lukke sin hus-flipping-drift efter at have tabt hundredvis af millioner af dollars på trods af de “prismodeller og automatisering”, som den troede ville give en fordel.
Samlet set , Gizmodo og The Markups rapportering er en god overvejelse af, hvor betydeligt forudsigelige algoritmer kan påvirke de mennesker, der ubevidst er målrettet af dem. Den medfølgende analyse fra Gizmodo giver relevant dataindsigt og giver samtidig læserne et kig bag kulisserne i disse tiltag. Rapporten indikerer, at 23 af de 38 retshåndhævende myndigheder, der spores, ikke længere er PredPol-kunder, på trods af at de oprindeligt har tilmeldt sig det for at hjælpe med at distribuere ressourcer til at stoppe kriminalitet. Måske ved at bruge metoder, der opbygger gennemsigtighed og tillid på begge sider, kunne retshåndhævelse bruge mindre tid på teknologi, der fører til stykker som dette, hvilket fremhæver den stik modsatte tilgang.