NSW Politiet at målrette viser de etiske farerne ved hemmelige algoritmer

0
157

Nul

Børn så unge som 10, som er blevet tilføjet til NSW Politiet har Mistanke rettet mod Management Plan (STMP), fremhævet for at stoppe-og-søgning og gå-på retninger, når politiet støder på dem. Men hvordan og hvorfor det der sker, er en hemmelighed.

Denne manglende gennemsigtighed betyder, at individer er tilbage spekulerer på, om deres race eller familie historie har været en faktor.

Det er en rimelig frygt, da den beviser, at algoritmer kan lære køn og race bias fra vores egne partiske sprog, eller at algoritmer udviklet til kaukasisk hud har problemer med at folk af farve.

“[Algoritmer] er, i virkeligheden, refleksioner af, hvordan verden fungerer, og som sådan de er fyldt med menneskelige fordomme og mangelfulde logikker. Vi har set algoritmer, der var racistiske, sexistiske, heteronormative, voldelige, konkurrencedygtig, lovbrud, og aggressivt Amerikanske — og det er kun dem, vi kender,” sagde professor Genevieve Bell, i den sidste af sine fire Boyer Foredrag, der tidligere i denne måned.

STMP kunne godt være kodning eksisterende politiarbejde bias.

I henhold til Youth Justice Koalition (YJC), er de data, de har formået at opnå viser, at STMP “uforholdsmæssigt er rettet mod unge mennesker, især Aboriginal og Torres Strait Islander mennesker”.

“Unge mennesker oplever STMP-som et mønster af undertrykkende, uretfærdigt politiarbejde,” skrev YJC forskere Dr Vicki Sentas og Camilla Pandolfini, i deres rapport Politiarbejde Unge i MIDTJYLLAND blev offentliggjort onsdag.

“[De] opleve et mønster af konstante chikane fra politiets side, herunder brug af stop og søg beføjelser som politiet, præsentationer på den unges hjem beslægtet med til at redde kontrol (selv om den unge person ikke kan være på skærmen på det tidspunkt), og gå i retninger,” de forskere, der skrev.

“I nogle tilfælde, STMP bruges af politiet som en erstatning for at have” rimelig grund til mistanke om,’ at den unge har begået, eller er ved at begå en lovovertrædelse.”

En case study fra rapporten er, om Dean, en 16-årig mandlig. Hans advokat beskriver sin fornærme som “mindre og ikke omfattende”, primært vedrører graffiti, plus en advarsel for besiddelse af cannabis, og for en mindre overtrædelse, handling.

Dean er blevet stoppet og søgte 23 gange i 10 måneder. Politiet optegnelser viser, begrundelser, herunder “personer af interesse, der bærer Nautica tøj er ‘kendt for at begå strafbare skader overtrædelser” (graffiti), at unge mennesker, der får på sidste transport af et tog og bære Nautica, som er kendt for at begå hærværk, og at Dean var med en gruppe af unge mennesker.”

De unge har fundet sig selv til genstand for en STMP, selv om de har kun mindre, ikke-voldelige forudgående overbevisninger-eller slet ingen forudgående overbevisninger ved alle, blot omfattende kontakt med politiet, gennem familie forbindelser, for eksempel.

I de 10 politiets Lokale Område Kommandoer (Søer), hvor forskerne indhentede data, 44 procent af dem, der er på STMP blev identificeret som Aboriginal. Den højeste andel var i Redfern LAC, hvor 60 procent af dem, der målrettet blev Aboriginal, selv om der “kun 2 procent af Redfern befolkningen er Oprindelige”.

Rapporten dokumenterer en hændelse, da en 13-år-gamle Aboriginal dreng blev kontaktet af politiet, da han ventede på en bus. “De spurgte, for Bill’ s navn, og så sagde han noget i retning af ‘Vi husker dig fra [en anden lokalitet], du er en tyvagtig lille hund’,” forskerne skrev. Ikke en usædvanlig hændelse, det ville virke.

Mens spørgsmål af politiets adfærd er uden ZDNet ‘ s ansvarsområde, centrale spørgsmål er fortsat.

Har STMP simpelthen genskabt eksisterende fordomme, fordi det er baseret på data fra politi processer, der måske allerede har implicit bias? Er den model, der bruges til at forudsige risikoen for fremtidige kriminelle handlinger, der gælder? Ikke at sætte nogen på STMP løbe risikoen for at øge sandsynligheden for, at ugunstige politiet støder på?

Og den vigtigste …

Hvorfor er denne proces, ikke kun de algoritmer, men bare de overordnede konceptuelle model, en hemmelighed? Hvorfor er enkeltpersoner, ikke at vide, om de er på STMP-eller ikke? Hvorfor kan de ikke vide, hvordan man kommer ud af den liste? Hvorfor er der ingen ret til at klage?

Den YJC rapporten gør det klart, at NSW Politiet ser STMP som et magisk begrundelse max. Deres kommentarer i denne uge forstærke dette indtryk.

“De har Mistanke om, Target Management Plan (STMP) er en ramme, som mål recidivist kriminelle lovovertrædere, uanset alder, for at forhindre dem fra at begå kriminalitet, og forstyrrer deres evne til at begå kriminalitet. En grundig risk management-ramme anvendes til at sikre MIDTJYLLAND Politiet er rettet mod de rigtige mennesker på de rigtige tidspunkter for at reducere vold og kriminalitet i samfundet,” de fortalte pop kultur site Junkee.

“Ved alle lejligheder, STMP gennemgår en kvalitetssikring af en ledende politibetjent for at sikre gyldigheden af processen. Mens bevidst ansat ved politiet, STMP-nominerede bliver behandlet med respekt og tolerance, men de bliver mindet om, at fællesskabet ikke vil tolerere, at kriminel adfærd.”

Globalt, men der er en hastigt stigende fokus på etik og moral i vores data-drevet verden.

“I EU, de for nylig har genstartet den Europæiske Gruppe vedrørende Etik i Videnskab og Nye Teknologier, og der har været løbende diskussioner omkring beskyttelse af personlige oplysninger og ejendomsretten, retten til at blive glemt og algoritmisk gennemsigtighed,” Bell sagde.

EU ‘ s Generel Forordning om databeskyttelse (GDRP), som træder i kraft den 25 Maj 2018, omfatter, hvad der kan godt beløb til en ret til forklaring — det vil sige, ret til at vide, hvordan et automatiseret system, har nået sin beslutning-selvom den faktiske styrke, der lige har endnu ikke afprøvet i retten.

I mellemtiden YJC har opfordret til STMP-politik og operationelle ordninger, der skal offentliggøres; for enkeltpersoner formelt at blive meddelt, når de er placeret under STMP, og hvorfor, for at give data til den meget anset MIDTJYLLAND Bureau af Kriminalitet Statistik og Forskning (BOCSAR); og at have BOCSAR vurdere, om STMP er faktisk reducere de unges kriminalitet.

“Vores forskning har været begrænset af mangel på offentligt tilgængelige oplysninger om STMP-og fravær, til dato, kontrol og tilsyn med programmet,” skrev YJC forskere.

Der er behov for at ændre.

Relaterede Dækning

Walmart forvandler sig til robotter til at hjælpe med at løse out-of-stock spørgsmål

Verdens største forhandler har haft en veldokumenteret kamp med tomme hylder i sine butikker.

Apple COO: Smartphone er et “større platform” for fremtiden af AI (TechRepublic)

Apple ‘ s Jeff Williams talte om følgerne af kunstig intelligens, og hvordan den kan ændre store industrier samt den daglige tilværelse for forbrugerne.

Intel har til formål at være inde i din kunstig intelligens stak

Intel ‘ s master plan er at gøre for AI, hvad det har gjort for server-processorer. Målet er at skabe et generelt formål AI stack, så virksomheder kan stort set vedtage machine learning.

Machine learning-as-a-service vejen for fremtiden: ServiceNow

Med “as-a-service” – tilbud, som alle organisationer skal gøre, er at sikre, at deres data er rig og kontekstuelle nok til at høste frugterne af machine learning, ServiceNow har sagt.

Cray supercomputing kommer til Microsoft Azure til at øge AI workloads i skyen (TechRepublic)

Den strategiske alliance vil give Microsoft Azure brugere til at udnytte Cray supercomputing systemer for at køre avancerede analyser, modellering arbejdspres, og mere på skalaen.

Relaterede Emner:

Sikkerhed

Digital Transformation

CXO

Tingenes Internet

Innovation

Virksomhedens Software

0