NSW Polisen inriktning visar de etiska riskerna av hemliga algoritmer

0
184

Noll

Barn så unga som 10 har lagts till i NSW Polisen Misstänker Inriktning Management Plan (SMTP), pekas ut för att stoppa-och-söka och gå-på håll när polisen stöter på dem. Men hur och varför det händer är en hemlighet.

Denna brist på insyn innebär att individer som undrar om deras ras eller familj historia har varit en faktor.

Det är en rimlig rädsla, med tanke på de bevis som algoritmer kan lära kön och ras fördomar från våra egna partiska språket, eller som algoritmer utvecklats för kaukasiska huden har problem med människor av färg.

“[Algoritmer] är i själva verket reflektioner av hur världen fungerar, och som sådana de är fulla med mänskliga fel och felaktiga logik. Vi har sett algoritmer som var rasistiska, sexistiska, heteronormativ, våldsamma, konkurrenskraftig, lagen bryta, och aggressivt Amerikansk — och de är bara de vi vet om, säger professor Genevieve Bell, i den senaste av hennes fyra Boyer Föreläsningar tidigare denna månad.

SMTP kan mycket väl vara kodning befintliga polisarbete fördomar.

Enligt Ungdom Rättvisa Coalition (YJC), de uppgifter som de har fått fram visar att STMP “oproportionerligt riktar sig till ungdomar, särskilt Aboriginal och Torres Strait Islander människor”.

“Unga människor upplever SMTP som ett mönster av förtryck, orättvisa polisarbete”, skrev YJC forskare Dr Vicki Sentas och Camilla Pandolfini, i sin rapport Polisarbete Ungdomar i NSW som publicerades på onsdagen.

“[De] uppleva ett mönster av ständiga trakasserier av polisen, inklusive användning av sluta och söka befogenheter för polisen, presentationer på young person ‘ s home liknar borgen kontroller (även om den unga personen inte får vara på borgen vid den tiden), och gå på riktningar,” forskarna skrev.

“I vissa fall, SMTP används av polisen som en ersättning för att ha” rimliga skäl att misstänka att ” den unga personen har begått, eller är på väg att begå ett brott.”

En fallstudie från rapporten handlar om Dean, en 16-årig hane. Hans advokat beskriver hans kränkande som “mindre och inte omfattande”, hänför sig främst till graffiti, plus en varning för innehav av cannabis och en mindre intrång brott.

Dean har slutat och sökt 23 gånger i 10 månader. Polisens underlag visar motiveringar inklusive “personer av intresse som bär Nautica kläder är” kända för att begå skadegörelse brott ” (graffiti), att de unga människor som kommer på sista vagnen på tåget och slitage Nautica är kända för att begå skadegörelse och att Dean var med en grupp av unga människor.”

Unga människor har funnit sig själva till föremål för en SMTP-även om de har bara mindre, icke-våldsamma före fällande domar-eller till och med ingen tidigare övertygelser alls, bara omfattande kontakt med polisen, genom släktband, till exempel.

I 10 polisen Lokalt Kommandon (LACs) för vilka forskare som erhållit data, 44 procent av dem på SMTP identifierades som Aboriginal. Den högsta andelen fanns i Redfern LAC, där 60 procent av dem var riktade Aboriginal, även om “bara 2 procent av Redfern befolkningen är Aboriginal”.

Rapporten dokument en incident när en 13-årig Aboriginal pojke blev kontaktad av polisen när han stod och väntade på bussen. “De frågade om Bill’ s namn och då sa ord att effekten av “Vi minns dig från [annan ort], du är en tjuvaktiga liten hund”,” forskarna skrev. Inte en ovanlig händelse, verkar det som.

Medan frågor om polisens beteende är bortom ZDNet s ansvarsområde viktiga frågor kvarstår.

Har STMP helt enkelt återskapas befintliga fördomar, eftersom det är baserat på uppgifter från polis-processer som kanske redan har implicita fördomar? Är den modell som används för att förutsäga risken för framtida brott giltigt? Inte att sätta någon på SMTP-riskerar att öka sannolikheten för ogynnsamma möten polisen?

Och de viktigaste av dessa …

Varför är denna process, inte bara de algoritmer men även att bara det breda konceptuell modell, en hemlighet? Varför är individer inte veta om de är på SMTP-eller inte? Varför kan de inte vet hur man får bort den listan? Varför finns det ingen rätt att överklaga?

Den YJC rapporten gör det tydligt att NSW Polisen ser SMTP som en magisk motivering i rutan. Deras kommentarer denna vecka förstärka det intrycket.

“Den Misstänkte Target Management Plan (SMTP) är en ram som mål recidivist kriminella brottslingar, oavsett ålder, för att hindra dem från att begå brott och för att störa deras förmåga att begå brott. En grundlig ram för riskhantering som används för att säkerställa NSW Polisen riktar in sig till rätt personer vid rätt tillfällen för att minska våld och brottslighet i samhället,” de berättade för pop kultur webbplats Junkee.

“Vid alla tillfällen, SMTP genomgår en kvalitetssäkring av en erfaren polis för att säkerställa giltigheten av processen. Medan medvetet anlitad av polisen, SMTP nominerade är behandlad med respekt och tolerans, men de är en påminnelse om att gemenskapen inte kommer att tolerera ett kriminellt beteende.”

Globalt, men, det finns en snabbt ökande fokus på etik och moral i våra data-driven världen.

“I EU, de har nyligen startat den Europeiska Gruppen för Etik inom Vetenskap och Ny Teknik, och det har pågått diskussioner kring sekretess och äganderätt, rätten att bli glömd och algoritmisk öppenhet,” Bell sade.

EU: s General Data Protection Förordning (GDRP), som träder i kraft den 25 Maj 2018, har vad som mycket väl kan uppgå till rätt förklaring — det vill säga, rätt att få veta hur ett automatiserat system har fattat sitt beslut-även om den faktiska styrkan i att rätten har ännu inte prövats i domstol.

Under tiden YJC har kallat för SMTP-politiska och operativa arrangemang för att offentliggöras. för enskilda personer att vara formellt underrättas när de är placerade under SMTP, och varför; för att tillhandahålla uppgifter till den ansedda NSW Bureau of Brottslighet Statistik och Forskning (BOCSAR); och att ha BOCSAR utvärdera om SMTP är i själva verket att minska ungdomsbrottslighet.

“[Våra] forskning har begränsats av bristen på allmänt tillgänglig information om SMTP-och frånvaro, datum, kontroll och tillsyn av programmet,” skrev YJC forskare.

Det måste vi ändra på.

Relaterade Täckning

Walmart visar att robotar för att hjälpa till att lösa out-of-stock frågor

Världens största återförsäljare har haft en väl dokumenterad kamp med tomma hyllor i butikerna.

Apple COO: Smartphone är en viktig plattform för framtida AI (TechRepublic)

Apples Jeff Williams talade på effekten av artificiell intelligens, och hur det kan förändra stora industrier liksom det dagliga livet för konsumenterna.

Intel siktar på att vara inne på din artificiell intelligens stack

Intel ‘ s master plan är att göra för AI vad det har gjort för server-processorer. Målet är att skapa en generell AI stack så företag kan i princip anta maskininlärning.

Maskininlärning-as-a-service framtiden: ServiceNow

Med “as-a-service” – erbjudanden, för alla organisationer behöver göra är att se till att deras data är rik och kontextuella nog att skörda frukterna av maskininlärning, ServiceNow har sagt.

Cray superdatorer kommer att Microsoft Azure för att öka AI arbetsbelastning i molnet (TechRepublic)

Den strategiska alliansen kommer att göra det möjligt för Microsoft Azure användare att utnyttja Cray superdatorsystem för att köra avancerade analyser, modellering arbetsbelastning och mer på skalan.

Relaterade Ämnen:

Säkerhet

Digital Omvandling

CXO

Sakernas Internet

Innovation

Affärssystem

0