Gizmodo a publié un examen approfondi du processus de collecte de données derrière son enquête co-rapportée avec The Markup sur PredPol, une société de logiciels spécialisée dans la police prédictive (d'où le nom, qu'elle a depuis changé en Geolitica) grâce à l'apprentissage automatique.
L'algorithme de PredPol est censé faire des prédictions basées sur les rapports de criminalité existants. Cependant, étant donné que les crimes ne sont pas signalés de la même manière partout, les lectures qu'il fournit aux forces de l'ordre pourraient simplement copier les biais dans les rapports dans chaque domaine. Si la police utilise cela pour décider où patrouiller, elle pourrait finir par sur-policier des zones qui n'ont pas besoin d'une plus grande présence.
Lorsque Gizmodo et The Markup ont évalué les zones, ils ont découvert que les endroits ciblés par le logiciel PredPol pour des patrouilles accrues « étaient plus susceptibles d'abriter des Noirs, des Latinos et des familles qui auraient droit à le programme fédéral de repas gratuits et réduits.
23 des 38 organismes d'application de la loi suivis ne sont plus des clients PredPol
Même si les tactiques policières ont évolué pour inclure des données sur la criminalité et les arrestations, il y a eu une disparité historique dans la façon dont ces tactiques affectent les communautés de couleur. Comme le souligne Gizmodo dans son analyse, à New York dans les années 1990, les chercheurs de l'époque ont découvert que les méthodes réduisaient la criminalité sans simplement la déplacer vers d'autres domaines. Cependant, l'approche comprenait des tactiques telles que l'arrêt et la fouille, qui ont été critiquées comme des violations des droits civils.
L'algorithme de PredPol a déjà été examiné et critiqué plus d'une fois par des universitaires. Comme Vice a cité Suresh Venkatasubramanian, membre du conseil d'administration de l'ACLU Utah, en 2019 :
“Parce que ces données sont collectées en tant que sous-produit de l'activité policière, les prédictions faites sur la base des modèles tirés de ces données ne concernent pas les futurs cas de crime dans l'ensemble”, note l'étude de Venkatasubramanian. “En ce sens, la police prédictive porte bien son nom : elle prédit la police future, pas la criminalité future.”
Pourtant, il n'y a pas eu d'enquête aussi approfondie que celui-ci. Cette enquête a utilisé des chiffres extraits de données publiques disponibles via le Web. Selon Gizmodo et The Markup, ils ont trouvé une base de données cloud non sécurisée liée au site Web du service de police de Los Angeles. Ces données contenaient des millions de prédictions remontant à plusieurs années.
En plus de prédire soi-disant des crimes individuels, un rapport de 2018 de The Verge a examiné les recherches financées par le Pentagone par le fondateur de PredPol, Jeff Brantingham, sur l'utilisation du logiciel pour prédire les crimes liés aux gangs. L'ancien professeur d'anthropologie de l'Université de Californie à Los Angeles a adapté des recherches antérieures sur la prévision des victimes sur les champs de bataille en Irak pour créer la plate-forme, et l'article – “Partially Generative Neural Networks for Gang Crime Classification with Partial Information” – a soulevé des inquiétudes quant aux implications éthiques.< /p>
Les critiques ont déclaré que cette approche pourrait faire plus de mal que de bien. « Vous créez des algorithmes à partir d'un faux récit qui a été créé pour les gens – la documentation sur les gangs est l'état qui définit les gens en fonction de ce qu'ils croient … Lorsque vous branchez cela sur l'ordinateur, chaque crime sera lié à un gang, », a déclaré le militant Aaron Harvey à The Verge.
S'appuyer sur certains algorithmes peut faire de la magie pour certaines industries, mais leur impact peut avoir un coût humain réel. Avec de mauvaises données ou de mauvais paramètres, les choses peuvent mal tourner rapidement, même dans des circonstances moins compliquées que le maintien de l'ordre. Ne cherchez pas plus loin que Zillow a récemment dû fermer son opération de retournement de maison après avoir perdu des centaines de millions de dollars malgré les « modèles de tarification et l'automatisation » qui, selon lui, offriraient un avantage.
Globalement , Gizmodo et les rapports de The Markup sont un bon examen de la façon dont les algorithmes prédictifs peuvent affecter de manière significative les personnes qu'ils ciblent sans le savoir. L'analyse qui l'accompagne par Gizmodo fournit des informations pertinentes sur les données tout en donnant aux lecteurs un aperçu des coulisses de ces mesures. Le rapport indique que 23 des 38 organismes d'application de la loi suivis ne sont plus des clients de PredPol, bien qu'ils s'y soient initialement inscrits pour aider à distribuer des ressources anti-criminalité. Peut-être qu'en utilisant des méthodes qui renforcent la transparence et la confiance des deux côtés, les forces de l'ordre pourraient passer moins de temps sur la technologie qui conduit à des éléments comme celui-ci, ce qui met en évidence l'approche exactement opposée.