Tumblr et la Commission des droits de l'homme de la ville de New York (CCHR) ont réglé les allégations de discrimination liées à l'interdiction de contenu pour adultes de l'entreprise en 2018, qui, selon les régulateurs de la ville, a affecté de manière disproportionnée les utilisateurs LGBTQ. Le règlement oblige Tumblr à réviser son processus d'appel des utilisateurs et à former ses modérateurs humains sur les questions de diversité et d'inclusion, ainsi qu'à examiner des milliers d'anciens cas et à embaucher un expert pour rechercher les biais potentiels dans ses algorithmes de modération.
Le règlement, qui n'impliquait pas de plainte légale formelle et a été signé le mois dernier, marque l'une des premières fois que les régulateurs sont parvenus à un accord pour modifier les politiques de modération d'un réseau social en fonction de problèmes de biais algorithmiques. Il résout une enquête que le CCDH a ouverte en décembre 2018, peu de temps après que Tumblr a interdit le contenu sexuel explicite et la nudité – et a appliqué ses règles avec un système de retrait automatisé comiquement inexact.
“Si quelqu'un fait des affaires à New York, nous ont le pouvoir d'enquêter »
Dans une interview avec The Verge, l'attachée de presse du CCHR, Alicia McCauley, a déclaré que l'agence s'était intéressée après des informations selon lesquelles l'interdiction aurait un effet démesuré sur la base d'utilisateurs LGBTQ de Tumblr. McCauley note que la loi sur les droits de l'homme de la ville de New York offre de larges protections contre les préjugés fondés sur des catégories telles que l'identité de genre et l'orientation sexuelle. “Si quelqu'un fait des affaires à New York, nous avons le pouvoir d'enquêter si cela affecte négativement les gens”, a-t-elle déclaré.
Le règlement donne à Tumblr 180 jours pour embaucher un expert sur les questions d'orientation sexuelle et d'identité de genre (SOGI) et fournir une formation connexe aux modérateurs. Il doit également embaucher une personne ayant de l'expérience dans ce domaine ainsi qu'une expertise dans la classification des images, qui examinera les algorithmes de modération de Tumblr pour voir s'ils sont plus susceptibles de signaler le contenu LGBTQ. Dans le cadre d'un examen global, Tumblr réexaminera 3 000 anciens cas où un utilisateur a réussi à faire appel d'un retrait, à la recherche de schémas pouvant indiquer un parti pris.
L'accord semble avoir été conclu en grande partie grâce au propriétaire de WordPress.com, Automattic, qui a acquis Tumblr auprès de Verizon en 2019 et a apparemment coopéré étroitement avec le CCHR. “Je pense que cela a été un tournant dans l'enquête”, déclare l'avocat de la CCDH, Alberto Rodriguez. Automattic avait révisé le système original pour ajouter plus de surveillance humaine avant même le règlement. Sous sa propriété, Tumblr a également tenté de se réconcilier avec les utilisateurs LGBTQ qui sont partis dans le cadre d'un exode communautaire plus large.
Rodriguez pense que le règlement de Tumblr pourrait être une première étape dans un mouvement réglementaire plus large à l'échelle nationale. “Je pense qu'il est inévitable que les entreprises de médias sociaux soient davantage réglementées par le gouvernement et que davantage de mesures d'application de la loi soient prises”, déclare-t-il.
Les affaires de partialité des médias sociaux ont rarement abouti devant les tribunaux
Les allégations de partialité contre les plateformes de médias sociaux ont rarement abouti devant les tribunaux, et le règlement d'aujourd'hui semble être renforcé par le désir d'Automattic de réviser la modération de Tumblr et de rétablir la confiance avec la communauté LGBTQ. (Automattic est également une très petite entreprise avec moins de ressources juridiques que les géants de la “Big Tech”.) Le CCDH n'a pas fourni de détails sur les preuves à l'appui de ses allégations de discrimination, il est donc difficile d'évaluer les détails de cette affaire. Mais des plateformes bien plus importantes comme YouTube et Instagram ont également été accusées de modération discriminatoire sans action réglementaire, et YouTube, en particulier, a battu deux poursuites intentées par des créateurs de vidéos LGBTQ et noirs qui alléguaient une discrimination algorithmique.
Rodriguez dit que contrairement à ces cas, les règles de la CCDH au niveau de la ville n'exigent pas une intention spécifique de discriminer. Mais les tribunaux ont également donné aux plateformes sociales une large latitude pour modérer le contenu en vertu du premier amendement et de l'article 230 de la loi sur la décence des communications, et une action en justice de la CCDH devrait résister à cet examen. « L'article 230 s'applique de la même manière aux lois fédérales, étatiques et municipales et à leur application », note Jeff Kosseff, auteur de l'histoire complète de l'article 230 Les vingt-six mots qui ont créé Internet.
Mais la question plus large des préjugés raciaux et sexistes algorithmiques est devenue une priorité croissante pour les régulateurs, en particulier dans les cas où elle pourrait affecter les options de logement et d'emploi des personnes. Et même sans plainte légale, certaines entreprises comme Twitter ont revu leurs algorithmes de modération sous la pression du public — faisant parfois des découvertes troublantes en cours de route.
Correction, 13h49 HE : < /strong>Automattic est propriétaire de WordPress.com, pas de WordPress. Nous regrettons l'erreur.