Depuis plus d'un an, le chercheur de l'Anti-Defamation League Daniel Kelley a trouvé des reconstitutions d'une horrible fusillade de masse sur Roblox – et chaque fois qu'il regarde, il dit qu'il en trouve plus. Kelley a déclaré à The Verge que cela s'était produit trois fois : d'abord en janvier 2020, puis à nouveau en mai 2021. L'incident le plus récent est survenu le 13 août, alors qu'il préparait une présentation sur la façon de signaler un contenu offensant.
“Je voudrais une fois”, a déclaré Kelley sur Twitter après le dernier incident, “pour rechercher” Christchurch “sur Roblox et ne pas trouver une nouvelle reconstitution du tir de la mosquée de Christchurch 2019 sur une plate-forme de jeu destinée aux très jeunes enfants. »
La fusillade dans la mosquée, qui a tué plus de 50 personnes, a été condamnée comme l'un des actes de haine religieuse les plus violents commis ces dernières années. À la suite de la fusillade, le Premier ministre Jacinda Ardern l'a qualifié de “l'un des jours les plus sombres de la Nouvelle-Zélande”.
“Chaque jeu sur 'Roblox' est potentiellement une plate-forme sociale en soi”
The Verge a confirmé la découverte de Kelley, localisant deux expériences Roblox différentes axées sur le tournage grâce à une simple recherche de texte pour “Christchurch. ” Les deux salles ont enregistré plus de deux cents visites.
Roblox surveille de manière proactive le contenu terroriste, mais les scénarios signalés par Kelley semblent s'être échappés. Contacté pour commenter, Roblox a insisté sur le fait que la plate-forme modère de manière agressive contre les recréations de fusillades de masse.
« Nous avons rapidement supprimé cette expérience de Roblox après avoir été portée à notre attention et suspendu le utilisateur responsable d'avoir enfreint nos règles communautaires », a déclaré un représentant de l'entreprise dans un communiqué. « Nous ne tolérons pas le racisme, les discours discriminatoires ou les contenus liés à des événements tragiques. Nous avons un système de sécurité et de surveillance rigoureux qui est continuellement actif et que nous appliquons de manière rigoureuse et proactive. »
Les références à la fusillade de Christchurch sont particulièrement difficiles à bloquer via des recherches de texte automatiques, a déclaré la société, car un filtre fourre-tout bloquerait également les références à la ville. “Dans ce cas, notre détection proactive inclut un examen humain pour équilibrer les références à l'emplacement géographique (la plus grande ville de Nouvelle-Zélande) mais pas les utilisations qui violent nos politiques”, a poursuivi le représentant.
Une partie du problème provient de la taille de Roblox – le résultat d'une croissance rapide et sans précédent. Le jeu compte actuellement plus de 40 millions d'utilisateurs quotidiens, ce qui entraîne un flot de salles générées par les utilisateurs trop massives pour être analysées manuellement. La structure distribuée du jeu, qui repose sur les utilisateurs générant leurs propres scénarios et espaces, le rend particulièrement difficile à surveiller.
Roblox a déposé une demande de publication en novembre, affirmant dans un dossier que le jeu avait été joué par plus de la moitié des enfants de moins de 16 ans aux États-Unis. La société est actuellement évaluée à environ 45 milliards de dollars.
Le même dépôt d'introduction en bourse désigne spécifiquement les problèmes de modération de la communauté comme un risque potentiel pour l'entreprise. “Le succès de notre modèle commercial dépend de notre capacité à fournir un environnement en ligne sûr aux enfants”, indique le dossier. “Si nous ne sommes pas en mesure de continuer à fournir un environnement sûr, notre entreprise en souffrira considérablement.”
En tant que chercheur sur l'extrémisme, Kelley est moins préoccupé par la santé de l'entreprise de Roblox, et plus inquiet que la plateforme puisse devenir un vecteur de radicalisation.
« Chaque jeu sur Roblox est potentiellement une plateforme sociale en soi, et peut potentiellement donner refuge aux joueurs de tous âges qui flirtent avec ou s'engagent pleinement avec des idéologies haineuses en ligne », dit Kelley. “Chaque espace qui permet la vénération d'idéologies haineuses… contribue à la normalisation de ces idéologies et à leur propagation.”
Adi Robertson a contribué à la rédaction de cet article.