I över ett år har Anti-Defamation League-forskaren Daniel Kelley hittat återskapelser av en fruktansvärd massskjutning på Roblox-och varje gång han tittar säger han att han hittar mer. Kelley berättade för The Verge att det har hänt tre gånger: först i januari 2020, sedan igen i maj 2021. Den senaste incidenten inträffade den 13 augusti när han förberedde en presentation om hur man rapporterar kränkande innehåll.
“Jag skulle vilja en gång”, sa Kelley på Twitter efter den senaste incidenten, “för att söka efter 'Christchurch' på Roblox och inte hitta en ny rekreation av Christchurch -moskén från 2019 på en spelplattform riktad till mycket unga barn. ”
Moskéskjutningen, som dödade mer än 50 personer, har fördömts som en av de mest våldsamma enskilda handlingar av religiöst hat som genomförts under de senaste åren. I kölvattnet av skottlossningen kallade premiärminister Jacinda Ardern det “en av Nya Zeelands mörkaste dagar.”
“Varje spel på” Roblox “är en potentiellt social plattform i sig”
The Verge bekräftade Kelleys upptäckt och hittade två olika Roblox -upplevelser med fokus på fotografering genom en enkel textsökning efter “Christchurch. ” Båda rummen hade loggat mer än tvåhundra besök.
Roblox övervakar proaktivt efter terroristinnehåll, men de scenarier som flaggats av Kelley verkar ha glidit igenom. Inhämtad för kommentar insisterade Roblox på att plattformen aggressivt modererar mot återskapande av massskjutningar.
“Vi tog omedelbart bort den här upplevelsen från Roblox efter att den uppmärksammats och avbrutit användare som är ansvarig för att bryta mot våra gemenskapsregler ”, sade en företagsrepresentant i ett uttalande. ”Vi tolererar inte rasism, diskriminerande tal eller innehåll relaterat till tragiska händelser. Vi har ett strikt säkerhets- och övervakningssystem som är kontinuerligt aktivt och som vi strikt och proaktivt tillämpar. ”
Hänvisningar till Christchurch -fotograferingen är särskilt svåra att blockera genom automatiska textsökningar, sade företaget, eftersom ett catchall -filter också skulle blockera referenser till staden. “I det här fallet inkluderar vår proaktiva upptäckt mänsklig granskning för att balansera referenser till den geografiska platsen (Nya Zeelands största stad) men inte användningar som bryter mot vår policy”, fortsatte representanten.
En del av frågan härrör från Roblox stora storlek – resultatet av snabb och oöverträffad tillväxt. Spelet har för närvarande över 40 miljoner dagliga användare, vilket resulterar i en översvämning av användargenererade rum för massiva för att manuellt kunna skanna. Den distribuerade strukturen i spelet, som bygger på att användare skapar sina egna scenarier och utrymmen, gör det särskilt utmanande att övervaka.
Roblox ansökte om offentliggörande i november och hävdade i en ansökan att spelet hade spelats av mer än hälften av barnen under 16 år i USA. Företaget värderas för närvarande till ungefär 45 miljarder dollar.
Samma börsintroduktion nämner specifikt gemenskapsmoderationsproblem som en potentiell risk för verksamheten. “Framgången för vår affärsmodell är beroende av vår förmåga att tillhandahålla en säker onlinemiljö för barn att uppleva”, står det i ansökan. ”Om vi inte kan fortsätta att erbjuda en säker miljö kommer vårt företag att drabbas dramatiskt.”
Som extremismforskare är Kelley mindre orolig för hälsan i Roblox verksamhet, och mer orolig för att plattformen kan bli en vektor för radikalisering.
“Varje spel på Roblox är en potentiellt social plattform i sig och kan potentiellt ge tillflykt till spelare i alla åldrar som flörtar med eller är helt engagerade i hatiska ideologier online, säger Kelley. ”Varje utrymme som tillåter vördnad av hatiska ideologier … bidrar till normalisering av dessa ideologier och deras spridning.”
Adi Robertson bidrog med rapportering till den här artikeln.