Al meer dan een jaar vindt Anti-Defamation League-onderzoeker Daniel Kelley re-creaties van een gruwelijke massaschietpartij op Roblox – en elke keer dat hij kijkt, zegt hij dat hij er meer vindt. Kelley vertelde The Verge dat het drie keer is gebeurd: eerst in januari 2020, dan weer in mei 2021. Het meest recente incident vond plaats op 13 augustus, toen hij een presentatie aan het voorbereiden was over het melden van aanstootgevende inhoud.
“Ik zou graag een keer willen”, zei Kelley op Twitter na het laatste incident, “om te zoeken naar 'Christchurch' op Roblox en geen nieuwe recreatie te vinden van de Christchurch-moskee van 2019 die schiet op een spelplatform gericht op zeer jonge kinderen.”
De schietpartij in een moskee, waarbij meer dan 50 mensen omkwamen, is veroordeeld als een van de meest gewelddadige afzonderlijke daden van religieuze haat die de afgelopen jaren zijn gepleegd. In de nasleep van de schietpartij noemde premier Jacinda Ardern het 'een van de donkerste dagen van Nieuw-Zeeland'.
“Elke game op 'Roblox' is een potentieel sociaal platform op zich”
The Verge bevestigde Kelley's bevinding en vond twee verschillende Roblox-ervaringen gericht op de schietpartij via een eenvoudige tekstzoekopdracht voor “Christchurch. ” Beide kamers hadden meer dan tweehonderd bezoeken geregistreerd.
Roblox controleert proactief op terroristische inhoud, maar de scenario's die door Kelley zijn gemarkeerd, lijken erdoorheen te zijn geglipt. Roblox werd om commentaar gevraagd en stond erop dat het platform agressief modereert tegen het opnieuw maken van massale schietpartijen.
“We hebben deze ervaring onmiddellijk van Roblox verwijderd nadat het onder onze aandacht was gebracht en de gebruiker die verantwoordelijk is voor het overtreden van onze communityregels”, aldus een vertegenwoordiger van het bedrijf in een verklaring. “We tolereren geen racisme, discriminerende uitingen of inhoud met betrekking tot tragische gebeurtenissen. We hebben een streng veiligheids- en controlesysteem dat continu actief is en dat we streng en proactief handhaven.”
Verwijzingen naar de schietpartij in Christchurch zijn bijzonder moeilijk te blokkeren via automatische tekstzoekopdrachten, zei het bedrijf, omdat een verzamelfilter ook verwijzingen naar de stad zou blokkeren. “In dit geval omvat onze proactieve detectie menselijke beoordeling om een evenwicht te vinden tussen verwijzingen naar de geografische locatie (de grootste stad van Nieuw-Zeeland), maar geen gebruik dat in strijd is met ons beleid”, vervolgde de vertegenwoordiger.
Een deel van het probleem komt voort uit de enorme omvang van Roblox – het resultaat van snelle en ongekende groei. De game heeft momenteel meer dan 40 miljoen dagelijkse gebruikers, wat resulteert in een stroom van door gebruikers gegenereerde kamers die te groot zijn om handmatig te scannen. De gedistribueerde structuur van het spel, waarbij gebruikers hun eigen scenario's en spaties moeten genereren, maakt het bijzonder uitdagend om toezicht te houden.
Roblox diende in november een aanvraag in om openbaar te worden en beweerde in een aanvraag dat het spel werd gespeeld door meer dan de helft van de kinderen onder de 16 jaar in de VS. Het bedrijf wordt momenteel gewaardeerd op ongeveer $ 45 miljard.
Dezelfde IPO-aanvraag noemt specifiek problemen met het modereren van de community als een potentieel risico voor het bedrijf. “Het succes van ons bedrijfsmodel hangt af van ons vermogen om een veilige online omgeving te bieden voor kinderen”, luidt de aanvraag. “Als we niet in staat zijn om een veilige omgeving te blijven bieden, zal ons bedrijf er dramatisch onder lijden.”
Als onderzoeker naar extremisme maakt Kelley zich minder zorgen over de gezondheid van het bedrijf van Roblox, en meer bezorgd dat het platform een vector voor radicalisering zou kunnen worden.
“Elke game op Roblox is een potentieel sociaal platform op zich en kan potentieel een toevluchtsoord bieden aan spelers van alle leeftijden die online flirten met of volledig betrokken zijn bij haatdragende ideologieën”, zegt Kelley. “Elke ruimte die de verering van haatdragende ideologieën mogelijk maakt … draagt bij aan de normalisering van deze ideologieën en hun verspreiding.”
Adi Robertson droeg bij aan de rapportage aan dit artikel.