Per oltre un anno, il ricercatore dell'Anti-Defamation League Daniel Kelley ha trovato le ricostruzioni di un'orribile sparatoria di massa su Roblox e ogni volta che guarda, dice di trovarne di più. Kelley ha detto a The Verge che è successo tre volte: prima a gennaio 2020, poi di nuovo a maggio 2021. L'incidente più recente è avvenuto il 13 agosto, mentre stava preparando una presentazione su come segnalare contenuti offensivi.
“Vorrei una volta”, ha detto Kelley su Twitter dopo l'ultimo incidente, “cercare 'Christchurch' su Roblox e non trovare una nuova ricreazione della sparatoria della moschea di Christchurch del 2019 su una piattaforma di gioco rivolta ai giovanissimi bambini.”
La sparatoria nella moschea, che ha ucciso più di 50 persone, è stata condannata come uno dei più violenti atti di odio religioso compiuti negli ultimi anni. Sulla scia della sparatoria, il primo ministro Jacinda Ardern lo ha definito “uno dei giorni più bui della Nuova Zelanda”.
“Ogni gioco su 'Roblox' è potenzialmente una piattaforma sociale in sé e per sé”
The Verge ha confermato la scoperta di Kelley, individuando due diverse esperienze di Roblox incentrate sulla sparatoria attraverso una semplice ricerca testuale per “Christchurch. ” Entrambe le stanze hanno registrato più di duecento visite.
Roblox monitora in modo proattivo i contenuti terroristici, ma gli scenari segnalati da Kelley sembrano essere sfuggiti. Richiesto un commento, Roblox ha insistito sul fatto che la piattaforma sta moderando in modo aggressivo le ricostruzioni di sparatorie di massa.
“Abbiamo prontamente rimosso questa esperienza da Roblox dopo che è stata portata alla nostra attenzione e sospeso il utente responsabile della violazione delle nostre Regole della community”, ha affermato un rappresentante dell'azienda in una nota. “Non tolleriamo il razzismo, i discorsi discriminatori o i contenuti relativi a eventi tragici. Disponiamo di un rigoroso sistema di sicurezza e monitoraggio che è costantemente attivo e che applichiamo in modo rigoroso e proattivo.”
I riferimenti alla sparatoria di Christchurch sono particolarmente difficili da bloccare attraverso ricerche di testo automatiche, ha affermato la società, poiché un filtro catchall bloccherebbe anche i riferimenti alla città. “In questo caso il nostro rilevamento proattivo include la revisione umana per bilanciare i riferimenti alla posizione geografica (la città più grande della Nuova Zelanda) ma non gli usi che violano le nostre norme”, ha continuato il rappresentante.
Parte del problema deriva dalle dimensioni di Roblox, il risultato di una crescita rapida e senza precedenti. Il gioco vanta attualmente oltre 40 milioni di utenti giornalieri, il che si traduce in una marea di stanze generate dagli utenti troppo grandi per essere scansionate manualmente. La struttura distribuita del gioco, che si basa sugli utenti che generano i propri scenari e spazi, lo rende particolarmente difficile da monitorare.
Roblox ha presentato istanza di pubblicazione a novembre, affermando in un deposito che il gioco era stato giocato da più della metà dei bambini sotto i 16 anni negli Stati Uniti. La società ha attualmente un valore di circa 45 miliardi di dollari.
Lo stesso documento di IPO indica specificamente i problemi di moderazione della comunità come un potenziale rischio per l'azienda. “Il successo del nostro modello di business dipende dalla nostra capacità di fornire un ambiente online sicuro per i bambini”, si legge nel documento. “Se non siamo in grado di continuare a fornire un ambiente sicuro, la nostra attività ne soffrirà drammaticamente.”
Come ricercatrice di estremismo, Kelley è meno preoccupata per la salute dell'attività di Roblox e più preoccupato che la piattaforma possa diventare un vettore di radicalizzazione.
“Ogni gioco su Roblox è potenzialmente una piattaforma social in sé e per sé e può potenzialmente dare rifugio a giocatori di tutte le età che flirtano o sono completamente coinvolti con ideologie odiose online”, afferma Kelley. “Ogni spazio che consente la venerazione di ideologie odiose … contribuisce alla normalizzazione di queste ideologie e alla loro diffusione.”
Adi Robertson ha contribuito a questo articolo.