Sent i forrige måned, The New York Times kunngjorde at det var å gjøre unna med sin offentlige redaktør posisjon, en slags ombudsmann for papir, delvis fordi rollen var blitt fylt av leserkommentarer på internett. Tiden, utgiver Arthur Sulzberger skrev i et notat, ville være å åpne sin kommentar avsnitt på et større antall av historier og samarbeid med Google for å administrere dem. Det ville være “en merkbar forandring i vår evne til å tjene våre lesere å høre fra dem, og å svare på dem,” Sulzberger skrev. I dag, the Times, er presentasjonen av resultatene av at partnerskap: en intern prosess for å automatisere kommentarmoderering kalt Moderator.
Inntil nylig, the New York Times manuelt godkjent 12,000 kommentarer en dag
Inntil nylig, moderatorer for The New York Times ville manuelt godkjenne et gjennomsnitt av 12.000 kommentarer hver dag, med et team av 14 vasse gjennom leseren svar som de kom inn. I et bud for en mer målrettet strategi, til Tider, i samarbeid med Alfabetet arm Stikksag til å organisere kommentarer basert på deres sannsynlighet for å bli flagget for moderasjon. Ganger samfunnet redaktør Bassey Etim sier organisasjonen har allerede vært ved hjelp av Moderator, og har blitt langsomt trapper opp antall kommentarer det godkjenner gjennom det. Om lag 20 prosent av kommentarer er nå automatisk godkjent av verktøyet.
I februar, Alfabetet annonsert et relaterte verktøy kalt Perspektiv, bygget for å oppdage “giftig” kommentarer. Ved gruvedrift millioner av kommentarer og tegning innspill fra en menneskelig panel, selskapet sa, det kan begynne å forutsi fornærmende tekst i en prosentandel format — en kommentar kan være, for eksempel, “40 prosent lik kommentarer folk sa var” giftig.'” (Etim sier Ganger gitt anonymiserte data til Alfabetet for prosjektet.) Systemet var på ingen måte perfekt, for en tid, en demo syntes å identifisere alle kommentarene som er skrevet på arabisk som delvis giftig, selv om innholdet av teksten var uncontroversial. Sexistisk YouTube bemerkninger som er koblet til systemet ved Randen var merket som for det meste ikke-giftig på den tiden. Men mindre nyansert kommentarer, for eksempel banning fylt tirades, virket lett fanget i nettet.
Et skjermbilde av en Moderator score.
Bilde: The New York Times
Som Perspektiv, Moderator diagrammer kommentarer basert på deres sannsynlighet for å være giftige eller lignende kommentarer til tidligere flagget av moderatorer, og skaper en prosentandel score med de mest sannsynlig til å bli flagget vises nærmere til 100 prosent. Tidene vil fortsette automatisk godkjenne noen kommentarer, og en rangert liste vil peke moderatorer til de mest kontroversielle kommentarer først. Etim sier organisasjonen ikke trenger å ofre for mye nøyaktighet på grunn av automatisering. Som ett eksempel, sier han, ut av mer enn 8,300 mening del kommentarer sendt på en dag siste måned, hvis algoritmen hadde blitt satt til å godkjenne kommentarer med 10 prosent eller lavere score, rundt 1500 ville bli godkjent. Ut av disse for 1500, 22 ville ha blitt flagget av menneskelig moderatorer — ikke for langt ut fra feil mennesker kan ha gjort uansett.