Google frigiver et open source-chikanefilter til journalister

0
190

Googles Jigsaw-enhed frigiver koden til et open source-anti-chikaneværktøj kaldet Harassment Manager. Værktøjet, der er beregnet til journalister og andre offentlige personer, anvender Jigsaws Perspective API til at lade brugere sortere gennem potentielt krænkende kommentarer på sociale medieplatforme, startende med Twitter. Den debuterer som kildekode, som udviklere kan bygge videre på, og lanceres derefter som en funktionel applikation for Thomson Reuters Foundation-journalister i juni.

Harassment Manager kan i øjeblikket arbejde med Twitters API for at kombinere modereringsmuligheder – som at skjule tweet-svar og dæmpe eller blokere konti – med et bulkfiltrerings- og rapporteringssystem. Perspektiv kontrollerer beskedernes sprog for niveauer af “toksicitet” baseret på elementer som trusler, fornærmelser og bandeord. Det sorterer beskeder i køer på et dashboard, hvor brugerne kan adressere dem i batches i stedet for individuelt gennem Twitters standardmodereringsværktøjer. De kan vælge at sløre teksten i beskederne, mens de gør det, så de ikke behøver at læse hver enkelt, og de kan søge efter nøgleord ud over at bruge de automatisk genererede køer.

Et billede af Harassment Manager-dashboardet som beskrevet i indlægget Google

Harassment Manager giver også brugere mulighed for at downloade en selvstændig rapport, der indeholder misbrugsmeddelelser; dette skaber et papirspor for deres arbejdsgiver eller, i tilfælde af ulovligt indhold som direkte trusler, retshåndhævelse. For nu er der dog ikke en selvstændig applikation, som brugere kan downloade. I stedet kan udviklere frit bygge apps, der inkorporerer dens funktionalitet, og tjenester, der bruger det vil blive lanceret af partnere som Thomson Reuters Foundation.

Jigsaw annoncerede Harassment Manager på den internationale kvindedag, og det indrammede værktøjet som særligt relevant for kvindelige journalister, der udsættes for kønsbaseret misbrug, og fremhævede input fra “journalister og aktivister med stor Twitter-tilstedeværelse” såvel som nonprofitorganisationer som International Women's Media Foundation og udvalget til beskyttelse af journalister. I et Medium-indlæg siger teamet, at det håber, at udviklere kan skræddersy det til andre udsatte sociale mediebrugere. “Vores håb er, at denne teknologi giver en ressource for mennesker, der udsættes for chikane online, især kvindelige journalister, aktivister, politikere og andre offentlige personer, som beskæftiger sig med uforholdsmæssig høj toksicitet online,” står der i indlægget.

Et skærmbillede af rapporteringsmuligheden i Jigsaw's Harassment Manager

Google har tidligere brugt Perspective til automatiseret moderering. I 2019 udgav den en browserudvidelse kaldet Tune, der lader brugere af sociale medier undgå at se beskeder med en høj chance for at være giftige, og den er blevet brugt af mange kommentarplatforme (inklusive Vox Medias Coral) til at supplere menneskelig mådehold. Men som vi bemærkede omkring udgivelsen af ​​Perspective and Tune, har sproganalysemodellen historisk set været langt fra perfekt. Det misklassificerer nogle gange satirisk indhold eller undlader at opdage misbrugsmeddelelser, og Jigsaw-stil AI kan utilsigtet forbinde udtryk som “blind” eller “døv” – som ikke nødvendigvis er negative – med toksicitet. Jigsaw selv er også blevet kritiseret for en giftig arbejdspladskultur, selvom Google har bestridt påstandene.

I modsætning til AI-drevet moderering på tjenester som Twitter og Instagram, er Harassment Manager dog ikke en modereringsfunktion på platformssiden. Det er tilsyneladende et sorteringsværktøj til at hjælpe med at administrere det til tider overvældende omfang af feedback på sociale medier, noget der kunne være relevant for folk langt uden for journalistikkens område – også selvom de ikke kan bruge det lige nu.