Tumblr og New York Citys menneskerettighedskommission (CCHR) har afgjort diskriminationsanklager i forbindelse med virksomhedens forbud mod voksenindhold i 2018, som byens tilsynsmyndigheder siger, er uforholdsmæssigt påvirket af LGBTQ-brugere. Forliget kræver, at Tumblr reviderer sin brugerappelproces og træner sine menneskelige moderatorer i spørgsmål om mangfoldighed og inklusion, samt gennemgår tusindvis af gamle sager og hyrer en ekspert til at lede efter potentielle skævheder i sine modereringsalgoritmer.
Forliget, som ikke indebar en formel juridisk klage og blev underskrevet i sidste måned, markerer en af de første gange, at regulatorer har indgået en aftale om at ændre et socialt netværks moderationspolitikker baseret på algoritmiske bias-problemer. Det løser en undersøgelse, som CCHR startede i december 2018, kort efter at Tumblr forbød eksplicit seksuelt indhold og nøgenhed – og håndhævede dets regler med et komisk unøjagtigt automatiseret fjernelsessystem.
“Hvis nogen driver forretning i New York City, vi har bemyndigelse til at undersøge”
I et interview med The Verge siger CCHRs pressesekretær Alicia McCauley, at agenturet blev interesseret efter rapporter om, at forbuddet ville have en overordnet effekt på Tumblrs LGBTQ-brugerbase. McCauley bemærker, at New York Citys menneskerettighedslov giver bred beskyttelse mod skævhed baseret på kategorier som kønsidentitet og seksuel orientering. “Hvis nogen driver forretning i New York City, har vi autoritet til at undersøge, om det påvirker mennesker negativt,” sagde hun.
Forliget giver Tumblr 180 dage til at ansætte en ekspert i spørgsmål om seksuel orientering og kønsidentitet (SOGI) og give relaterede uddannelser til moderatorer. Det skal også ansætte en person med erfaring på dette område samt ekspertise i billedklassificering, som vil gennemgå Tumblrs modereringsalgoritmer for at se, om de er mere tilbøjelige til at markere LGBTQ-indhold. Som en del af en overordnet gennemgang vil Tumblr genundersøge 3.000 gamle sager, hvor en bruger med succes appellerede en fjernelse, på udkig efter mønstre, der kunne indikere bias.
Aftalen ser ud til at være sket hovedsageligt på grund af WordPress.com-ejeren Automattic, som købte Tumblr fra Verizon i 2019 og tilsyneladende samarbejdede tæt med CCHR. “Jeg tror, det var et vendepunkt i efterforskningen,” siger CCHR-advokat Alberto Rodriguez. Automattic havde revideret det originale system for at tilføje mere menneskeligt tilsyn allerede før forliget. Under sit ejerskab har Tumblr også forsøgt at forsone sig med LGBTQ-brugere, der forlod som en del af en større samfundsudvandring.
Rodriguez mener, at Tumblr-forliget kan være et tidligt skridt i en større landsdækkende reguleringsbevægelse. “Jeg tror, det er uundgåeligt, at sociale medievirksomheder kommer under mere regeringsregulering, og at flere af disse håndhævelsesforanstaltninger vil komme i stand,” siger han.
Sager om sociale medier er sjældent lykkedes i retten
Bias-beskyldninger mod sociale medieplatforme er sjældent lykkedes i retten, og dagens forlig ser ud til at blive styrket af Automattics ønske om at revidere Tumblrs mådehold og genoprette tilliden til LGBTQ-samfundet. (Automattic er også en meget lille virksomhed med færre juridiske ressourcer end “Big Tech”-giganter.) CCHR gav ikke detaljer om beviserne, der understøtter dets påstande om diskrimination, så det er svært at vurdere detaljerne i den sag. Men langt større platforme som YouTube og Instagram har også stået over for anklager om diskriminerende moderation uden lovgivningsmæssig handling, og især YouTube har slået to retssager fra LGBTQ- og Black-videoskabere, som påstod algoritmisk diskrimination.
Rodriguez siger, at i modsætning til i disse tilfælde kræver CCHR's regler på byniveau ikke en specifik hensigt om at diskriminere. Men domstolene har også givet sociale platforme et bredt spillerum til moderat indhold i henhold til First Amendment og Section 230 af Communications Decency Act, og en CCHR-retssag ville være nødt til at stå op til denne undersøgelse. “Afsnit 230 gælder ligeligt for føderale, statslige og kommunale love og håndhævelse,” bemærker Jeff Kosseff, forfatter til den omfattende Section 230-historie De seksogtyve ord, der skabte internettet.
Men det større spørgsmål om algoritmisk race og kønsbias er blevet en stigende prioritet for regulatorer, især i tilfælde, hvor det kan påvirke folks bolig- og beskæftigelsesmuligheder. Og selv uden juridiske klager har nogle virksomheder som Twitter gennemgået deres moderationsalgoritmer under offentligt pres – nogle gange har de gjort bekymrende opdagelser undervejs.
Rettelse, 13:49 ET: < /strong>Automattic ejer WordPress.com, ikke WordPress. Vi beklager fejlen.