AI ikke til å lindre lidelsen av Facebook menneskelige moderatorer

Uansett hva selskapene sier, er AI ikke kommer til å løse problemet med innhold moderering online. Det er et løfte vi har hørt mange ganger før, spesielt fra Facebook CEO Mark Zuckerberg, men eksperter sier at teknologien er ikke bare det — og faktisk, kan aldri bli.

De fleste sosiale nettverk for å holde uønsket innhold av deres plattformer ved hjelp av en kombinasjon av automatisert filtrering og menneskelige moderatorer. Som Randen avslørt i en fersk undersøkelse, menneskelige moderatorer som ofte jobber i svært stressende forhold. Ansatte har til å klikke seg gjennom hundrevis av elementer av flagget innhold hver dag — alt fra mord til seksuelle overgrep — og deretter avgjøre om eller ikke det bryter en plattform regler, ofte arbeider på tett kontrollert tidsplaner og uten tilstrekkelig opplæring eller støtte.

Når presentert med den elendigheten deres plattformer er å lage (så vel som andre moderasjon-tilstøtende problemer, som oppfattes bias) selskaper ofte si mer teknologi er løsningen. I løpet av sine høringer foran kongressen i fjor, for eksempel, Zuckerberg sitert kunstig intelligens mer enn 30 ganger så svaret på dette og andre spørsmål.

“AI er Zuckerberg er MacGuffin,” James Grimmelmann, en lov som professor ved Cornell-Tech, fortalte Washington Post på den tiden. “Det vil ikke løse Facebook problemer, men det vil løse Zuckerberg er: det å få noen andre til å ta ansvar.”

Så hva er AI gjør for Facebook og andre plattformer akkurat nå, og hvorfor kan ikke det gjøre mer?

Problemet med å automatisere menneskelig kultur

Akkurat nå, automatiserte systemer ved hjelp av AI og maskinlæring er sikkert å gjøre ganske mye for å hjelpe til med moderasjon. De opptrer som triage systemer, for eksempel presser mistenker innhold til menneskelig moderatorer, og er i stand til å luke ut noen uønskede ting på egenhånd.

Men måten de gjør det, er relativt enkel. Enten ved hjelp av visuell anerkjennelse for å identifisere en bred kategori av innhold (for eksempel “menneskelig nakenhet” eller “våpen”), som er utsatt for feil, eller ved å tilpasse innhold til en indeks over forbudte gjenstander, som krever mennesker for å skape sa indeksen i første omgang.

Sistnevnte tilnærming er brukt for å bli kvitt den mest åpenbare krenkende materiale; ting som propaganda videoer fra terrororganisasjoner, misbruk av barn materiale, og opphavsrettsbeskyttet innhold. I hvert enkelt tilfelle, innhold som er identifisert av mennesker og “hashet,” som betyr at den er omgjort til en unik kombinasjon av tall som er raskere til å behandle. Teknologien er bredt pålitelig, men det kan fortsatt føre til problemer. YouTube er ContentID system, for eksempel, har merket laster opp som hvit støy og fugl sang som brudd på opphavsretten i det siste.

Ting blir mye vanskeligere når innholdet i seg selv kan ikke være lett klassifisert selv av mennesker. Dette kan inkludere innhold som algoritmer sikkert kjenne igjen, men som har mange nyanser av betydning (som nakenhet — gjør bryst-fôring teller?) eller som er svært kontekst-avhengige, som trakassering, falske nyheter, feilinformasjon, og så videre. Ingen av disse kategoriene har enkle definisjoner, og for hver av dem, det er kant-tilfeller med ingen objektiv status, eksempler hvor en persons bakgrunn, personlige livssyn, eller bare humøret på en gitt dag kan utgjøre forskjellen mellom en definisjon og en annen.

Vi spør AI for å forstå kompleksiteten i menneskelig kultur

Problemet med å prøve å få maskiner til å forstå denne typen innhold, sier Robyn Caplan, forsker ved nonprofit Data & Samfunn, er at det er vesentlig å spørre dem til å forstå menneskelig kultur — et fenomen for væske og subtile til å være beskrevet i enkle, maskin-lesbar regler.

“[Innhold] har en tendens til å involvere kontekst som er spesifikk til den som snakker,” Caplan forteller Randen. “Det betyr at ting som strøm dynamics, rase relasjoner, politiske dynamikk, økonomisk dynamikk.” Siden disse plattformene opererer globalt, varierende kulturelle normer må tas hensyn til også, sier hun, så vel som ulike rettslige regimer.

En måte å få vite om innhold vil være vanskelig å klassifisere, sier Eric Goldman, en professor i jus ved Santa Clara University, er å spørre om eller ikke forstår det krever “extrinsic informasjon” — det er, informasjon utenfor bilde, video, lyd eller tekst.

“For eksempel, filtre er ikke god på å finne ut hatefulle ytringer, parodi, eller nyheter rapportering av kontroversielle hendelser fordi så mye av avgjørelsen avhenger kulturell kontekst og andre ytre informasjon,” Goldman forteller Randen. “På samme måte, filtre er ikke god på å bestemme når et innhold republisering er akseptabel bruk under AMERIKANSK lov om opphavsrett fordi avgjørelsen avhenger av ytre informasjon, for eksempel market dynamics, det originale kildematerialet, og uploader’ s andre aktiviteter.”

Hvor langt kan vi skyver AI-systemer?

Men AI som et felt beveger seg svært raskt. Så vil fremtiden algoritmer være i stand til å pålitelig klassifisere denne typen innhold i fremtiden? Goldman og Caplan er skeptisk.

AI vil bli bedre på å forstå sammenhengen, sier Goldman, men det er ikke åpenbart at AI vil snart være i stand til å gjøre det bedre enn et menneske. “AI vil ikke erstatte […] menneskelig anmeldere i overskuelig fremtid, sier han.

Caplan er enig, og påpeker at så lenge mennesker krangle om hvordan å klassifisere denne typen materiale, hvilken sjanse gjøre maskinene har? “Det er bare ingen enkel løsning, sier hun. “Vi kommer til å holde opplever problemer.”

Det er verdt å merke seg, skjønt, at AI er ikke helt håpløst. Fremskritt i dyp læring nylig har i høy grad økt hastighet og kompetanse som datamaskiner klassifisere informasjon i bilder, video og tekst. Arun Gandhi, som jobber for NanoNets, et selskap som selger AI moderering verktøy til online-virksomheter, sier at dette ikke bør være rabatterte.

“Mye av fokuset er på hvordan traumatisk eller forstyrrende jobben av innhold moderator er, noe som er helt rettferdig,” Gandhi forteller Randen. “Men det tar også bort det faktum at vi gjør fremgang med noen av disse problemene.”

Fremgang har blitt gjort, men det er ikke klart hvor langt det kan gå

Machine learning systems trenger et stort antall eksempler for å lære hva som krenkende innhold ser ut som, forklarer Gandhi, som betyr sier de systemene vil øke i årene som kommer som trening datasett blir større. Han peker på at noen av systemer for tiden på plass ville se utrolig rask og nøyaktig selv for noen år siden. “Jeg er overbevist om, gitt de forbedringer vi har gjort i de siste fem, seks årene, at på et tidspunkt vil vi være i stand til helt å automatisere moderasjon, sier Gandhi.

Andre vil være uenig, men å merke seg at AI-systemer har ennå å mestre, ikke bare politisk og kulturell kontekst (som er i endring fra måned til måned, så vel som land til land), men også grunnleggende menneskelige begreper som sarkasme og ironi. Kaste på ulike måter AI-systemer kan bli lurt av enkle hacks, og en komplett AI løsning ser usannsynlig.

Sandra Wachter, en jurist og stipendiat ved Oxford Internet Institute, sier det er også juridiske grunner til at mennesker trenger å bli holdt i loop innhold moderering.

“I Europa har vi en beskyttelse av data framework [GDPR] som tillater folk å bestride visse avgjørelser tatt av algoritmer. Det sier også åpenhet i beslutningsprosesser er viktig [og] at du har rett til å vite hva som skjer med dataene,” Wachter forteller Randen. Men algoritmer kan ikke forklare hvorfor de gjør visse beslutninger, sier hun, som gjør disse systemene ugjennomsiktig og kan føre til tech selskaper å bli saksøkt.

I slekt

De hemmelige liv av Facebook moderatorer i Amerika

Wachter sier at klager knyttet til GDPR har allerede blitt sendt, og at flere saker er sannsynlig å følge. “Når det er høyere rettigheter på spill, som retten til privatliv og ytringsfrihet, […] det er viktig at vi har noen form for regress,” sier hun. “Når du har å gjøre en vurdering samtale som påvirker andre menneskers frihet du har til å ha et menneske i loop som kan granske algoritme og forklare disse tingene.”

“En utfordring som ingen andre medier systemet har hatt til ansikt.”

Som Caplan notater, hva tech selskaper kan gjøre — med sine store marginer og plikt til omsorg for dem de ansatte er bedre arbeidsforhold for menneskelig moderatorer. “Helt minimum, må vi ha bedre arbeidsstandarder,” sier hun. Som Casey Newton bemerket i sin rapport, mens selskaper som Facebook gjør noen innsats for å riktig belønning menneskelige moderatorer, å gi dem helsemessige fordeler, og over-gjennomsnittlig lønn, det er ofte oppveies av ubøyelige stasjon for å bedre nøyaktighet og mer beslutninger.

Caplan sier at presset på tech selskaper for å løse problemet med innhold automatisering kan også være medvirkende til denne situasjonen. “Det er når du får problemer med at arbeidere blir holdt umulig standarder for nøyaktighet,” sier hun. De trenger å komme opp med en løsning så snart som mulig spiller inn Silicon Valley er ofte baktalt “flytt raskt og bryte ting” holdning. Og mens dette kan være en flott måte å tenke på når du starter en app, det er en forferdelig tankegang for selskapets administrerende nyanser av global tale.

“Og vi sier nå, kanskje vi bør bruke maskiner til å håndtere dette problemet, sier Caplan, “men som vil føre til et helt nytt sett med problemer.”

Det er også verdt å huske på at dette er en ny og unik problem. Aldri før har plattformer som store og informasjon-tett som Facebook og YouTube har eksistert. Dette er steder hvor hvem som helst, hvor som helst i verden, helst kan laste opp og dele alt innhold de liker. Å håndtere denne enorme og stadig skiftende semi-offentligheten er “en utfordring som ingen andre medier systemet har hatt til ansikt, sier Caplan.

Det vi vet er at status quo ikke fungerer. Mennesker som har fått i oppgave å rydde opp i eget rot er elendig, og mennesker som skaper det kaos er ikke mye bedre. Kunstig intelligens ikke har nok smarts å håndtere problemet, og menneskelig intelligens er strukket komme opp med løsninger. Noe må gi.