Dimitri Otis/Getty ImagesDet er ingen hemmelighet at internett har sin rettferdige andel av brukere som setter andre ned, deler unyttige kommentarer og i noen tilfeller er direkte fornærmende. Google-datterselskapet Jigsaw lanserte mandag nye verktøy for å håndtere negativ nettdialog ytterligere.
Jigsaw's Perspective API, som kan integreres i eksisterende kommentarsystemer, nettsteder, apper og andre plattformer, bruker AI til å snuse opp giftige kommentarer og heve kommentarer fra brukere som er nyttige, positive og generelt legger til samtalen. Selskapet har nå forbedret API ved å legge til “eksperimentelle broegenskaper”. Disse inkluderer en rekke nye evalueringspunkter, inkludert om en kommentar har nyanser eller viser nysgjerrighet. Modellen kan også analysere kommentarer for å finne ut om de forteller en personlig historie, prøve å resonnere for å forstå noe, eller “vise respekt eller verdsettelse til andre.”
Også: Facebooks tilnærming til innholdsmoderering kritisert av EU-kommissærer
Når Perspective inntar en kommentar, evaluerer verktøyet innholdet på tvers av en rekke attributter, inkludert toksisitetsnivået, om det er fornærmende, om kommentaren har banning, om den er seksuelt eksplisitt, og nå, om den vekker nysgjerrighet eller har nyanser, blant annet. Perspective tildeler deretter en poengsum til hver av disse egenskapene for å avgjøre om en person vil finne en kommentar giftig, profan eller fornærmende.
"For eksempel en kommentar som 'Du er en idiot' kan få en sannsynlighetsscore på 0,8 for attributtet toksisitet, noe som indikerer at 8 av 10 personer vil oppfatte den kommentaren som giftig," Jigsaw skrev.
Når kommentaren har blitt tildelt en poengsum, må brukere av API-en bestemme hva de skal gjøre med den. Jigsaw ser for seg et scenario der moderatorer hever eller nedgraderer kommentarer basert på poengsummen deres. Jigsaw's Perspective API lar også brukere opprette poenggrenser for automatisk å filtrere kommentarer som AI anser som støtende.
Nettsteder, inkludert sosiale medieplattformer, omdannes ofte til avløpsbrønner av brukere som engasjerer seg i stygge debatter, vanskjønne kommentarer og mer. Mens mange tjenester i årevis har forsøkt å løse problemet med verktøy som brukeroppstemming, filtre eller til og med å slå av kommentarer, har det vært liten fremgang i å redusere trakassering på nettet.
Om Jigsaws nye verktøy kan bidra til fremgang på dette området er uklart. Mens Jigsaws forskere lenge har fremhevet teknologien deres, vedvarer det problemer i nettbaserte diskurser. Dessuten erkjenner Jigsaw i sin dokumentasjon at verktøyet fortsatt mangler evnen til å forstå kontekst. Mens Perspective objektivt kan se på en kommentar for å avgjøre om den er støtende, er konteksten i mange tilfeller viktigere.
"I fremtiden håper vi å bruke dette til å forbedre analysen av kommentaren, " Jigsaw skrev. “For øyeblikket bruker ikke attributtene våre kontekst, så sending av kontekst vil ikke endre et attributts poengsum.”
De nye attributtene lagt til Perspective API er nå tilgjengelig for utviklere.< /p>