Utrota spridningen av barnpornografiskt material (CSAM) är en prioritet för stora företag på internet. Men det är också en svår och förfärlig jobb för dem på frontline — mänskliga moderatorer som har till uppgift att identifiera och ta bort kränkande innehåll. Det är därför Google är idag släpper gratis AI programvara som utformats för att hjälpa dessa individer.
De flesta tekniska lösningar inom detta område arbetar genom att kolla bilder och videor mot en katalog av tidigare identifierade kränkande material. (Se till exempel: PhotoDNA, ett verktyg som utvecklats av Microsoft och används av företag som Facebook och Twitter.) Denna typ av programvara, känd som en “crawler”, är ett effektivt sätt att hindra människor från att dela känt tidigare identifierade CSAM. Men det kan inte fånga material som inte redan har markerats som olagligt. För att mänskliga moderatorer har att gå in och granska innehåll själva.
Googles AI verktyg triages flaggade material, hjälper moderatorer arbeta snabbare
Det är där Google är den nya AI: n verktyget kommer att hjälpa. Med hjälp av bolagets expertis inom machine vision, det hjälper moderatorerna genom att sortera flaggade bilder och videor och “prioritera den mest sannolika CSAM innehåll för granskning.” Detta möjliggör en mycket snabbare att se över processen. I en rättegång, säger Google, AI verktyg hjälpte en moderator “vidta åtgärder på 700 procent mer CSAM innehåll under samma period.”
Sett till Gränsen, Fred Langford, vice VD för Internet Watch Foundation (IWF), sa att den programvara som skulle “hjälpa team som vår egen använda våra begränsade resurser på ett mycket mer effektivt sätt.” “Just nu använder vi bara rent människor att gå igenom innehållet och säga, ‘ja’, ‘nej, säger Langford. “Detta kommer att hjälpa till med triaging.”
IWF är en av de största organisationer som ägnar sig åt att stoppa spridningen av CSAM online. Det är baserat i STORBRITANNIEN, men finansieras genom bidrag från stora internationella företag, bland annat Google. Den tillämpar lagen om mänskliga moderatorer för att identifiera missbruk bilder, och driver tips-linjer i mer än ett dussin länder för internet-användare att rapportera misstänkt material. Det bär också sin egen undersökande verksamhet, identifiera platser där CSAM som är gemensamt och som arbetar med brottsbekämpning att stänga ner dem.
Langford säger att på grund av den typ av “fantastiska påståenden om AI,” IWF ska testa Googles nya AI-verktyg noggrant för att se hur det fungerar och passar med moderatorernas arbete. Han tillade att ett verktyg som detta var ett steg mot fullt automatiserade system som kan identifiera tidigare osett material utan mänsklig interaktion. “Denna typ av klassificerare är lite som den Heliga Graal i vår arena.”
Men, tillade han, sådana verktyg bör endast vara betrodda med “uppenbara” fall för att undvika att låta kränkande material slinka igenom nätet. “För några år sedan skulle jag ha sagt att denna typ av klassificerare var fem, sex år bort, säger Langford. “Men nu tror jag att vi bara är ett eller två år bort från att skapa något som är helt automatiserad i vissa fall.”