Europa-Kommissionen har foreslået en kontroversiel ny regulering, der vil kræve, at chat-apps som WhatsApp og Facebook Messenger selektivt scanner brugernes private beskeder for materiale om seksuelt misbrug af børn (CSAM) og “grooming”-adfærd. Forslaget ligner planer, som Apple fremsatte sidste år, men, siger kritikere, meget mere invasivt.
Efter et udkast til forordningen lækket tidligere på ugen, fordømte privatlivseksperter det på det kraftigste. “Dette dokument er det mest skræmmende, jeg nogensinde har set,” tweetede kryptografiprofessor Matthew Green. “Den beskriver det mest sofistikerede masseovervågningsmaskineri, der nogensinde er blevet indsat uden for Kina og USSR. Ikke en overdrivelse.”
Jan Penfrat fra den digitale fortalervirksomhed European Digital Rights (EDRi) gentog bekymringen og sagde: “Dette ligner en skamfuld generel #overvågningslov, der er fuldstændig uegnet til enhver gratis demokrati.” (En sammenligning af PDF'erne viser, at forskelle mellem det lækkede udkast og det endelige forslag kun er kosmetiske.)
Den største byrde ville ligge på populære chat-apps
Forordningen vil etablere en række nye forpligtelser for “onlinetjenesteudbydere” – en bred kategori, der omfatter appbutikker, hostingvirksomheder og enhver udbyder af “interpersonel kommunikationstjeneste.”
De mest ekstreme forpligtelser ville gælde for kommunikationstjenester som WhatsApp, Signal og Facebook Messenger. Hvis en virksomhed i denne gruppe modtager en “detektionsordre” fra EU, vil de blive bedt om at scanne udvalgte brugeres beskeder for at lede efter kendt materiale om seksuelt misbrug af børn såvel som tidligere usete CSAM og eventuelle beskeder, der kan udgøre “grooming” eller “opfordring af børn.” Disse sidste to kategorier af indhold ville kræve brugen af maskinsynsværktøjer og AI-systemer til at analysere konteksten af billeder og tekstbeskeder.
(I modsætning hertil ville Apples forslag sidste år om at scanne beskeder for at finde materiale om børnemisbrug kun have ledt efter kendte eksempler på CSAM, hvilket begrænser muligheden for fejl. Efter at have mødt udbredt kritik af, at dets forslag ville skade brugernes privatliv, fjernede Apple referencer til funktionen fra dens websted og udsatte dens udrulning på ubestemt tid.)
“Detektionsordrer” ville blive udstedt af individuelle EU-nationer, og Kommissionen hævder, at disse ville være “målrettet og specificeret” til reducere krænkelser af privatlivets fred. Forordningen er dog ikke klar over, hvordan disse ordrer vil blive målrettet – om de vil være begrænset til enkeltpersoner og grupper, for eksempel, eller anvendes til meget bredere kategorier.
“Det lader døren stå åben for meget mere generaliseret overvågning.”
Kritikere af forordningen siger, at sådanne detektionsordrer kan bruges på en bred og invasiv måde til at målrette mod store dele af brugere. “Forslaget skaber mulighed for, at [ordrerne] bliver målrettet, men kræver det ikke,” sagde Ella Jakubowska, en politisk rådgiver hos EDRi, til The Verge. “Det lader døren stå åben for meget mere generaliseret overvågning.”
Privatlivseksperter siger, at forslaget også alvorligt kan underminere (og måske endda bryde) ende-til-ende-kryptering. Forslaget opfordrer ikke udtrykkeligt til at stoppe krypterede tjenester, men eksperter siger, at det ville gøre robust end-to-end-kryptering reelt umuligt at kræve, at virksomheder installerer i deres systemer enhver software, som EU anser for nødvendig for at opdage CSAM. På grund af EU's indflydelse på digital politik andre steder i verden, kan de samme tiltag også spredes over hele kloden, herunder til autoritære stater.
“Der er ingen måde at gøre det, som EU-forslaget søger at gøre, andet end at regeringerne læser og scanner brugerbeskeder i massiv skala,” Joe Mullin, seniorpolitikanalytiker hos den digitale rettighedsgruppe Electronic Frontier Foundation, fortalte CNBC. “Hvis det bliver lov, ville forslaget være en katastrofe for brugernes privatliv, ikke bare i EU, men i hele verden.”
Ud over problemer med kryptering er Kommissionens beslutning om at målrette mod hidtil ukendte eksempler på CSAM samt “grooming”-adfærd også blevet kritiseret. At finde dette indhold ville kræve brug af algoritmiske scannere, som Kommissionen siger vil bevare anonymiteten for målrettede brugere. Men eksperter siger, at sådanne værktøjer er tilbøjelige til at fejle og vil føre til, at uskyldige individer bliver overvåget af deres regering.
“Der var tumult, da Apple foreslog noget lignende for at finde kendt [CSAM]-indhold. . Men hvis du introducerer tvetydighed og disse kontekstafhængige scenarier, hvor AI-baserede værktøjer, som er notorisk upålidelige, er udfordringerne meget større,” sagde EDRi's Jakubowska. “Du skal kun se på, hvor risikable spamfiltre er. De har eksisteret i vores e-mail i 20 år, men hvor mange af os får stadig spam i vores indbakke og går glip af legitime e-mails? Det viser virkelig begrænsningen af disse teknologier.”
Sagde Jakubowska, “Hele dette forslag er baseret på mandat, der er teknisk umulige – hvis ikke umulige – ting.”