Andriy Onufriyenko/Getty ImagesHvis du er bekymret for at AI-roboter skraper innholdet på nettstedet ditt til trener AI, kan Cloudflare hjelpe deg med å kjempe tilbake.
Selskapet, som hevder å være proxy for omtrent 20 % av nettet, har introdusert et nytt verktøy som blokkerer alle AI-roboter fra å skrape teksten til et nettsted. Cloudflare sier at verktøyet er tilgjengelig for alle kunder, også de på gratisnivået.
Dessuten: Trenger du fortsatt å betale for antivirusprogramvare i 2024?
Med økningen i generativ AI trenger bedrifter innhold for å trene chatboter. Mange henvender seg til nettskrapere som henter tekst fra nettsteder for analyse (som ChatGPT gjør med Reddit-innleggene dine). Noen selskaper er på forhånd og ærlige om web-skraping-roboter, men noen er ikke det.
Cloudflare ga ut en funksjon i september i fjor for brukere å blokkere «dårlig»; AI webcrawlere, eller de som skraper nettsteder uten tillatelse. Naturligvis fant noen selskaper en vei rundt dette ved å ha skrapere som utgir seg for å være autentiske. Det er derfor dette nye verktøyet blokkerer alle AI-søkeroboter, selv de som følger riktig protokoll for skraping.
For juni 2024 hadde AI-roboter tilgang til rundt 39 % av de øverste en million “internettegenskapene” bruker Cloudflare, sa selskapet. Mindre enn 3 % av disse egenskapene iverksatte tiltak for å blokkere AI-roboter. I følge Cloudflare var de fire beste robotene som skrapte sidene Bytespider, Amazonbot, ClaudeBot og GPTBot.
Bytespider, eid av Bytedance, selskapet som eier TikTok, brukes til å samle treningsdata for sine store språkmodeller, inkludert ChatGPT-rival Doubao. Amazonbot brukes til å trene spørsmålssvarssiden til Alexa, ClaudeBot trener Claude AI, og GPTBot trener ChatGPT.
Også: 5 måter Amazon kan lage et AI-drevet Alexa-abonnement verdt prisen på< /strong>
Hvis du er en Cloudflare-bruker, er det enkelt å bruke verktøyet. Bare gå til innstillingsdelen av dashbordet, og klikk deretter på "Sikkerhet" og "Botter." Derfra vil du se en veksleknapp merket “AI-skrapere og søkeroboter”. Slå den på, og AI-roboter vil ikke lenger ha tilgang til innholdet ditt.
Selvfølgelig er AI-roboter i stadig utvikling. Cloudflare sier at denne funksjonen også vil utvikle seg automatisk ettersom den oppdager "fingeravtrykk" av fornærmende roboter.
Det nye verktøyet er nå tilgjengelig for alle Cloudflare-brukere fra og med i dag.