NORSK

Kan AI-detektorer redde oss fra ChatGPT? Jeg prøvde 6 nettverktøy for å finne ut

Da jeg først så på om det er mulig å kjempe tilbake mot AI-generert plagiat, og hvordan det kan fungere, var det januar 2023, bare noen måneder etter at verdens eksploderende bevissthet om generativ AI. Nå, mer enn et år senere, føles det som om vi har utforsket generativ AI i årevis, men vi har bare sett på problemet i omtrent 18 måneder.

Uansett er dette en oppdatert versjon av den originale januarartikkelen. Da jeg først testet GPT-detektorer, brukte jeg tre: GPT-2 Output Detector (dette er en annen URL enn vi publiserte før), Writer.com AI Content Detector og Content at Scale AI Content Detection. Det beste resultatet var 66 % riktig, fra GPT-2-utgangsdetektoren. Jeg gjorde en ny test i oktober 2023 og la til tre til: GPTZero, ZeroGPT (ja, de er forskjellige) og Writefulls GPT-detektor. Nå, i juni 2024, legger jeg til en kommersiell tjeneste, Originality.ai.

Også: Hvordan bruke ChatGPT: Alt du trenger å vite

I oktober fjernet jeg Writer.com AI Content Detector fra testpakken vår fordi den mislyktes i januar, den mislyktes igjen i oktober, og den mislyktes nå. Se nedenfor for en kommentar fra selskapet, som teamet deres sendte meg etter at den opprinnelige artikkelen ble publisert i januar.

Før jeg fortsetter, må vi imidlertid snakke om plagiering og hvordan det relaterer seg til problemet vårt. Merriam-Webster definerer "plagiarize" som “å stjele og gi bort (ideer eller ord fra en annen) som ens egne; bruke (en annens produksjon) uten å kreditere kilden."

Denne definisjonen passer AI-skapt innhold. Mens noen som bruker et AI-verktøy som Notion AI eller ChatGPT ikke stjeler innhold, hvis vedkommende ikke krediterer ordene som kommer fra en AI og hevder at de er deres egne, oppfyller det fortsatt ordbokdefinisjonen av plagiat.

I denne eksperimentelle artikkelen har jeg bedt ChatGPT om å hjelpe. Ordene mine er i normal og fet tekst. AI-ens ord er kursiv. Etter hver AI-generert seksjon vil jeg vise resultatene av detektorene. På slutten av artikkelen skal vi se på hvor godt detektorene totalt sett presterte.

Også: De beste AI-bildegeneratorene å prøve

Her er resultatet for teksten ovenfor, som jeg skrev selv:

GPT-2 Output Detector: 99,98% realContent at Scale AI Content Detection: 100 % høy sannsynlighet for å være menneske!GPTZero: Teksten din er sannsynligvis skrevet utelukkende av et menneskeZeroGPT: 22 % AI GPT Teksten din er mest sannsynlig skrevet menneskelig Writefull GPT-detektor: 1 % sannsynlig at dette kommer fra GPT-3, GPT-4 eller ChatGPTOriginality.ai: 84% Original 16% AI

Menneskeskrevet innhold: 6-av-6 korrekt

Før vi går videre, la oss diskutere hva jeg'apos; vil vurdere som en “riktig” analyse. Hvis poengsummen er numerisk, vil alt over 70 % riktig bli regnet som en korrekt analyse. Hvis poengsummen har et sammendrag, vil jeg se på sammendraget og foreta en vurdering.

Med det, la oss grave litt mer.

Forklar hvorfor ChatGPT kan være et reelt problem for lærere og redaktører når det kommer til plagiering

ChatGPT er en variant av språkmodellen GPT (Generative Pre-trained Transformer) utviklet av OpenAI. Den er designet for å generere menneskelignende tekst ved å forutsi neste ord eller setning i en gitt inndatasekvens. Mens ChatGPT kan være et nyttig verktøy for å generere tekst og svare på spørsmål, kan det også være et problem for lærere og redaktører når det kommer til plagiering.

En av hovedgrunnene til at ChatGPT kan være et problem for lærere og redaktører, er at det kan generere tekst som er veldig lik den til ekte menneskelige forfattere. Dette betyr at studenter eller andre enkeltpersoner potensielt kan bruke ChatGPT til å generere tekst som de deretter kan sende inn som sitt eget arbeid, og dermed begå plagiat.

For lærere og redaktører kan det være svært vanskelig å oppdage om et gitt stykke tekst ble generert av ChatGPT eller skrevet av et menneske, siden den genererte teksten kanskje ikke inneholder noen åpenbare feil eller avvik som kan avsløre dens kunstige opprinnelse. Dette kan gjøre det vanskelig for lærere og redaktører å identifisere og forhindre plagiering, da de kanskje ikke er i stand til å fortelle om en gitt tekst er original eller kopiert fra en annen kilde.

Også:& #xA0;4 måter å overvinne dine største bekymringer om generativ AI

Samlet sett kan ChatGPT og andre lignende språkmodeller være et problem for lærere og redaktører når det kommer til plagiering fordi de kan generere tekst som er vanskelig å skille fra den som er skrevet av mennesker, noe som gjør det lettere for elever og andre individer å begå plagiat uten å være oppdaget.

GPT-2 Output Detector: 99,69 % reellInnhold i skala AI-innholdsdeteksjon: Vanskelig å si GPTZero: 100 % AIZeroGPT: 100 % AISkrivefull GPT-detektor: 12 % sannsynlig at dette kommer fra GPT-3, GPT-4 eller ChatGPTOriginality.ai: 100 % AI

AI-skrevet innhold: 3-av-6 riktig

Husk at tekst vist i kursiv ble generert av AI.

Vis meg minst tre måter jeg kan oppdage ChatGPT ble brukt til å produsere et tekststykke

Det er flere måter du potensielt kan oppdage om ChatGPT eller en annen språkmodell ble brukt til å produsere et tekststykke. Her er tre potensielle tilnærminger du kan bruke:

Se etter repeterende eller uvanlige mønstre i teksten:

Se etter mangel på originalitet:

Bruk et plagiat kontrollør:

Legg merke til når svaret åpenbart er feil:

Behold Husk at det kan være vanskelig å definitivt avgjøre om en språkmodell ble brukt til å generere et tekststykke, og disse metodene er kanskje ikke alltid effektive. De kan imidlertid være nyttige verktøy for å hjelpe deg med å identifisere potensielle forekomster av språkmodellgenerert tekst.

I dette settet med tester ble bare det kursiviserte innholdet ovenfor kjørt gjennom kontrollpakken.

GPT-2-utgangsdetektor: 99,98 % falskInnhold på skala AI-innholdsdeteksjon: Går som menneskeGPTZero: 100 % AINullGPT: 99,69 % AI GPT Teksten din er AI/GPT-generertSkrivefull GPT-detektor: 79 % sannsynlig at dette kommer fra GPT- 3, GPT-4 eller ChatGPTOriginality.ai: 100 % AI

AI-skrevet innhold: 5-av-6 korrekt

< sterk>List opp tre plagiatkontrollere som kan oppdage ChatGPT-tekst

Det er verdt å merke seg at det for øyeblikket ikke finnes noen plagiatkontroll som er spesielt utviklet for å oppdage tekst generert av ChatGPT eller andre språkmodeller. Selv om noen plagiatkontrollere kan identifisere visse kjennetegn ved språkmodellgenerert tekst som kan indikere dens kunstige opprinnelse, er det ingen garanti for at de definitivt vil kunne avgjøre om et tekststykke ble generert av en språkmodell.

Med det sagt, her er tre plagiatkontrollere som du kan vurdere å bruke for å identifisere potensielle forekomster av språkmodellgenerert tekst:

Turnitin:

PlagScan:

Copyleaks:

Det er verdt å merke seg at ingen plagiatkontroller er helt idiotsikker, og det er alltid en mulighet for at et stykke språkmodellgenerert tekst kan unnslippe gjenkjenning. Derfor er det viktig å bruke plagiatkontroller som bare én del av en større strategi for å oppdage og forhindre plagiat.

GPT-2 Output Detector: 99,58% real Innhold i skala AI-innholdsgjenkjenning: Går som menneskeGPTZero: 100 % AIZeroGPT: 100 % AI GPTSkrivefull GPT-detektor: 86 % sannsynlig at dette kommer fra GPT-3, GPT-4 eller ChatGPTOriginality.ai: 100 % AI

AI-skrevet innhold: 4-av-6 korrekt

Online AI plagiatkontrollere

De fleste plagiatdetektorer brukes til å sammenligne skrift med et korpus av annen skrift. For eksempel, når en student leverer inn et essay, skanner et produkt som Turnitin det innsendte essayet mot et enormt bibliotek med essays i databasen, og andre dokumenter og tekst på internett for å finne ut om det innleverte essayet inneholder allerede skrevet innhold.

Men AI-skriveverktøyene genererer originalt innhold, i det minste i teorien. Ja, de bygger innholdet sitt fra det de har blitt trent på, men ordene de konstruerer er noe unike for hver komposisjon.

Også: De 10 beste ChatGPT-pluginene akkurat nå

Som sådan vil plagiatkontrollene nevnt ovenfor sannsynligvis ikke fungere fordi det AI-genererte innholdet sannsynligvis ikke eksisterte i, for eksempel, en annen student sin artikkel.

I denne artikkelen ser vi bare på GPT-detektorer. Men plagiering er et stort problem, og som vi har sett er det noen som velger å definere plagiat som noe du påstår som ditt som du ikke har skrevet, mens andre velger å definere plagiat som noe skrevet av noen andre som du hevder er ditt.

Det skillet var aldri et problem før nå. Nå som vi har ikke-menneskelige forfattere, er plagiatskillet mer nyansert. Det er opp til hver lærer, skole, redaktør og institusjon å bestemme nøyaktig hvor grensen skal trekkes.

GPT-2-utgangsdetektor: 99,56 % reeltinnhold i skala AI-innholdsgjenkjenning: Går som menneskeGPTZero: 98 % menneskeligNullGPT: 16,82 AI Teksten din er skrevet på menneskelig måteSkrivfull GPT-detektor: 7 % sannsynlig kommer dette fra GPT-3, GPT-4 eller ChatGPT
Originality.ai: 84 % Original 16 % AI

Menneskeskrevet innhold: 6-av-6 korrekt

Samlede resultater

Samlet sett er testresultatene denne gangen dramatisk bedre enn de har vært med tidligere tester.

Også: OpenAI trekker sitt eget AI-deteksjonsverktøy fordi det presterte så dårlig

I våre tidligere kjøringer fikk ingen av testene alt riktig. Denne gangen fikk tre av de seks tjenestene som ble testet resultatene riktige 100 % av gangene.

< td>Riktig

< td>GPTZero

Test	Totalt	Menneske	Al	Al< /td>	Al	Human
GPT-2-utgangsdetektor	60 %	Riktig	Feil	Feil	Riktig
Innhold i skala Al-innholdsdeteksjon	40 %	Riktig	Feil	Feil	Feil	Riktig
100 %	Riktig	Riktig	Riktig	Riktig	Riktig
ZeroGPT	100 %	Riktig	Riktig	Riktig	Riktig	Riktig
Skrivefull GPT-detektor	80 %	Riktig	Feil	Riktig	Riktig	Riktig
Originality.ai	100 %	Riktig	Riktig	Riktig	Riktig	Riktig

< p>Selv om de generelle resultatene har forbedret seg dramatisk, ville jeg ikke være komfortabel med å stole utelukkende på disse verktøyene for å validere en elevs innhold. Som det har vist seg, blir skriving fra andre som ikke har morsmål ofte vurdert som generert av en AI, og selv om det håndlagde innholdet mitt ikke lenger har blitt vurdert som AI, var det noen få avsnitt flagget av testerne som muligens AI- basert. Så jeg vil anbefale forsiktighet før jeg stoler på resultatene av noen (eller alle) disse verktøyene.

Også: Kan noen feilaktig anklage deg for å bruke AI-generert tekst? Dette kan være grunnen til

La oss ta en titt på de individuelle testerne og se hvordan hver enkelt presterte.

GPT-2-utgangsdetektor (nøyaktighet 60 %)

Dette første verktøyet ble bygget ved hjelp av en maskinlæringshub administrert av det New York-baserte AI-selskapet Hugging Face. Mens selskapet har mottatt 40 millioner dollar i finansiering for å utvikle sitt naturlige språkbibliotek, ser GPT-2-detektoren ut til å være et brukerskapt verktøy ved hjelp av Hugging Face Transformers-biblioteket. Av de seks testene jeg kjørte var den nøyaktig for fire av dem.

Writer.com AI-innholdsdetektor (nøyaktighet N/A)

Writer.com er en tjeneste som genererer AI-skriving, orientert mot bedriftsteam. AI Content Detector-verktøyet kan skanne etter generert innhold. Dessverre fant jeg dette verktøyet upålitelig, og det klarte ikke å generere resultater – akkurat på samme måte som det gjorde i januar.

Etter at denne artikkelen opprinnelig ble publisert i januar, kontaktet folkene på Writer.com ZDNET. Administrerende direktør May Habib hadde denne kommentaren å dele:

Etterspørselen etter AI-detektoren har skutt i været. Trafikken har vokst 2-3 ganger per uke siden vi lanserte den for et par måneder siden. Vi har nå den nødvendige skaleringen bak den for å sikre at den ikke går ned, og målet vårt er å holde den gratis – og oppdatert for å fange opp de nyeste modellene' utganger, inkludert våre. Hvis AI-utgang skal brukes ordrett, bør det absolutt tilskrives.

Innhold i skala AI-innholdsgjenkjenning (nøyaktighet 40 %)

Det tredje verktøyet jeg fant ble også produsert av et AI-innholdsgenereringsfirma. Content at Scale presenterer seg selv som “Vi hjelper SEO-fokuserte innholdsmarkedsførere ved å automatisere innholdsoppretting.” Markedsføringsoppfordringen til handling er: “Last opp en liste over søkeord og få 2600+ ord blogginnlegg som omgår gjenkjenning av AI-innhold – alt uten menneskelig innblanding!” Foruroligende nok ble resultatene verre fra januar — den gang var de 50 % nøyaktige. Det har ikke blitt bedre siden.

GPTZero (nøyaktighet 100%)

Det er ikke helt klart hva som driver GPTZero. Selskapet ansetter ingeniører og selgere, og det kjører på AWS, så det er utgifter og salg involvert. Men alt jeg kunne finne om et tjenestetilbud var et sted hvor du kunne registrere deg for en gratis konto for å skanne mer enn de 5000 ordene som tilbys uten pålogging. Hvis du er interessert i denne tjenesten for GPT-deteksjon, må du se om de vil svare deg med flere detaljer. Nøyaktigheten har økt siden sist jeg kjørte disse testene.

< h3> NullGPT (nøyaktighet 100 %)

ZeroGPT ser ut til å ha modnet som en tjeneste siden sist vi så på den. Da vi sist så, ble det ikke oppført noe firmanavn, og nettstedet var spekket med Google-annonser uten noen åpenbar strategi for inntektsgenerering. Tjenesten fungerte ganske bra, men virket overfladisk som pokker.

Den skisseaktige følelsen er nå borte. ZeroGPT presenteres som enhver annen SaaS-tjeneste, komplett med priser, firmanavn, kontaktinformasjon og alt annet. Det fungerer fortsatt ganske bra, så kanskje utviklerne bestemte seg for å gjøre arbeidskoden sin til en mer fungerende virksomhet. Nøyaktigheten økte også. Bra for dem!

Writefull GPT-detektor (nøyaktighet 80%)

Writefull selger skrivestøttetjenester i tillegg til å tilby gratis smakebiter av verktøyene. GPT-detektoren er ganske ny, og fungerte ganske bra. Selv om den ikke er helt nøyaktig, forbedret den seg fra totalt 60 % nøyaktig til 80 % nøyaktig med testene mine.