peepo/Getty ImagesTrustpilot, dannet i 2007, er et nettsted som samler brukeranmeldelser av selskaper og nettsteder. Selskapet har 238 millioner anmeldelser på nettstedet sitt, etter å ha vurdert nesten en million nettsteder på tvers av 50 nasjonaliteter.
Selv om Trustpilot tilbyr anmeldelser av USA-baserte virksomheter, var de få lokale butikkene jeg så etter ikke oppført. Jeg hadde bedre hell på Yelp. Trustpilot ser ut til å ha en mye sterkere tilstedeværelse i Europa.
Anoop Joshi, Trustpilots Chief Trust Officer
For våre formål i denne artikkelen spiller det ingen rolle hvor overvekten av profilerte selskaper befinner seg. Denne artikkelen fokuserer på et problem som er farlig endemisk på anmeldelsessider: falske anmeldelser.
Også: Når er riktig tidspunkt å investere i AI? 4 måter å hjelpe deg med å bestemme
Bare i 2023 identifiserte Trustpilot 3,3 millioner falske anmeldelser på nettstedet sitt. Det er etter å ha eliminert 2,6 millioner bare året før. Enda verre, ifølge forskning dokumentert i Proceedings of the National Academy of Sciences of the United States of America (PNAS), kan bare omtrent halvparten av forbrukerne skille mellom tekst skrevet av kunstig intelligens og tekst skrevet av et ekte menneske.
Utveksten av generativ kunstig intelligens etterlater forbrukere og selskaper som Trustpilot med et stadig mer alvorlig problem: filtrere ut falske anmeldelser og identifisere virkelige meninger fra ekte forbrukere.
Dessuten: Generativ AI er teknologien som IT føler mest press for å utnytte
Trustpilot har gjort denne utfordringen til en nøkkeloppgave for selskapet. ZDNET snakket med Anoop Joshi, Trustpilots chief trust officer, for å finne ut hvordan selskapet bekjemper AI-genererte falske anmeldelser. Det er en ganske interessant utfordring.
Og med det, la oss komme i gang.
ZDNET: Kan du dele reisen din for å bli Trustpilots hovedtillitsvalgt?
Anoop Joshi:Som Trustpilots chief trust officer, overvåker jeg vår tillit og sikkerhet og juridiske og personvern-operasjoner med et team på rundt 80, som dekker et bredt spekter av aktiviteter på tvers av rettssaker, offentlige anliggender, global kommunikasjon, kommersielle kontrakter, innholdsmoderering, merkevarebeskyttelse, og svindelundersøkelser.
Jeg begynte i Trustpilot for over fire år siden. Jeg var opprinnelig ansvarlig for selskapets håndhevingsrelaterte arbeid, dvs. handlingene som ble tatt mot misbruk på Trustpilot-plattformen av bedrifter eller forbrukere. Dette inkluderte å overvåke og støtte våre handlinger for å takle falske anmeldelser og etterforske former for misbruk og misbruk. Rettstvister var også en del av denne rollen, spesifikt knyttet til innhold lagt ut på plattformen og krav sendt inn av bedrifter som forsøkte å få anmeldelser fjernet eller skjult på plattformen.
Også: Generativ AI kan transformere kundeopplevelser. Men bare hvis du fokuserer på andre områder først
Dette teamet utviklet seg til selskapets første plattformintegritetsteam og ble mer involvert i den operative siden av tillit og sikkerhet, noe som førte til større fremtreden av arbeidet vi gjorde på bransjenivå. Vår innvirkning ble anerkjent som Trustpilot ble et grunnleggende medlem av Coalition of Trusted Reviews, sammen med Amazon, TripAdvisor, Glassdoor, Booking.com, Expedia og andre, med mål om å ytterligere forbedre tilliten til anmeldelser på nettet .
Jeg har bakgrunn som advokat og programvareingeniør, og i dag støtter den blandede bakgrunnen min tillitssjef-rolle på Trustpilot. Kritisk nok er vi på et sted der jus og teknologi skjærer hverandre på flere forskjellige måter, og dette er spesielt tilfelle for Trustpilot når det gjelder å bygge og tjene tillit.
ZDNET: Hvordan definerer du rollen til en chief trust officer i dagens digitale landskap?
AJ:Hos Trustpilot er visjonen vår å være det universelle symbolet på tillit, og denne rollen er her for å sikre at vi leverer på denne forpliktelsen. Som hovedtillitsansvarlig er jeg ansvarlig for å fastslå hva tillit betyr på Trustpilot. En stor del av det er våre anmeldelser, innholdet på nettsiden vår og måten vi behandler våre kunder på, både forbrukere og bedrifter.
Det handler også om å drive styring og prosesser som reduserer risiko, muliggjør overholdelse og til slutt tjener tilliten og lojaliteten til våre interessenter, som inkluderer forbrukere, ansatte, bedrifter som bruker Trustpilot, investorer, beslutningstakere, journalister og mer.
Når teknologien blir stadig mer gjennomgripende i arbeidet til organisasjoner over hele verden, og mer og mer engasjement skjer på nettet, vil spørsmålet om tillit fortsette å dukke opp, og jeg forventer at vi vil begynne å se mer etterspørsel for denne typen rolle i C-suiten.
ZDNET: Hva er de vanligste falske anmeldelsene du møter på Trustpilot?
AJ:Vi definerer falske anmeldelser som anmeldelser som ikke er basert på en ekte opplevelse eller på annen måte har blitt etterlatt som et forsøk på å villede leseren på en eller annen måte. Typene vi ofte kommer over og fjerner er:
Spam-anmeldelser: Folk legger igjen en anmeldelse som til syvende og sist er en form for reklame eller utgir seg for å være en kampanje for en annen bedriftInteressekonflikter anmeldelser: En eier eller ansatt i en bedrift som anmelder den bedriften selvAnmeldelser som er lagt inn som et forsøk på å villede:Noen som sender inn en anmeldelse der de ikke har hatt noen erfaring med virksomheten i det hele tattInsentivbaserte anmeldelser: Selve anmeldelsen er misvisende og motivasjonen for å sende inn den anmeldelsen er ond
< strong>ZDNET: Hvordan har fremveksten av AI-generert innhold påvirket ektheten til anmeldelser på nettet?
AJ:Generativ AI på dette området har redusert kostnadene for enkeltpersoner å lage innhold. Som en plattform har Trustpilot designet sine automatiserte systemer og motorer for å oppdage falske anmeldelser ved å fokusere på atferd.
Våre motorer ser på hvordan en anmeldelse kom inn på Trustpilot ved å undersøke forholdet mellom brukeren som sendte inn anmeldelsen og ser etter mønstre eller mistenkelige markører. Selv om innholdet i anmeldelsen absolutt er noe vi ser på, er det en liten del av helhetsbildet når det gjelder avsløring av falske anmeldelser.
Dessuten: Smidig utvikling kan låse opp kraften til generativ AI – her er hvordan
Våre systemer ser hele tiden på atferden som fører frem til innsending av en anmeldelse, og våre funnene i vår siste åpenhetsrapport viser en relativ konsistens fra år til år når det gjelder antall og antall falske anmeldelser som er oppdaget.
Dette viser at siden lanseringen av AI-teknologier som ChatGPT, har vi ikke sett en økning i antall falske anmeldelser og har vært konsekvente i funnene våre som selskap.
ZDNET: Kan du forklare hvordan Trustpilots AI- og maskinlæringssystemer oppdager falske anmeldelser?
AJ:Hver anmeldelse som sendes inn til Trustpilot, analyseres av automatiserte motorer for oppdagelse av falske anmeldelser. Disse motorene ser på ulike funksjoner eller fasetter ved en anmeldelse, for eksempel tidligere brukeradferd – hvilke andre anmeldelser denne brukeren har sendt inn til plattformen – eller til og med salgsfremmende uttalelser for å oppdage mistenkelig aktivitet. Noen oppdagede mønstre er ikke umiddelbare og kan ta tid å utvikle seg før vi iverksetter tiltak.
I tillegg til våre deteksjonsmotorer, stoler vi på vårt Trustpilot-fellesskap av forbrukere og bedrifter som kan rapportere enhver anmeldelse de anser som mistenkelig eller bryter med retningslinjene våre. Disse blir flagget til våre menneskelige moderatorer (vårt “innholdsintegritetsteam”), som deretter vurderer anmeldelsen og bestemmer handlingen som er tatt.
Hver gang vi fjerner en anmeldelse, kontakter vi anmelderen direkte for å fortelle dem årsakene til dette, og for å gi dem en mulighet til å utfordre avgjørelsen.
Våre gjenkjenningsmotorer og innholdsintegritetsteamet vårt jobber hånd i hånd for å kontinuerlig forbedre vår tilnærming til å oppdage og fjerne falske anmeldelser.
ZDNET: Hvilke utfordringer møter Trustpilot når det gjelder å skille mellom ekte og falske anmeldelser?
AJ:En av våre største utfordringer er at noen atferdsmønstre ikke er umiddelbart synlige og tar tid å utvikle og forstå at dette faktisk er en falsk eller villedende anmeldelse. Dette vil alltid være en utfordring når man skal skille mellom ekte eller falske anmeldelser.
ZDNET: Hvordan takler du problemet med å beholde ekte anmeldelser der brukere legitimt brukte AI-er for å hjelpe med å skrive dem?
AJ:< /strong>Vi ser på om anmeldere har hatt en genuin erfaring med en virksomhet, og om den erfaringen gjenspeiles i deres anmeldelse. Vi analyserer en rekke faktorer når vi avgjør om en anmeldelse er mistenkelig, som kan inkludere om en anmelder brukte data kopiert fra en annen kilde (for eksempel generert andre steder, inkludert fra en generativ AI-modell).
Hvis disse faktorene utgjør en høy grad av mistenksomhet, fjerner vi automatisk anmeldelsen og gir anmelderen beskjed om at vi har iverksatt tiltak, og gir dem en mulighet til å utfordre avgjørelsen vår.
Også: Rote-automatisering var slik i fjor: AI presser mer intelligens inn i programvareutvikling
Vi tror det er den rette balansen å ta når det kommer til denne nye teknologien, og erkjenner at det finnes brukstilfeller der anmeldere kan bruke generative AI-baserte verktøy for å hjelpe til med å skape ekte opplevelser eller for å støtte anmeldernes behov, for eksempel tilgjengelighet eller nevrodiversitet.
ZDNET: Hvordan balanserer Trustpilot behovet for automatisert deteksjon med viktigheten av menneskelig tilsyn?
AJ:Når vi tenker på plattformens fremtid, har vi alltid og vil alltid sørge for at mennesker er involvert i utformingen og implementeringen av automatiseringsprogramvaren vi utvikler.
Vi erkjenner at automatisering har stor betydning for å støtte operasjoner i stor skala, men problemene vi løser er menneskelige. Disse problemene og utfordringene endres over tid, og derfor må automatisering tilpasses, og denne tilpasningen er ofte drevet av det vi lærer av menneskelig atferd.
ZDNET: Hvordan har prosentandelen av falske anmeldelser som er oppdaget endret seg gjennom årene, og hvilke faktorer har bidratt til dette?
AJ: Totalt antall anmeldelser skrevet på Trustpilot fortsetter til økning fra år til år, fra 46 millioner (FY 2022) til 54 millioner (FY 2023), en økning på 17 %. Med det ble flere falske anmeldelser fjernet i regnskapsåret 2023, totalt 3,3 millioner sammenlignet med 2,6 millioner i regnskapsåret 2022. Imidlertid forblir fjerningsraten vår konsekvent på 6 % av totalen fra år til år proporsjonalt.
I 2023 ble 79 % av de falske anmeldelsene oppdaget og fjernet av våre falske deteksjonssystem, noe som viser at vår fortsatte investering i teknologi for automatisk å oppdage falske anmeldelser blir stadig mer effektiv. Mens AI og maskinlæring fortsetter å utvikle seg raskt, lar generative AI-verktøy raskt opprettet skriftlig informasjon fra noen få enkle spørsmål.
Også: 4 måter å hjelpe organisasjonen din med å overvinne AI-treghet
Nyere forskning viser at deltakere i en studie bare kunne skille mellom menneskelig og AI-tekst med 50-52 % nøyaktighet. I dag betyr investeringene våre i teknologi for å bedre oppdage atferdsmønstre som fokuserer like mye på hvordan anmeldelser kommer inn på plattformen som de gjør på det spesifikke innholdet i en anmeldelse, at vi fortsetter å identifisere og fjerne mistenkelige anmeldelser, selv der innholdet kan ha blitt generert bruker AI.
I tillegg hjelper fellesskapet på Trustpilot oss med å fremme og beskytte tilliten på plattformen. Våre anmeldere og forretningsmiljøer kan når som helst rapportere en anmeldelse til oss hvis de mener den bryter med retningslinjene våre. Vi refererer til de anmeldelsene som er rapportert til oss som rapporterte anmeldelser.
Ved å bruke både teknologi som AI og maskinlæring så vel som fellesskapet vårt, kan vi fortsette å tilby en plattform bygget på tillit og åpenhet.
ZDNET: Hva er de langsiktige effektene av falske anmeldelser på forbrukernes tillit og forretningsomdømme?
AJ:Falske anmeldelser har muligheten til å påvirke forbrukernes beslutninger. En forbruker som foretar et kjøp basert på en falsk anmeldelse kan til slutt få en dårlig opplevelse, eller i det minste ikke den opplevelsen de forventet. Til syvende og sist påvirker dette deres tillit til nettplattformer.
Og hvis plattformer ikke gjør alt de kan for å redusere sannsynligheten for falske anmeldelser, vil dette ha langsiktige effekter, ettersom forbrukere til slutt vil miste troen på plattformene de er avhengige av for å lage sine kjøpsbeslutninger.
ZDNET: Hvilke etiske hensyn styrer Trustpilots bruk av AI i vurderingsmoderering?
AJ: Til syvende og sist er det vår forpliktelse til åpenhet. Der vi bruker AI for automatisert beslutningstaking, er vi transparente om det faktum. Vi designer vår plattform for tillit mellom forbrukere og bedrifter.
Denne åpenheten er kjernen i tilnærmingen vi bruker når det gjelder bruk og utvikling av AI-verktøy for plattformen vår, og er noe forbrukere i økende grad forventer
ZDNET: Hvordan lærer du forbrukere om å skille ekte anmeldelser fra falske?
AJ: Vi bruker Trust Signals for å fremheve bekreftede anmeldelser, pluss at anmeldere har muligheten til å verifisere seg. Vår dedikasjon til en høy standard for bekreftelse sikrer at forbrukere som surfer på Trustpilot er i stand til å skille mellom de forskjellige typene anmeldelser på plattformen vår.
Det er nok en del av vår forpliktelse til åpenhet gjennom alt vi gjør. Der vi iverksetter håndhevelsestiltak mot bedrifter for misbruk av plattformen, viser vi fremtredende bannere (vi kaller dem forbrukeradvarsler) for å hjelpe forbrukere med å ta bedre informerte valg.
ZDNET: Hvordan ser du for deg at fremtiden til kunstig intelligens når det gjelder å bekjempe falske anmeldelser vil utvikle seg?
AJ:Det er enorme muligheter ved å bruke AI for plattformer som vår. Generativ AI utmerker seg spesielt ved mønsterprediksjon, og jeg er interessert i å se hvordan innovasjon utvikler seg ved å bruke denne teknologien for å bedre identifisere falske anmeldelser. Vi har vært i drift siden 2007 og har en enorm mengde data og erfaring med å finne ut hvilke anmeldelser som er falske og hvilke som er ekte for å hjelpe oss med å bygge bedre falske deteksjonsmodeller.
Også: Vil du jobbe med kunstig intelligens? Hvordan dreie karrieren din i 5 trinn
Det er også viktig å erkjenne at disse teknologiene kan brukes til å fremme større åpenhet, ved å bruke teknologien til å støtte og veilede folk på nettet, noe vi ser mye av når det kommer til nettprat. Denne teknologien kommer bare til å bli bedre over tid, men med det sofistikerte nivået følger en dyp ansvarsfølelse.
ZDNET: Hvilken fremtidig utvikling ser du for deg i landskapet med anmeldelser på nettet?
AJ:Når jeg ser på det bredere nettet, forventer jeg at forskjellen mellom innhold som er menneskeskapt og potensielt AI-generert vil bli større, noe som påvirker tilliten til innhold på nettet. Som et resultat vil innhold skapt av ekte mennesker, basert på opplevelsene til ekte mennesker, bli stadig mer verdifullt i fremtiden.
Plattformer som Trustpilot, hvor vi har investert i en kombinasjon av teknologi, mennesker, fellesskap og prosesser for å fremheve ekte, autentiske stemmer og meninger, vil gi mer meningsfull verdi for forbrukere og bedrifter.
Siste tanker
ZDNETs redaktører og jeg vil gjerne gi en shoutout til Anoop Joshi for å ha deltatt i dette dybdeintervjuet. Her er det mye til ettertanke. Takk, Anoop.
Hva synes du? Gav disse anbefalingene deg noen innsikt i hvordan du kan navigere i havet av nettanmeldelser? Gi oss beskjed i kommentarene nedenfor.
Du kan følge mine daglige prosjektoppdateringer på sosiale medier. Sørg for å abonnere på mitt ukentlige oppdateringsnyhetsbrev, og følg meg på Twitter/X på @DavidGewirtz, på Facebook på Facebook.com/DavidGewirtz, på Instagram på Instagram.com/DavidGewirtz og på YouTube på YouTube.com/DavidGewirtzTV.< /p>