
Når land forbereder seg på å holde store valg i en ny æra preget av generativ kunstig intelligens (AI), vil mennesker være hovedmål for hacktivister og nasjonalstatlige aktører.
Generativ AI har kanskje ikke endret hvordan innhold spres, men det har akselerert volumet og påvirket dets nøyaktighet.
Også: Hvordan OpenAI planlegger å beskytte valg mot AI-generert ugagn
Teknologien har hjulpet trusselaktører med å generere bedre phishing-e-poster i stor skala for å få tilgang til informasjon om en målrettet kandidat eller valg, ifølge Allie Mellen, hovedanalytiker ved Forrester Research. Mellens forskning dekker sikkerhetsoperasjoner og nasjonalstatstrusler samt bruk av maskinlæring og AI i sikkerhetsverktøy. Teamet hennes følger nøye med på omfanget av feilinformasjon og desinformasjon i 2024.
Mellen bemerket rollen sosiale medier spiller for å beskytte mot spredning av feilinformasjon og desinformasjon for å unngå en gjentakelse av det amerikanske valget i 2016.
Nesten 79 % av de amerikanske velgerne sa at de er bekymret for at AI-generert innhold brukes til å etterligne en politisk kandidat eller lage uredelig innhold, ifølge en fersk studie utgitt av Yubico og Defending Digital Campaigns. Ytterligere 43 % sa at de tror slikt innhold vil skade årets valgresultater. Gjennomført av OnePoll, spurte undersøkelsen 2000 registrerte velgere i USA for å vurdere virkningen av cybersikkerhet og AI på valgkampen i 2024.
Også: Hvordan AI vil lure velgere i 2024 hvis vi ikke gjør noe nå
Respondentene fikk et lydklipp tatt opp med en AI-stemme, og 41 % sa at de trodde stemmen var menneskelig. Omtrent 52 % har også mottatt en e-post eller tekstmelding som så ut til å være fra en kampanje, men som de sa de mistenkte var et phishing-forsøk.
“Årets valg er spesielt risikabelt for nettangrep rettet mot kandidater, ansatte og alle som er tilknyttet en kampanje,”" Defending Digital Campaigns president og administrerende direktør Michael Kaiser sa i en pressemelding. “Å ha den rette cybersikkerheten på plass er ikke et alternativ – det er avgjørende for alle som driver en politisk operasjon. Ellers risikerer kampanjer ikke bare å miste verdifulle data, men også å miste velgere."
David Treece, Yubicos visepresident for løsningsarkitektur, la merke til at kampanjer bygger på tillit, og la til i utgivelsen at potensielle hacks, for eksempel falske e-poster eller deepfakes på sosiale medier som direkte samhandler med publikum, kan påvirke kampanjer. Treece oppfordret kandidater til å ta de nødvendige skritt for å beskytte kampanjene sine og ta i bruk nettsikkerhetspraksis for å bygge tillit hos velgerne.
Også: Hvordan Microsoft planlegger å beskytte valg mot dype forfalskninger< /p>
Økt offentlig bevissthet om falskt innhold er også nøkkelen siden det menneskelige er den siste forsvarslinjen, sa Mellen til ZDNET.
Hun understreket videre behovet for at teknologiselskaper er klar over at å sikre valg ikke bare er et regjeringsspørsmål. , men en bredere nasjonal utfordring som enhver organisasjon i bransjen må vurdere.
Øverst er styring kritisk, sa hun. Ikke alle deepfake eller sosialingeniørangrep kan identifiseres på riktig måte, men deres virkning kan reduseres av organisasjonen gjennom riktig port og prosesser for å hindre en ansatt i å sende penger til en ekstern kilde.
"Til syvende og sist, det handler om å adressere kilden til problemet, snarere enn symptomene," sa Mellen. “Vi bør være mest bekymret for å etablere riktig styring og [lag av] validering for å sikre at transaksjoner er lovlige.” Samtidig sa hun at vi burde fortsette å forbedre våre evner i å oppdage dype forfalskninger og generativt AI-drevet svindelinnhold.
Også: Google krever at politiske annonser viser om de er AI-generert
Angripere som utnytter generative AI-teknologier er for det meste nasjonalstatlige aktører, mens andre hovedsakelig holder seg til angrepsteknikker som allerede fungerer. Hun sa at nasjonalstatlige trusselaktører er mer motiverte for å få skala i angrepene sine og ønsker å presse frem med nye teknologier og måter å få tilgang til systemer de ellers ikke ville vært i stand til. Hvis disse aktørene kan presse ut feilinformasjon, kan det erodere offentlig tillit og rive opp samfunn innenfra, advarte hun.
Generativ AI for å utnytte menneskelig svakhet
Nathan Wenzler, sikkerhetsstrateg ved cybersikkerhetsselskapet Tenable sa at han var enig i denne følelsen, og advarte om at det sannsynligvis vil bli økt innsats fra nasjonalstatlige aktører for å misbruke tillit gjennom feilinformasjon og desinformasjon.
Mens teamet hans ikke har lagt merke til noen nye typer sikkerhetstrusler i år med fremveksten av generativ AI, sa Wenzler at teknologien har gjort det mulig for angripere å få skala og omfang.
Denne evnen gjør det mulig for nasjonalstatsaktører å utnytte publikums blinde tillit til det de ser på nettet og vilje til å akseptere det som fakta, og de vil bruke generativ AI for å presse innhold som tjener deres formål, sa Wenzler til ZDNET.
AI-teknologien evnen til å generere overbevisende phishing-e-poster og deepfakes har også fremmet sosial ingeniørkunst som en levedyktig katalysator for å starte angrep, sa Wenzler.
Dessuten: Facebook forbyr politiske kampanjer å bruke de nye AI-drevne annonseverktøyene
Syberforsvarsverktøy har blitt svært effektive for å tette tekniske svakheter, noe som gjør det vanskeligere for IT-systemer å bli kompromittert. Han sa at trusselmotstandere innser dette faktum og velger et lettere mål.
"Når teknologien blir vanskeligere å bryte, [viser] mennesker seg lettere å bryte, og GenAI er enda et skritt [for å hjelpe hackere] i den prosessen," bemerket han. “Det vil gjøre sosial engineering [angrep] mer effektiv og lar angripere generere innhold raskere og være mer effektive, med en god suksessrate.”
Hvis nettkriminelle sender ut 10 millioner phishing-e-postmeldinger, selv bare en forbedring på 1 % i å lage innhold som fungerer bedre for å overbevise målene deres om å klikke, gir en avkastning på ytterligere 100 000 ofre, sa han.
“Hastighet og skala er hva det handler om. GenAI kommer til å være et viktig verktøy for disse gruppene for å bygge sosiale ingeniørangrep," la han til.
Hvor bekymret bør regjeringer være for generative AI-drevne risikoer?
"De burde være veldig bekymret," sa Wenzler. "Det går tilbake til et angrep på tillit. Det spiller virkelig inn i menneskelig psykologi. Folk vil stole på det de ser og de vil tro hverandre. Fra et samfunnssynspunkt gjør vi ikke en god nok jobb med å stille spørsmål ved det vi ser og være på vakt. Og det blir vanskeligere nå med GenAI. Deepfakes blir utrolig bra."
Også: AI-boom vil forsterke sosiale problemer hvis vi ikke handler nå, sier AI-etiker
< p>"Du vil skape en sunn skepsis, men vi er ikke der ennå," sa han og la merke til at det ville være vanskelig å utbedre i ettertid siden skaden allerede er gjort, og deler av befolkningen ville feilaktig trodd det de så en stund.
Etter hvert vil sikkerhetsselskaper lage verktøy, for eksempel for deepfake-deteksjon, som kan håndtere denne utfordringen effektivt som en del av en automatisert forsvarsinfrastruktur, la han til.
Store språkmodeller trenger beskyttelse
Organisasjoner bør også være oppmerksomme på dataene som brukes til å trene AI-modeller.
Mellen sa at treningsdata i store språkmodeller (LLM-er) bør kontrolleres og beskyttes mot ondsinnede angrep, for eksempel dataforgiftning. Behandlede AI-modeller kan generere falske utdata.
Sergy Shykevitsj, Check Point Softwares trusseletterretningsgruppeleder, fremhevet også risikoene rundt LLM-er, inkludert større AI-modeller for å støtte store plattformer, som OpenAIs ChatGPT og Googles Gemini.
< p>Nasjonsstatsaktører kan målrette mot disse modellene for å få tilgang til motorene og manipulere responsene generert av de generative AI-plattformene, sa Shykevich til ZDNET. De kan da påvirke opinionen og potensielt endre valgforløpet.
Uten noen regulering ennå for å regulere hvordan LLM-er skal sikres, understreket han behovet for åpenhet fra selskaper som driver disse plattformene.
Også: Deepfake-deteksjon i sanntid: Hvordan Intel Labs bruker AI for å bekjempe feilinformasjon
Da generativ AI er relativt ny, kan det også være utfordrende for administratorer å administrere slike systemer og forstå hvorfor eller hvordan svar genereres, sa Mellen.
< p>Wenzler bemerket at organisasjoner kan redusere risiko ved å bruke mindre, mer fokuserte og spesialbygde LLM-er for å administrere og beskytte dataene som brukes til å trene deres generative AI-applikasjoner.
Selv om det er fordeler med å Ved å innta større datasett anbefalte han bedrifter å se på risikoviljen sin og finne den rette balansen.
Wenzler oppfordret regjeringer til å gå raskere og etablere de nødvendige mandatene og reglene for å håndtere risikoene rundt generativ AI. Disse reglene vil gi veiledning for organisasjoner i deres bruk og distribusjon av generative AI-applikasjoner, sa han.