skynesher/Getty ImagesCybersikkerhetsforskere har advart lenge nå at generativ kunstig intelligens (GenAI)-programmer er sårbare for en lang rekke angrep, fra spesiallagde meldinger som kan bryte rekkverk, til datalekkasjer som kan avsløre sensitiv informasjon. < /p>
Jo dypere forskningen går, jo flere eksperter finner ut hvor mye GenAI er en vidåpen risiko, spesielt for bedriftsbrukere med ekstremt sensitive og verdifulle data.
Også: Generativ AI kan lett gjøres ondsinnet til tross for autovern, sier lærde
"Dette er en ny angrepsvektor som åpner opp en ny angrepsoverflate," sa Elia Zaitsev, teknologisjef for nettsikkerhetsleverandøren CrowdStrike, i et intervju med ZDNET.
"Jeg ser med generativ AI at mange mennesker bare skynder seg å bruke denne teknologien, og de går utenom de vanlige kontrollene og metodene" av sikker databehandling, sa Zaitsev.
"På mange måter kan du tenke på generativ AI-teknologi som et nytt operativsystem, eller et nytt programmeringsspråk," sa Zaitsev. “Mange mennesker har ikke ekspertise på hva fordeler og ulemper er, og hvordan man bruker det riktig, hvordan man sikrer det riktig.”
Det mest beryktede siste eksemplet på AI som vekker sikkerhetsproblemer er Microsofts tilbakekallingsfunksjon, som opprinnelig skulle bygges inn i alle nye Copilot+ PC-er.
Sikkerhetsforskere har vist at angripere som få tilgang til en PC med Recall-funksjonen kan se hele historien til en persons interaksjon med PC-en, ikke ulikt det som skjer når en tastetrykklogger eller annen spionvare med vilje plasseres på maskinen.
"De har gitt ut en forbrukerfunksjon som i utgangspunktet er innebygd spionprogramvare, som kopierer alt du gjør i en ukryptert lokal fil," forklarte Zaitsev. “Det er en gullgruve for motstandere å gå til angrep, gå på akkord og få all slags informasjon.”
Også: Amerikanske bilforhandlere sliter etter massive nettangrep: 3 ting kunder bør vite< /strong>
Etter et tilbakeslag sa Microsoft at det ville slå av funksjonen som standard på PC-er, noe som gjør den til en opt-in-funksjon i stedet. Sikkerhetsforskere sa at det fortsatt var risiko for funksjonen. Deretter sa selskapet at det ikke ville gjøre Recall tilgjengelig som en forhåndsvisningsfunksjon på Copilot+ PC-er, og sier nå at Recall “kommer snart gjennom en etterlansering av Windows Update”."
trusselen er imidlertid bredere enn en dårlig utformet applikasjon. Det samme problemet med å sentralisere en haug med verdifull informasjon finnes med all teknologi for store språkmodeller (LLM), sa Zaitsev.
“Jeg ser at mange mennesker skynder seg å bruke denne teknologien, og de omgår de vanlige kontrollene og metodene” av sikker databehandling, sier Crowdstrikes Elia Zaitsev.
CrowdStrike
"Jeg kaller det nakne LLM-er," sa han og refererte til store språkmodeller. "Hvis jeg trener opp en haug med sensitiv informasjon, legger den inn i en stor språkmodell og deretter gjør den store språkmodellen direkte tilgjengelig for en sluttbruker, så kan raske injeksjonsangrep brukes der du kan få den til å dumpe ut alt opplæringsinformasjonen, inkludert informasjon som er sensitiv."
Bedriftsteknologiledere har gitt uttrykk for lignende bekymringer. I et intervju denne måneden med tech-nyhetsbrevet The Technology Letter, bemerket administrerende direktør for datalagringsleverandøren Pure Storage, Charlie Giancarlo, at LLM-er “ikke er klare for bedriftsinfrastruktur ennå.”
Giancarlo siterte mangelen av "rollebaserte tilgangskontroller" på LLM-er. Programmene vil tillate hvem som helst å få tak i spørsmålet om en LLM og finne ut sensitive data som har blitt absorbert med modellens opplæringsprosess.
Også: Nettkriminelle bruker Meta's Llama 2 AI, ifølge CrowdStrike
"Akkurat nå er det ikke gode kontroller i sted," sa Giancarlo.
"Hvis jeg skulle be en AI-robot om å skrive inntektsskriptet mitt, er problemet at jeg kunne gi data som bare jeg kunne ha," som administrerende direktør, forklarte han, “men når du først lærte roboten, kunne den ikke glemme det, og derfor kunne noen andre – i forkant av avsløringen – spørre: “Hva skal Pure's inntekter til være?' og det ville fortelle dem." Å avsløre inntektsinformasjon til selskaper før planlagt offentliggjøring kan føre til innsidehandel og andre verdipapirbrudd.
GenAI-programmer, sa Zaitsev, er “en del av en bredere kategori som du kan kalle inntrengninger uten skadelig programvare”," der det ikke trenger å være ondsinnet programvare oppfunnet og plassert på et måldatasystem.
Eksperter på nettsikkerhet kaller slik kode uten skadelig programvare “living off the land”," sa Zaitsev, ved å bruke sårbarheter som er iboende i et programvareprogram ved design. “Du henter ikke inn noe eksternt, du drar bare nytte av det som er innebygd i operativsystemet.”
Et vanlig eksempel på å leve av landet inkluderer SQL-injeksjon, der det strukturerte spørringsspråket som brukes til å spørre etter en SQL-database, kan utformes med visse sekvenser av tegn for å tvinge databasen til å ta skritt som vanligvis vil bli låst.
Tilsvarende er LLM-er selv databaser, ettersom en modells hovedfunksjon er “bare en supereffektiv komprimering av data” som effektivt skaper et nytt datalager. “Det er veldig analogt med SQL-injeksjon,” sa Zaitsev. “Det er en grunnleggende negativ egenskap ved disse teknologiene.”
Teknologien til Gen AI er imidlertid ikke noe å droppe. Det har sin verdi hvis det kan brukes forsiktig. “Jeg har sett fra første hånd noen ganske spektakulære suksesser med [GenAI]-teknologi,”" sa Zaitsev. "Og vi bruker det med stor effekt allerede på en kundevendt måte med Charlotte AI," Crowdstrikes assistentprogram som kan hjelpe med å automatisere enkelte sikkerhetsfunksjoner.
Også: Bedrifter' skysikkerhetsfeil er 'bekymrende' – ettersom AI-trusler akselererer
Blant teknikkene for å redusere risiko er å validere en brukers melding før den går til en LLM, og deretter validere svaret før det sendes tilbake til brukeren.
"Du trenger' t tillate brukere å sende meldinger som ikke har blitt inspisert, direkte inn i LLM," sa Zaitsev.
For eksempel en "naken" LLM kan søke direkte i en database som den har tilgang til via "RAG," eller, gjenvinningsutvidet generasjon, en stadig mer vanlig praksis med å ta brukerforespørselen og sammenligne den med innholdet i databasen. Dette utvider muligheten for LLM til å avsløre ikke bare sensitiv informasjon som har blitt komprimert av LLM, men også hele lageret av sensitiv informasjon i disse eksterne kildene.
RAG er en generell metodikk for å gi en LLM tilgang til en database.
Baidu
Nøkkelen er å ikke la den nakne LLM få tilgang til datalagre direkte, sa Zaitsev. På en måte må du temme RAG før det gjør problemet verre.
"Vi drar fordel av egenskapen til LLM-er der brukeren kan stille et åpent spørsmål, og så bruker vi det til å bestemme hva de prøver å gjøre, og så bruker vi mer tradisjonelle programmeringsteknologier" for å oppfylle spørringen.
"For eksempel lar Charlotte AI i mange tilfeller brukeren stille et generisk spørsmål, men det Charlotte gjør er å identifisere hvilken del av plattformen, hvilket datasett har kilden til sannheten, for så å trekke fra for å svare på spørsmålet" via et API-kall i stedet for å la LLM spørre direkte i databasen.
Også: AI endrer cybersikkerhet og bedrifter må våkne opp til trusselen
“Vi har allerede investert i å bygge denne robuste plattformen med APIer og søkefunksjoner, så vi trenger ikke å stole for mye på LLM, og nå minimerer vi risikoen”," sa Zaitsev.
"Det viktige er at du har låst ned disse interaksjonene, det er ikke vidåpent."
Utover misbruk ved spørsmålet, det faktum at GenAI kan lekke treningsdata er en veldig bred bekymring som det må finnes tilstrekkelige kontroller for, sa Zaitsev.
"Skal du legge personnummeret ditt inn i en melding som du' Hvis du så sender opp til en tredjepart som du ikke aner, trener nå personnummeret ditt til et nytt LLM som noen da kan lekke gjennom et injeksjonsangrep?"
"Personvern, personlig identifiserbar informasjon , å vite hvor dataene dine er lagret og hvordan de er sikret — dette er alle ting folk bør være bekymret for når de bygger Gen AI-teknologi og bruker andre leverandører som bruker den teknologien."