Robbie Goodall/Getty ImagesSelv om ledere og ledere kan være begeistret for måter de kan bruke generativ kunstig intelligens (AI) og store språkmodeller (LLM-er) på det aktuelle arbeidet, er det på tide å gå tilbake og vurdere hvor og hvordan avkastningen til virksomheten kan realiseres. Dette er fortsatt et rotete og misforstått område, som krever tilnærminger og ferdigheter som ligner lite på tidligere teknologibølger.
Dessuten: AIs innvirkning på sysselsettingen: 86 % av arbeiderne frykter jobbtap, men her er noen gode nyheter
Her er utfordringen: Mens AI ofte leverer veldig iøynefallende bevis på konseptet er det vanskelig å tjene penger på dem, sa Steve Jones, administrerende direktør for Capgemini, i en presentasjon på den nylige Databricks-konferansen i San Francisco. "Å bevise avkastningen er den største utfordringen med å sette 20, 30, 40 GenAI-løsninger i produksjon."
Investeringer som må gjøres inkluderer testing og overvåking av LLM-ene som settes i produksjon. Spesielt testing er viktig for å holde LLM-er nøyaktige og på rett spor. "Du vil være litt ond for å teste disse modellene," Jones rådet. For eksempel, i testfasen, bør utviklere, designere eller QA-eksperter med vilje “forgifte”; sine LLM-er for å se hvor godt de håndterer feilinformasjon.
For å teste for negativ produksjon, nevnte Jones et eksempel på hvordan han foranlediget en forretningsmodell til at et selskap “brukte drager for langdistansetransport.” Modellen svarte bekreftende. Deretter ba han modellen om informasjon om langdistansetransport.
“Svaret det ga sier, “her er hva du må gjøre for å jobbe langdistansetransport, fordi du vil jobbe mye med drager som du allerede har fortalt meg, så må du få omfattende brann- og sikkerhetsopplæring ,'" Jones relatert. "Du trenger også etiketteopplæring for prinsesser, fordi dragearbeid innebærer å jobbe med prinsesser. Og så en haug med standard ting som involverer transport og lager som ble trukket ut av resten av løsningen."
Også: Fra AI-trenere til etikere: AI kan forelde noen jobber, men generere nye en
Poenget, fortsatte Jones, er at generativ kunstig intelligens “er en teknologi der det aldri har vært enklere å legge til en teknologi i den eksisterende applikasjonen din og late som om du gjør det riktig. Gen AI er en fenomenal teknologi for å bare legge til noen bjeller og plystre til en applikasjon, men virkelig forferdelig fra et sikkerhets- og risikoperspektiv i produksjonen."
Generativ AI vil ta ytterligere to til fem år før den blir en del av mainstream-adopsjon, som er rask sammenlignet med andre teknologier. "Utfordringen din blir hvordan du holder tritt," sa Jones. Det er to scenarier som presenteres for øyeblikket: “Det første er at det kommer til å bli en stor modell, den kommer til å vite alt, og det vil ikke være noen problemer. Det er kjent som teorien om vill-optimisme-og-ikke-kommer til å skje."
Det som utfolder seg er “hver enkelt leverandør, hver eneste programvareplattform, hver eneste sky, vil ønske å konkurrere kraftig og aggressivt om å være en del av dette markedet”," sa Jones. “Det betyr at du kommer til å ha massevis av konkurranse, og massevis av variasjon. Du trenger ikke å bekymre deg for multi-sky-infrastruktur og å måtte støtte det, men du må tenke på ting som rekkverk."
Også: 1 av 3 markedsføringsteam har implementert AI i arbeidsflytene sine
En annen risiko er å bruke en LLM på oppgaver som krever langt mindre kraft og analyse – for eksempel adressematching, sa Jones. “Hvis du bruker én stor modell til alt, brenner du i grunnen bare penger. Det tilsvarer å gå til en advokat og si: 'Jeg vil at du skal skrive et bursdagskort til meg.' De vil gjøre det, og de vil belaste dere advokater' priser."
Nøkkelen er å være årvåken for billigere og mer effektive måter å utnytte LLM-er på, oppfordret han. "Hvis noe går galt, må du være i stand til å avvikle en løsning så raskt som du kan ta i bruk en løsning. Og du må sørge for at alle tilknyttede gjenstander rundt den er igangsatt i takt med modellen."
Det er ikke noe slikt som å distribuere en enkelt modell — AI-brukere bør bruke sine spørringer mot flere modeller for å måle ytelse og kvalitet på svar. "Du bør ha en felles måte å fange opp alle beregningene, for å spille av spørringer på nytt, mot forskjellige modeller," Jones fortsatte. "Hvis du har folk som spør etter GPT-4 Turbo, vil du se hvordan den samme spørringen fungerer mot Llama. Du bør kunne ha en mekanisme som du kan bruke til å spille av disse spørringene og svarene og sammenligne ytelsesberegningene, slik at du kan forstå om du kan gjøre det på en billigere måte. Fordi disse modellene oppdateres kontinuerlig."
Også: ChatGPT vs. ChatGPT Plus: Er et betalt abonnement fortsatt verdt det?
Generativ AI “går ikke galt på vanlige måter”," han la til. “GenAI er der du legger inn en faktura, og det står “Fantastisk, her er et essay på 4000 ord om president Andrew Jackson. Fordi jeg har bestemt at det var det du mente.' Du må ha rekkverk for å forhindre det."