Maria Diaz/ZDNETDet er ingen tvil om at verktøy for kunstig intelligens (AI) er mer populære enn noen gang fordi de er så avanserte og har aldri vært så tilgjengelig, spesielt generativ AI.
Du vil bli hardt presset for å finne noen i USA som i det minste ikke har hørt om ChatGPT, enn si brukt en form for det siden lanseringen. Men disse systemene er bare så smarte som dataene de har trent på, som mennesker har laget. Dette betyr at, i likhet med mennesker, kan disse AI-verktøyene være utsatt for skjevhet.
Også: Slik unngår du hodepinen med AI-kompetanseutvikling
< p>Bloomberg publiserte nylig en studie om rasemessige skjevheter i eksperimenter med GPT-3.5. Forskere ba AI-verktøyet om å rangere 1000 CVer av like kvalifiserte kandidater med forskjellige navn. De fant GPT-3.5 rangerte personer med navn som tradisjonelt brukes av visse demografiske grupper, for eksempel svarte amerikanere, nederst på listen.
En annen studie viste at AI-modeller også påvirkes av forhåndseksisterende skjevheter i helsevesenet søknader på grunn av historiske ulikheter og forskjeller i tilgang og kvalitet. Disse faktorene fremheves når AI-systemer trenes på data som reflekterer ulikheter.
Her er fire måter AI bidrar til skjevhet på arbeidsplassen på.
1. Navnebasert diskriminering
Økningen i generativ AI har påvirket automatiserte ansettelsessystemer, spesielt ettersom mange bedrifter har blitt entusiastiske for å bruke AI-verktøy i rekruttering for å spare kostnader og øke effektiviteten. Imidlertid har AI-verktøy som ChatGPT vist seg å vise åpenbare skjevheter basert på folks navn.
Bloomberg-studien, utført av forskerne Leon Yin, Davey Alba og Leonardo Nicoletti, skapte åtte forskjellige CV-er med navn som er tydelig assosiert med visse rase- og etniske grupper. De brukte deretter GPT-3.5 – den store språkmodellen (LLM) bak gratisnivået til ChatGPT – for å rangere disse CVene etter jobbegnethet. GPT-3.5, som fremhever raseskjevhet som lenge har vært utforsket i sosiologisk forskning, favoriserte noen demografiske grupper fremfor andre “i en grad som ville mislykkes med benchmarks brukt til å vurdere jobbdiskriminering mot beskyttede grupper”, ifølge studien.
Også: AI-sikkerhet og skjevhet: Løse ut den komplekse kjeden av AI-trening
Bloomberg-forskerne kjørte eksperimentet 1000 ganger med forskjellige navn og kombinasjoner, men med samme kvalifikasjoner. GPT-3.5 var mest sannsynlig å rangere navn som var forskjellige fra asiatiske amerikanere (32 %) som toppkandidater for en finansanalytikerrolle, mens svarte amerikanere oftest ble rangert nederst. Kandidater med hvite eller latinamerikanske navn var mest sannsynlig å få lik behandling.
2. Inkonsekvente standarder på tvers av jobbtyper
Selv om alle CVene hadde de samme kvalifikasjonene for finansanalytikerstillingen, viste resultatene fortsatt en rasemessig skjevhet fra LLM. Da eksperimentet ble gjentatt for ytterligere tre stillingsannonser, nemlig HR-forretningspartner, senior programvareingeniør og detaljistsjef, fant det også at kjønns- og rasepreferanser var forskjellige avhengig av jobben.
“GPT rangerte sjelden navn assosiert med menn som toppkandidat for HR- og detaljhandelsstillinger, to yrker historisk dominert av kvinner. GPT var nesten dobbelt så sannsynlig å rangere navn som er forskjellige fra latinamerikanske kvinner som toppkandidaten for en HR-rolle sammenlignet med hvert sett med CV-er med navn som er forskjellige for menn," studien fant.
Også: Etikken til generativ AI: Hvordan vi kan utnytte denne kraftige teknologien
Et annet eksempel på AI-verktøy som viser inkonsekvente standarder er tilfellet med en MIT-student. Rona Wang, en asiatisk-amerikansk høyskolestudent, lastet opp en selfie til en bildegenerator kalt Playground AI og ba verktøyet om å gjøre bildet om til “et profesjonelt LinkedIn-profilbilde”. Alt AI-verktøyet gjorde var å gjøre Wangs bilde til et bilde av en kaukasisk kvinne i MIT-genseren hennes.
3. Forsterkning av historiske samfunnsmessige skjevheter
Generative AI-verktøy brukes ofte til å screene og rangere kandidater, lage CV og følgebrev og oppsummere flere filer samtidig. Men AI-er er bare så gode som dataene de er trent på.
GPT-3.5 ble trent på enorme mengder allment tilgjengelig informasjon på nettet, inkludert bøker, artikler og sosiale medier. Tilgang til disse nettdataene vil uunngåelig reflektere samfunnsmessige ulikheter og historiske skjevheter, som vist i treningsdataene, som AI-boten arver og replikerer til en viss grad.
Også: Fem måter å bruke AI på en ansvarlig måte
Ingen som bruker AI bør anta at disse verktøyene er objektive i seg selv fordi de er trent på store mengder data fra forskjellige kilder. Selv om generative AI-roboter kan være nyttige, bør vi ikke undervurdere risikoen for skjevhet i en automatisert ansettelsesprosess – og at virkeligheten er avgjørende for rekrutterere, HR-fagfolk og ledere.
En annen studie fant at rasemessig skjevhet er tilstede i ansiktsgjenkjenningsteknologier som viser lavere nøyaktighetsgrader for mørkhudede individer. Noe så enkelt som data for demografiske distribusjoner i postnumre som brukes til å trene AI-modeller, for eksempel, kan resultere i beslutninger som uforholdsmessig påvirker mennesker med en viss rasebakgrunn.
4. Mangel på åpenhet og ansvarlighet
Selv om det kan være en gung-ho holdning til å bruke generative AI-er for å automatisere HR-prosesser, mangler disse AI-verktøyene ofte åpenhet.
Verktøyene bruker ofte ansvarsfraskrivelser for å si at data kan være unøyaktige. Mange bedrifter bruker imidlertid generative AI-modeller for å bygge applikasjoner. Derfor er det vanskelig å sikre at disse verktøyene er ansvarlige.
Bloomberg-studien sier det best: "Hvis GPT behandlet alle CVene likt, ville hver av de åtte demografiske gruppene bli rangert som toppkandidaten en åttendedel (12,5 %) av tiden."
Også: Har selskaper etiske retningslinjer for bruk av AI?
Da Bloomberg konfronterte OpenAI med studien' s funn, sa selskapet bak ChatGPT at resultatene fra ut-av-boksen-modeller kanskje ikke gjenspeiler hvordan brukerne bruker AI-modellene deres. OpenAI sa at bedrifter til og med kunne fjerne navn fra CV før de gir dem til en GPT-modell.