Store språkmodeller kan hjelpe deg med å skrive kode – eller omskrive annonser slik at de ser friske ut. De kan gjøre det lettere å raskt forstå hovedpunktene i en forskningsartikkel eller en nyhetssak ved å skrive og svare på spørsmål. Eller de kan ta ting pinlig galt.
Store språkmodeller som GPT-3 er nøkkelen til søkemotorer som Google og Bing, i tillegg til å gi forslag til svar i e-post og chat, prøve å fullføre setningen din i Word og drive kodeassistenter som GitHub Copilot.
Men de er heller ikke perfekte. Betraktninger om hvilken skade de kan gjøre, fokuserer vanligvis på hva du får ved å lære av alt som er publisert på nettet, som inkluderer de mindre positive meningene som noen har. Store språkmodeller trent på massive tekstkilder som et nettsamfunn kan ende opp med å gjenta noen ganske støtende kommentarer. Og når modellen lærer av å skrive med vanlige skjevheter i, som et sett med intervjuer som refererer til menn med titler og kvinner med fornavn eller antar at menn er leger og kvinnelige sykepleiere, vil disse skjevhetene sannsynligvis dukke opp i hva skriver modellen.
SE: Facebook: Her kommer AI fra Metaverse
De mulige skadene med kodegenerering inkluderer at koden er feil, men ser riktig ut; det er fortsatt opp til koderen å gjennomgå de AI-drevne forslagene og sørge for at de forstår hva de gjør, men ikke alle vil gjøre det.
Dette “menneske i løkken” gjennomgangsstadiet er viktig for den ansvarlige bruk av store språkmodeller, fordi det er en måte å fange opp et problem før teksten publiseres eller koden settes i produksjon. Kodelisenser er ett problem når det gjelder å skrive kode, men AI-generert tekst kan skape all slags hodepine, noe pinlig og noe mer alvorlig.
Måten store språkmodeller fungerer på er ved å forutsi hva det neste ordet i en setning vil være, og det neste ordet etter det, og det neste ordet etter det, og så videre, helt til slutten av setningen, avsnittet eller kodebiten, og ser på hvert ord i sammenheng med alle ordene rundt det.
Det betyr at en søkemotor kan forstå at et søk som spør “hva kan forverre en hjernerystelse” spør om hva som skal gjøre når noen har en hodeskade, ikke symptomene eller årsakene til hjernerystelse.
En annen tilnærming er å sammenkoble store språkmodeller med forskjellige typer maskinlæringsmodeller for å unngå hele klasser av skader. Å velge det mest sannsynlige ordet kan bety en stor språkmodell gir deg bare åpenbare svar; som alltid å svare «fugler» når de blir spurt «hva kan fly» og aldri «sommerfugler» eller «vaksinerte flypassasjerer». Hvis du legger til en binær modell som skiller forskjellige typer fugler, kan du få «fugler kan fly, bortsett fra strutser og pingviner og andre fugler som ikke kan fly».
Å bruke en binær modell sammen med en stor språkmodell er ett eksempel på hvordan Bing bruker flere AI-modeller for å svare på spørsmål. Mange av dem er der for å takle hvor mange forskjellige måter vi har å si det samme på.
Informasjon om enheter som Eiffeltårnet lagres som vektorer slik at Bing kan fortelle deg høyden på tårnet selv om søket ditt ikke inneholder ordet Eiffel – å spørre «hvor høyt er Paris-tårnet» vil gi deg det riktige svaret. Microsoft Generic Intent Encoder gjør søk om til vektorer slik at den kan fange opp det folk vil se (og klikke på) i søkeresultater selv når ordforrådet de bruker er semantisk veldig forskjellig.
Bing bruker Microsofts store språkmodeller, (det samme gjør Azure Cognitive Search Service som lar deg lage et tilpasset søkeverktøy for dine egne dokumenter og innhold) for å rangere søkeresultater, trekke ut tekstutdrag fra nettsider og sette søkelyset på det beste resultatet eller fremheve nøkkelfraser for å hjelpe deg med å vite om en nettside har informasjonen du leter etter, eller gi deg ideer til forskjellige termer som kan gi deg bedre søkeresultater. Det endrer ingenting, bortsett fra muligens vektleggingen av en setning.
Men Bing bruker også en stor språkmodell kalt Turing Natural Language Generation for å oppsummere noe av informasjonen fra nettsider i søkeresultatene, omskriving og forkorte tekstutdraget du ser, slik at det er et bedre svar på spørsmålet du skrev inn. Så langt, så nyttig.
På noen Bing-søk vil du se en liste med spørsmål under overskriften People Also Ask. Opprinnelig var det bare relaterte spørsmål en annen Bing-bruker hadde skrevet inn, så hvis du søkte etter “regnskapskurs”, ville du også se spørsmål som hvor lang tid det tar å få en kvalifikasjon som regnskapsfører, for å spare tid på å skrive inn de andre søkene selv.
SE: Gartner lanserer sin nye teknologihype-syklus for 2021: Her er hva som er inne og på vei ut
Bing har ikke alltid spørsmål og svar-par som samsvarer med hvert søk, så i fjor begynte Microsoft å bruke Turing NLG til å lage spørsmål og svar for dokumenter før noen skriver inn et søk som ville opprette dem på forespørsel, så flere søk ville få ekstra ideer og praktiske nuggets.
For nyhetssaker kan spørsmål og svar vise deg flere detaljer enn det er i overskriften og utdragene du ser i resultatene. Men det er bare nyttig når spørsmålet Bing genererer for å følge med svaret er nøyaktig.
I løpet av sommeren viste et av spørsmålene Bing kom med at vanlige metaforer kan være et problem for AI-verktøy. Kanskje forvirret av overskrifter som rapporterte en kjendis som kritiserte noens handlinger for å “slenge” dem, et av disse Turing-skrevne spørsmålene som jeg så klart misforstått hvem som gjorde hva i en bestemt nyhetssak.
Den generative språkmodellen som skapte spørsmål og svar-paret er ikke en del av Cognitive Search, og Microsoft tilbyr kun sin GPT-3-tjeneste (som kan gjøre samme type språkgenerering) i en privat forhåndsvisning, så det er ikke som om gjennomsnittlig bedrift må bekymre seg for å gjøre denne typen feil på sine egne søkesider. Men det viser at disse modellene kan gjøre feil, så du må ha en prosess på plass for å håndtere dem.
En søkemotor kommer ikke til å ha en menneskelig titt på hver side med søkeresultater før du ser dem; Poenget med AI-modeller er å takle problemer der omfanget er for stort til at mennesker kan gjøre det. Men bedrifter vil kanskje fortsatt ha menneskelig vurdering for skriften de genererer med en stor språkmodell. Ikke ta mennesket ut av løkken for alt, akkurat ennå.
Microsoft
Opptur i passordsprayingangrep, Microsoft advarer Microsoft kjøper inn innholdsmodereringsspesialist Two Hat Microsoft avduker bærekraftsstyringsportal for bedrifter Slik kan du fortsatt få en gratis Windows 10-oppgradering Microsoft | Digital transformasjon | CXO | Internet of Things | Innovasjon | Enterprise Software