Store sprogmodeller kan hjælpe dig med at skrive kode – eller omskrive annoncer, så de ser friske ud. De kan gøre det lettere hurtigt at forstå hovedpunkterne i et forskningspapir eller en nyhedshistorie ved at skrive og besvare spørgsmål. Eller de kan tage tingene pinligt galt.
Store sprogmodeller som GPT-3 er nøglen til søgemaskiner som Google og Bing, ligesom de giver forslag til svar i e-mail og chat, prøver at afslutte din sætning i Word og driver kodningsassistenter som GitHub Copilot.
Men de er heller ikke perfekte. Overvejelser om, hvilken skade de kan gøre, fokuserer normalt på, hvad du får ved at lære af alt, hvad der er offentliggjort på nettet, hvilket inkluderer de mindre positive meninger, som nogle har. Store sprogmodeller trænet på massive tekstkilder såsom et online-fællesskab kan ende med at gentage nogle ret stødende bemærkninger. Og når modellen lærer af at skrive med almindelige skævheder i, som et sæt interviews, der refererer til mænd ved deres titler og kvinder ved deres fornavne eller antager, at mænd er læger og kvindelige sygeplejersker, vil disse skævheder sandsynligvis vise sig i, hvad skriver model.
Se også: Facebook: Her kommer AI fra Metaverse.
De mulige skader ved kodegenerering inkluderer, at koden er forkert, men ser rigtig ud; det er stadig op til koderen at gennemgå de AI-drevne forslag og sikre sig, at de forstår, hvad de gør, men det er ikke alle, der vil gøre det.
Denne “menneske i løkken” gennemgang er vigtig for den ansvarlige brug af store sprogmodeller, fordi det er en måde at fange et problem, før teksten udgives eller koden sættes i produktion. Kodelicenser er et problem, når det kommer til at skrive kode, men AI-genereret tekst kan skabe alle mulige hovedpine, nogle pinlige og nogle mere alvorlige.
Måden store sprogmodeller fungerer på er ved at forudsige, hvad det næste ord i en sætning bliver, og det næste ord efter det, og det næste ord efter det, og så videre, helt til slutningen af sætningen, afsnittet eller kodestykket, der ser på hvert ord i sammenhæng med alle ordene omkring det.
Det betyder, at en søgemaskine kan forstå, at en søgeforespørgsel, der spørger “hvad kan forværre en hjernerystelse”, spørger om, hvad man skal gøre, når nogen har en hovedskade, ikke symptomerne eller årsagerne til hjernerystelse.
En anden tilgang er at parre store sprogmodeller med forskellige slags maskinlæringsmodeller for at undgå hele klasser af skader. At vælge det mest sandsynlige ord kan betyde, at en stor sprogmodel kun giver dig indlysende svar, som altid at svare 'fugle', når du bliver spurgt om 'hvad kan flyve' og aldrig 'sommerfugle' eller 'vaccinerede flypassagerer'. Tilføjelse af en binær model, der skelner mellem forskellige slags fugle, kan få dig til at “fugle kan flyve, undtagen strudse og pingviner og andre fugle, der ikke kan flyve”.
Brug af en binær model sammen med en stor sprogmodel er et eksempel på, hvordan Bing bruger flere AI-modeller til at besvare spørgsmål. Mange af dem er der for at klare, hvor mange forskellige måder vi har at sige det samme på.
Oplysninger om enheder som Eiffeltårnet gemmes som vektorer, så Bing kan fortælle dig tårnets højde, selvom din forespørgsel ikke indeholder ordet Eiffel – hvis du spørger “hvor højt er Paris-tårnet”, vil du få det rigtige svar. Microsoft Generic Intent Encoder forvandler søgeforespørgsler til vektorer, så den kan fange, hvad folk ønsker at se (og klikke på) i søgeresultater, selv når det ordforråd, de bruger, er semantisk meget anderledes.
Bing bruger Microsofts store sprogmodeller (det samme gør Azure Cognitive Search Service, der lader dig oprette et tilpasset søgeværktøj til dine egne dokumenter og indhold) til at rangere søgeresultater, trække uddrag fra websider og sætte fokus på det bedste resultat eller fremhæve nøglesætninger for at hjælpe dig med at vide, om en webside har de oplysninger, du leder efter, eller give dig ideer til forskellige udtryk, der kan give dig bedre søgeresultater. Det ændrer ikke noget, undtagen muligvis betoningen af en sætning.
Men Bing bruger også en stor sprogmodel kaldet Turing Natural Language Generation til at opsummere nogle af oplysningerne fra websider i søgeresultaterne, omskrivning og forkorte det uddrag, du ser, så det er et bedre svar på det spørgsmål, du har indtastet. Indtil videre, så nyttigt.
På nogle Bing-søgninger vil du se en liste med spørgsmål under overskriften People Also Ask. Oprindeligt var det kun relaterede forespørgsler, som en anden Bing-bruger havde skrevet, så hvis du søgte efter 'regnskabskurser', ville du også se spørgsmål som, hvor lang tid det tager at få en kvalifikation som revisor, for at spare dig for tid på at indtaste disse andre søgninger selv.
Se også: Gartner udgiver sin 2021 nye teknologihype-cyklus: Her er, hvad der er ind og ud.
Bing har ikke altid spørgsmål og svar-par, der matcher hver søgning, så sidste år begyndte Microsoft at bruge Turing NLG til at oprette spørgsmål og svar til dokumenter, før nogen indtaster en søgning, der ville oprette dem on demand, så flere søgninger ville få ekstra ideer og praktiske nuggets.
Spørgsmål og svar kan vise dig flere detaljer, end der er i overskriften og de uddrag, du ser i resultaterne for nyhedshistorier. Men det er kun nyttigt, når spørgsmålet, som Bing genererer til svaret, er nøjagtigt.
I løbet af sommeren viste et af de spørgsmål, Bing kom med, at almindelige metaforer kan være et problem for AI-værktøjer. Måske forvirret af overskrifter, der rapporterede en berømthed, der kritiserede en persons handlinger for at “smæske” dem, et af disse Turing-skrevne spørgsmål, som jeg så klart misforstået, hvem der gjorde hvad i en bestemt nyhedshistorie.
Den generative sprogmodel, der skabte spørgsmål og svar-parret, er ikke en del af kognitiv søgning. Microsoft tilbyder kun sin GPT-3-tjeneste (som kan lave den samme slags sproggenerering) i en privat forhåndsvisning, så det er ikke som om den gennemsnitlige virksomhed skal bekymre sig om at lave den slags fejl på deres egne søgesider. Men det viser, at disse modeller kan lave fejl, så du skal have en proces på plads for at håndtere dem.
En søgemaskine vil ikke have et menneskeligt blik på hver side med søgeresultater, før du se dem; meningen med AI-modeller er at klare problemer, hvor skalaen er for stor til, at mennesker kan gøre det. Men virksomheder vil måske stadig have en menneskelig anmeldelse af den skrivning, de genererer med en stor sprogmodel. Tag ikke mennesket ud af løkken for alt, lige foreløbig.
Microsoft
Uptick i adgangskodesprøjteangreb, Microsoft advarer Microsoft anskaffer indholdsmodereringsspecialist Two Hat Microsoft afslører bæredygtighedsstyringsportal for virksomheder. Sådan kan du stadig få en gratis Windows 10-opgradering Microsoft | Digital transformation | CXO | Internet of Things | Innovation | Enterprise Software