Stora språkmodeller kan hjälpa dig att skriva kod – eller skriva om annonser så att de ser fräscha ut. De kan göra det lättare att snabbt förstå nyckelpunkterna i en forskningsartikel eller en nyhet genom att skriva och svara på frågor. Eller så kan de få saker pinsamt fel.
Stora språkmodeller som GPT-3 är nyckeln till sökmotorer som Google och Bing, samt ger förslag på svar i e-post och chatt, försöker avsluta din mening i Word och driver kodningsassistenter som GitHub Copilot.
Men de är inte heller perfekta. Överväganden om vilken skada de kan göra fokuserar vanligtvis på vad du får genom att lära dig av allt som publiceras på webben, vilket inkluderar de mindre positiva åsikterna som vissa har. Stora språkmodeller som tränats på massiva textkällor som en onlinegemenskap kan sluta med att upprepa några ganska stötande kommentarer. Och när modellen lär sig av att skriva med vanliga fördomar i, som en uppsättning intervjuer som refererar till män med sina titlar och kvinnor med deras förnamn eller antar att män är läkare och kvinnliga sjuksköterskor, kommer dessa fördomar sannolikt att dyka upp i vad skriver modellen.
Se även: Facebook: Here comes the AI of the Metaverse.
De möjliga skadorna med kodgenerering inkluderar att koden är fel men ser rätt ut; det är fortfarande upp till kodaren att granska de AI-drivna förslagen och se till att de förstår vad de gör, men alla kommer inte att göra det.
Det där “människa i kretsen” är viktigt för den ansvariga användning av stora språkmodeller eftersom det är ett sätt att fånga ett problem innan texten publiceras eller koden går i produktion. Kodlicenser är ett problem när det gäller att skriva kod, men AI-genererad text kan skapa alla möjliga huvudvärk, en del pinsam och en annan mer allvarlig.
Sättet som stora språkmodeller fungerar är genom att förutsäga vad nästa ord i en mening kommer att bli, och nästa ord efter det, och nästa ord efter det, och så vidare, ända till slutet av meningen, stycket eller kodavsnittet och tittar på varje ord i sammanhanget med alla ord runt omkring det.
Det betyder att en sökmotor kan förstå att en sökfråga som frågar “vad kan förvärra en hjärnskakning” frågar om vad den ska göra när någon har en huvudskada, inte symptomen eller orsakerna till hjärnskakning.
Ett annat tillvägagångssätt är att para ihop stora språkmodeller med olika typer av maskininlärningsmodeller för att undvika hela klasser av skador. Att välja det mest sannolika ordet kan betyda att en stor språkmodell bara ger dig uppenbara svar, som att alltid svara “fåglar” när du får frågan “vad kan flyga” och aldrig “fjärilar” eller “vaccinerade flygpassagerare”. Om du lägger till en binär modell som särskiljer olika typer av fåglar kan du få “fåglar kan flyga, förutom strutsar och pingviner och andra flyglösa fåglar”.
Att använda en binär modell tillsammans med en stor språkmodell är ett exempel på hur Bing använder flera AI-modeller för att svara på frågor. Många av dem är till för att klara av hur många olika sätt vi har att säga samma sak.
Information om enheter som Eiffeltornet lagras som vektorer så att Bing kan berätta för dig tornets höjd även om din fråga inte innehåller ordet Eiffel – att fråga “hur högt är Paristornet” skulle ge dig rätt svar. Microsoft Generic Intent Encoder förvandlar sökfrågor till vektorer så att den kan fånga vad folk vill se (och klicka på) i sökresultat även när vokabulären de använder är semantiskt mycket annorlunda.
Bing använder Microsofts stora språkmodeller (liksom Azure Cognitive Search Service som låter dig skapa ett anpassat sökverktyg för dina egna dokument och innehåll) för att rangordna sökresultat, hämta utdrag från webbsidor och lyfta fram det bästa resultatet eller markera nyckelfraser för att hjälpa dig att veta om en webbsida har den information du letar efter, eller ge dig idéer om olika termer som kan ge dig bättre sökresultat. Det förändrar ingenting, förutom möjligen betoningen av en mening.
Men Bing använder också en stor språkmodell som heter Turing Natural Language Generation för att sammanfatta en del av informationen från webbsidor i sökresultaten, skriva om och förkorta utdraget du ser så att det är ett bättre svar på frågan du skrev in. Hittills är det så användbart.
På vissa Bing-sökningar ser du en lista med frågor under rubriken Människor frågar också. Ursprungligen var det bara relaterade frågor som någon annan Bing-användare hade skrivit, så om du sökte efter “redovisningskurser” skulle du också se frågor som hur lång tid det tar att få en behörighet som revisor, för att spara tid på att skriva in dessa andra sökningar själv.
Se även: Gartner släpper sin nya tekniska hypecykel för 2021: Här är vad som är in och ut.
Bing har inte alltid frågor och svar som matchar varje sökning, så förra året började Microsoft använda Turing NLG för att skapa frågor och svar för dokument innan någon skriver in en sökning som skulle skapa dem på begäran, så fler sökningar skulle få extra idéer och praktiska nuggets.
Frågor och svar kan visa dig fler detaljer än i rubriken och utdragen du ser i resultat för nyhetsartiklar. Men det är bara till hjälp när frågan Bing genererar för att gå med svaret är korrekt.
Under sommaren visade en av frågorna Bing kom med att vanliga metaforer kan vara ett problem för AI-verktyg. Kanske förvirrad av rubriker som rapporterade en kändis som kritiserade någons handlingar som att “slänga” dem, en av dessa Turing-skrivna frågor som jag såg klart missförstås vem som gjorde vad i en viss nyhet.
Den generativa språkmodellen som skapade fråga och svar-paret är inte en del av Cognitive Search. Microsoft erbjuder bara sin GPT-3-tjänst (som kan göra samma typ av språkgenerering) i en privat förhandsgranskning, så det är inte som om det genomsnittliga företaget behöver oroa sig för att göra den här typen av misstag på sina egna söksidor. Men det visar att dessa modeller kan göra misstag, så du måste ha en process på plats för att hantera dem.
En sökmotor kommer inte att ha en mänsklig titt på varje sida med sökresultat innan du se dem; poängen med AI-modeller är att hantera problem där skalan är för stor för att människor ska kunna göra det. Men företag kanske fortfarande vill ha en mänsklig granskning för det skrivande de genererar med en stor språkmodell. Ta inte människan ur slingan för allt, just nu.
Microsoft
Uppåtgående i lösenordssprayningsattacker, Microsoft varnar Microsoft förvärvar innehållsmodereringsspecialist Two Hat Microsoft presenterar hållbarhetshanteringsportal för företag Så här kan du fortfarande få en gratis Windows 10-uppgradering Microsoft | Digital transformation | CXO | Internet of Things | Innovation | Företagsprogramvara