Google betatester sin AI-fremtid

Det er klart, at Googles fremtid er knyttet til AI-sprogmodeller. På dette års I/O-konference annoncerede virksomheden en række opdateringer, der er afhængige af denne teknologi, fra nye “multisearch”-funktioner, der lader dig parre billedsøgninger med tekstforespørgsler til forbedringer af Google Assistant og understøttelse af 24 nye sprog i Google Translate .

Men Google – og området for AI-sprogforskning generelt – står over for store problemer. Google har selv alvorligt mishandlet intern kritik, fyret medarbejdere, der rejste problemer med bias i sprogmodeller og skadet sit omdømme hos AI-fællesskabet. Og forskere fortsætter med at finde problemer med AI-sprogmodeller, fra fejl med køn og racemæssige skævheder til det faktum, at disse modeller har en tendens til simpelthen at finde på tingene (en nervøs opdagelse for alle, der ønsker at bruge AI til at levere pålidelig information).

Nu ser virksomheden dog ud til at tage noget et skridt tilbage – eller rettere et langsommere skridt fremad. På I/O i år har der været et nyt fokus på projekter designet til at teste og afhjælpe problemer som AI bias, herunder en ny måde at måle hudfarver på, som virksomheden håber vil hjælpe med mangfoldigheden i machine-vision-modeller og en ny app med navnet AI Test Kitchen, der vil give udvalgte personer adgang til virksomhedens nyeste sprogmodeller for at undersøge dem for fejl. Tænk på det som en beta-test for Googles fremtid.

Træd ind i AI-testkøkkenet

I løbet af en videoopkald forud for I/O, beder Josh Woodward, seniordirektør for produktstyring hos Google, Googles seneste sprogmodel om at forestille sig en skumfidusvulkan.

“Du er ved en skumfidusvulkan!” siger AI. »Det er udbrudte skumfiduser. Du hører en kæmpe rumlen og mærker jorden ryste. Skumfiduserne flyver overalt.”

Woodward er glad for dette svar og propper systemet igen. “Hvordan lugter det?” han spørger. “Det lugter af skumfiduser, selvfølgelig,” svarer AI'en. “Du kan lugte det overalt omkring dig.” Woodward griner: “Okay, så den var meget kortfattet.” Men det gav i det mindste mening.

AI Test Kitchen vil lade udvalgte brugere teste Googles seneste sprogmodel

Woodward viser mig AI Test Kitchen, en Android-app, der vil give udvalgte brugere begrænset adgang til Googles nyeste og bedste AI-sprogmodel, LaMDA 2. Selve modellen er en opdatering til den originale LaMDA, der blev annonceret ved sidste års I/O og har samme grundlæggende funktionalitet: du taler til den, og den taler tilbage. Men Test Kitchen pakker systemet ind i en ny, tilgængelig grænseflade, som opfordrer brugerne til at give feedback om dets ydeevne.

Som Woodward forklarer, er ideen at skabe et eksperimentelt rum for Googles nyeste AI-modeller. “Disse sprogmodeller er meget spændende, men de er også meget ufuldstændige,” siger han. “Og vi ønsker at finde på en måde, hvorpå vi gradvist kan få noget i hænderne på folk for både at se forhåbentlig, hvordan det er nyttigt, men også give feedback og pege på områder, hvor det kommer til kort.”

Google ønsker at bede om feedback fra brugere om LaMDAs samtaleevner. Billede: Google

Appen har tre tilstande: “Forestil dig det”, “Tal om det” og “List det”, med hver til formål at teste et andet aspekt af systemets funktionalitet. “Imagine It” beder brugerne om at navngive et rigtigt eller imaginært sted, som LaMDA derefter vil beskrive (testen er, om LaMDA kan matche din beskrivelse); “Tal om det” tilbyder en samtaleprompt (som “snak med en tennisbold om hund”) med den hensigt at teste, om AI'en forbliver ved emnet; mens “List It” beder brugerne om at navngive enhver opgave eller emne, med det formål at se, om LaMDA kan opdele det i nyttige punktopstillinger (så hvis du siger “Jeg vil plante en køkkenhave”, kan svaret inkludere sub -emner som “Hvad vil du dyrke?” og “Vand og pleje”).

AI Test Kitchen vil lanceres i USA i de kommende måneder, men vil ikke være i Play Butik, så hvem som helst kan downloade. Woodward siger, at Google ikke helt har besluttet, hvordan det vil tilbyde adgang, men foreslår, at det kun vil være på invitationsbasis, hvor virksomheden kontakter akademikere, forskere og politikere for at se, om de er interesserede i at prøve det.

Som Woodward forklarer, ønsker Google at skubbe appen ud “på en måde, hvor folk ved, hvad de tilmelder sig, når de bruger den, velvidende at den vil sige unøjagtige ting. Det vil sige ting, du ved, som ikke er repræsentative for et færdigt produkt.”

Denne meddelelse og indramning fortæller os et par forskellige ting: For det første, at AI-sprogmodeller er enormt komplekse systemer, og at testning af dem udtømmende for at finde alle mulige fejltilfælde ikke er noget, som en virksomhed som Google tror, ​​den kan klare uden hjælp udefra. For det andet, at Google er ekstremt bevidst om, hvor tilbøjelige disse AI-sprogmodeller er til at fejle, og de ønsker at styre forventningerne.

Når organisationer skubber nye AI-systemer ud i den offentlige sfære uden ordentlig kontrol, kan resultaterne være katastrofale. (Husker du Tay, Microsofts chatbot, som Twitter lærte at være racistisk? Eller spørg Delphi, AI-etisk rådgiver, der kunne blive bedt om at tolerere folkedrab?) Googles nye AI Test Kitchen-app er et forsøg på at blødgøre denne proces: at invitere til kritik af dens AI-systemer, men kontrollerer strømmen af ​​denne feedback.

Deborah Raji, en AI-forsker, der har specialiseret sig i revisioner og evalueringer af AI-modeller, fortalte The Verge, at denne tilgang nødvendigvis vil begrænse, hvad tredjeparter kan lære om systemet. “Fordi de fuldstændig kontrollerer, hvad de deler, er det kun muligt at få en skæv forståelse af, hvordan systemet fungerer, da der er en overdreven afhængighed af, at virksomheden gatekeep, hvilke prompter der er tilladt, og hvordan modellen interageres med,” siger Raji. I modsætning hertil har nogle virksomheder som Facebook været meget mere åbne med deres forskning og frigivet AI-modeller på en måde, der tillader langt større kontrol.

Præcis hvordan Googles tilgang vil fungere i den virkelige verden er endnu ikke klart, men virksomheden forventer i det mindste, at nogle ting vil gå galt.

“Vi har lavet en stor red-team-proces [for at teste systemets svagheder] internt, men på trods af alt det tror vi stadig, at folk vil prøve at bryde det, og en procentdel af dem vil lykkes,” siger Woodward. “Dette er en rejse, men det er et område med aktiv forskning. Der er mange ting at finde ud af. Og det, vi siger, er, at vi ikke kan finde ud af det ved blot at teste det internt – vi er nødt til at åbne det op.”

På jagt efter fremtidens søgen

Når først du ser LaMDA i aktion, er det svært ikke at forestille sig, hvordan teknologi som denne vil ændre Google i fremtiden, især dets største produkt: Søgning. Selvom Google understreger, at AI Test Kitchen kun er et forskningsværktøj, hænger dets funktionalitet meget tydeligt sammen med virksomhedens tjenester. Det er for eksempel vigtigt at holde et bevaringsemne for Google Assistant, mens “List It”-tilstanden i Test Kitchen er næsten identisk med Googles “Things to know”-funktion, som opdeler opgaver og emner i punktopstillinger i søgning.

Google selv fremmede sådanne spekulationer (måske utilsigtet) i et forskningspapir, der blev offentliggjort sidste år. I papiret foreslog fire af virksomhedens ingeniører, at i stedet for at skrive spørgsmål ind i et søgefelt og vise brugerne resultaterne, ville fremtidige søgemaskiner opføre sig mere som mellemmænd, ved at bruge AI til at analysere indholdet af resultaterne og derefter løfte de mest brugbar information. Denne tilgang kommer naturligvis med nye problemer, der stammer fra AI-modellerne selv; fra bias i resultater til systemerne, der udgør svarene.

Google tilføjer langsomt kunstig intelligens til sin søgemaskine

Til en vis grad er Google allerede begyndt på denne vej med værktøjer som “udvalgte uddrag” og “videnspaneler”, der bruges til direkte at besvare forespørgsler. Men AI har potentialet til at accelerere denne proces. Sidste år viste virksomheden for eksempel en eksperimentel AI-model, der besvarede spørgsmål om Pluto fra selve den tidligere planets perspektiv, og i år fortsætter den langsomme strøm af AI-drevne samtalefunktioner.

På trods af spekulationer om et havskifte til søgning, understreger Google, at uanset hvilke ændringer der sker, vil de ske langsomt. Da jeg spurgte Zoubin Ghahramani, vicepræsident for forskning hos Google AI, hvordan AI vil transformere Google Søgning, er hans svar noget af et antiklimaks.

“Jeg tror, ​​det kommer til at være gradvist,” siger Ghahramani. “Det lyder måske som et dumt svar, men jeg tror, ​​det bare matcher virkeligheden.” Han erkender, at “der allerede er ting, du kan lægge i Google-boksen, og du vil bare få et svar tilbage. Og med tiden får man i bund og grund flere og flere af de ting.” Men han er omhyggelig med også at sige, at søgefeltet “ikke burde være slutningen, det burde kun være begyndelsen på søgerejsen for mennesker.”

Indtil videre siger Ghahramani, at Google fokuserer på en håndfuld nøglekriterier for at evaluere sine AI-produkter, nemlig kvalitet, sikkerhed og jordforbindelse. “Kvalitet” refererer til, hvor on-topic responsen er; “sikkerhed” henviser til modellens potentiale til at sige skadelige eller giftige ting; mens “groundedness” er, om systemet opretter information eller ej.

Dette er dog i det væsentlige uløste problemer, og indtil AI-systemer er mere håndterbare, siger Ghahramani, at Google vil være forsigtig med at anvende denne teknologi. Han understreger, at “der er en stor kløft mellem, hvad vi kan bygge som en forskningsprototype [og] så, hvad der rent faktisk kan implementeres som et produkt.”

Det er en differentiering, der bør tages med en vis skepsis. I sidste måned rullede for eksempel Googles seneste AI-drevne “assistive writing”-funktion ud til brugere, der straks fandt problemer. Men det er tydeligt, at Google gerne vil have denne teknologi til at virke, og indtil videre er dedikeret til at løse sine problemer – én test-app ad gangen.