Vid sitt Search On-evenemang idag introducerade Google flera nya funktioner som tillsammans är dess starkaste försök att få folk att göra mer än att skriva några ord i en sökruta. Genom att utnyttja sin nya Multitask Unified Model (MUM) maskininlärningsteknik på små sätt hoppas företaget starta en dygdig cykel: det kommer att ge mer detaljer och kontextrika svar, och i gengäld hoppas det att användarna kommer att fråga mer detaljerat och sammanhang -rik frågor. Slutresultatet, hoppas företaget, blir en rikare och djupare sökupplevelse.
Google SVP Prabhakar Raghavan övervakar sökning tillsammans med Assistant, annonser och andra produkter. Han gillar att säga – och upprepade i en intervju förra söndagen – att “sökning inte är ett löst problem.” Det kan vara sant, men de problem han och hans team försöker lösa nu har mindre att göra med att kämpa på nätet och mer att göra med att lägga till sammanhang till vad de hittar där.
AI hjälper Google att utforska de frågor som folk ställer
För sin del kommer Google att börja flexa sin förmåga att känna igen konstellationer av relaterade ämnen med hjälp av maskininlärning och presentera dem för dig på ett organiserat sätt. En kommande redesign för Google -sökning kommer att visa rutor med “saker att veta” som skickar dig till olika delämnen. När det finns en del av en video som är relevant för det allmänna ämnet – även när videon som helhet inte är det – skickas den dit. Shoppingresultaten kommer att visa annonsutrymme som finns i närliggande butiker och även kläder i olika stilar som är kopplade till din sökning.
För din del erbjuder Google – men kanske att ”fråga” är en bättre term – nya sätt att söka som går utöver textrutan. Det gör ett aggressivt tryck för att få sin bildigenkänningsprogramvara Google Lens till fler platser. Den kommer att byggas in i Google -appen på iOS och även Chrome -webbläsaren på stationära datorer. Och med MAMMA hoppas Google få användare att göra mer än att bara identifiera blommor eller landmärken, utan istället använda Lens direkt för att ställa frågor och handla.
“Det är en cykel som jag tror kommer att fortsätta eskalera”, säger Raghavan. “Mer teknik leder till mer användarvänlighet, leder till bättre uttrycksfullhet för användaren och kommer att kräva mer av oss, tekniskt.”

Dessa två sidor av sökekvationen är avsedda att starta nästa steg i Googles sökning, en där dess maskininlärningsalgoritmer blir mer framträdande i processen genom att organisera och presentera information direkt. I detta kommer Googles ansträngningar att få enorm hjälp av de senaste framstegen inom AI -språkbehandling. Tack vare system som kallas stora språkmodeller (MUM är en av dessa) har maskininlärning blivit mycket bättre på att kartlägga sambandet mellan ord och ämnen. Det är dessa färdigheter som företaget utnyttjar för att göra sökningen inte bara mer exakt, utan mer utforskande och förhoppningsvis mer användbar.
Ett av Googles exempel är lärorikt. Du kanske inte har den första aning om vad cykelens delar heter, men om något går sönder måste du ta reda på det. Google Lens kan visuellt identifiera växeln (växlingsdelen som hänger nära bakhjulet) och istället för att bara ge dig den diskreta informationen kan du ställa frågor om hur du fixar den saken direkt och tar dig till informationen ( i detta fall den utmärkta Berm Peak Youtube -kanalen).
Multimodal sökning kräver helt ny input från användare
Trycket för att få fler användare att öppna Google Lens oftare är fascinerande på egen hand, men den större bilden (så att säga) handlar om Googles försök att samla mer sammanhang om dina frågor. Mer komplicerade, multimodala sökningar som kombinerar text och bilder kräver “en helt annan nivå av kontextualisering som vi leverantören måste ha, och det hjälper oss oerhört att ha så mycket sammanhang som vi kan”, säger Raghavan.
Vi är väldigt långt från de så kallade “tio blå länkarna” till sökresultat som Google tillhandahåller. Det har visat informationsrutor, bildresultat och direkta svar sedan länge. Dagens tillkännagivanden är ytterligare ett steg, där informationen Google tillhandahåller inte bara är en rangordning av relevant information utan en destillation av vad dess maskiner förstår genom att skrapa nätet.
I vissa fall – som med shopping – innebär den destillationen att du sannolikt kommer att skicka fler sidvisningar till Google. Precis som med Lens är den trenden viktig att hålla koll på: Googles sökningar driver dig alltmer till Googles egna produkter. Men det finns också en större fara här. Det faktum att Google berättar fler saker direkt ökar den börda det alltid har haft: att prata med mindre partiskhet.
Med det menar jag partiskhet i två olika bemärkelser. Den första är teknisk: maskininlärningsmodellerna som Google vill använda för att förbättra sökningen har väldokumenterade problem med ras- och könsfördomar. De tränas genom att läsa stora delar av webben, och som ett resultat tenderar de att upptäcka otäcka sätt att prata. Googles problem med sitt AI -etikteam är också väldokumenterade vid denna tidpunkt – det sparkade två ledande forskare efter att de publicerat ett papper om just detta ämne. Som Googles sökande, Pandu Nayak, berättade för The Verge James Vincent i sin artikel om dagens MUM -meddelanden, vet Google att alla språkmodeller har fördomar, men företaget tror att det kan undvika att “lägga ut det för människor att konsumera direkt.” < /p>

Hur det än är (och för att vara tydlig, det kanske inte är det), undviker det en annan följdfråga och en annan typ av partiskhet. När Google börjar berätta mer om sina egna synteser av information direkt, från vilken synvinkel talar den? Som journalister talar vi ofta om hur den så kallade ”synen från ingenstans” är ett otillräckligt sätt att presentera vår rapportering. Vad är Googles synvinkel? Detta är en fråga som företaget tidigare har konfronterat, ibland känt som “ett sant svar” -problem. När Google försöker ge människor korta, definitiva svar med hjälp av automatiserade system, hamnar det ofta med att sprida dålig information.
Raghavan presenteras med den frågan och svarar med att peka på komplexiteten i moderna språkmodeller. ”Nästan alla språkmodeller, om man tittar på dem, är inbäddningar i ett högdimensionellt utrymme. Det finns vissa delar av dessa utrymmen som tenderar att vara mer auktoritativa, vissa delar som är mindre auktoritativa. Vi kan mekaniskt bedöma dessa saker ganska enkelt, förklarar han. Raghavan säger att utmaningen då är hur man presenterar en del av den komplexiteten för användaren utan att överväldiga dem.
Kan Google förbli neutralt om det ger svar till användare direkt?
Men jag förstår att det verkliga svaret är att åtminstone för närvarande Google gör vad det kan för att undvika att ställa sig frågan om sökmotorns synvinkel genom att undvika domäner där det kan anklagas för, som Raghavan uttrycker det , “Överdriven redaktion.” Ofta när de pratar med Google-chefer om dessa problem med partiskhet och förtroende, fokuserar de på lättare att definiera delar av dessa högdimensionella utrymmen som “auktoritativitet”.
Till exempel visas inte Googles nya rutor med “saker att veta” när någon söker efter saker som Google har identifierat som “särskilt skadliga/känsliga”, även om en talesman säger att Google inte “tillåter eller tillåter specifika kuraterade kategorier, utan våra system kan förstå skalbara ämnen för vilka denna typ av funktioner bör eller inte bör utlösa. ”
Googles sökning, dess inmatningar, utdata, algoritmer och språkmodeller har alla blivit nästan ofattbart komplexa. När Google berättar för oss att det kan förstå innehållet i videoklipp nu, tar vi för givet att det har beräkningskotletterna att ta bort det – men verkligheten är att även att bara indexera en så massiv korpus är en monumental uppgift som dvärgar ursprungliga uppdraget att indexera den tidiga webben. (Google indexerar bara ljudutskrifter från en delmängd av YouTube, för rekordet, men med MUM syftar det till att göra visuell indexering och andra videoplattformar i framtiden).
Ofta när du talar med datavetare kommer problemet med resande säljare att dyka upp. Det är en berömd gåta där du försöker beräkna den kortast möjliga vägen mellan ett visst antal städer, men det är också en rik metafor för att tänka igenom hur datorer gör sitt arbete.
“Om du gav mig alla maskiner i världen kunde jag lösa ganska stora instanser”, säger Raghavan. Men för sökning säger han att det är olöst och kanske olöst genom att bara kasta fler datorer på det. Istället måste Google komma med nya tillvägagångssätt, som MUM, som utnyttjar de resurser som Google realistiskt kan skapa bättre. ”Om du gav mig alla maskiner som fanns, är jag fortfarande begränsad av mänsklig nyfikenhet och kognition.”
Googles nya sätt att förstå information är imponerande, men utmaningen är vad den kommer att göra med informationen och hur den kommer att presentera den. Det roliga med problemet med resande säljare är att ingen verkar stanna upp och fråga vad som exakt är fallet, vad visar han alla sina kunder när han går från dörr till dörr?