Google lader dig nu søge efter ting, du ikke kan beskrive – ved at starte med et billede

Du kan lide den måde, den kjole ser ud på, men du vil hellere have den i grøn. Du vil have de sko, men foretrækker flade til hæle. Hvad hvis du kunne have gardiner med det samme mønster som din yndlingsnotesbog? Jeg ved ikke, hvordan jeg skal Google efter disse ting, men Google Search-produktchef Belinda Zeng viste mig eksempler fra den virkelige verden af ​​hvert tidligere på ugen, og svaret var altid det samme: Tag et billede, og skriv derefter et enkelt ord i Google Linse.

I dag lancerer Google en kun USA-beta af Google Lens Multisearch-funktionen, som den drillede i september sidste år ved sin Search On-begivenhed, og selvom jeg kun har set en grov demo indtil videre , du skal ikke vente længe på at prøve det selv: det ruller ud i Google-appen på iOS og Android.

Tag et skærmbillede eller billede af en kjole, tryk derefter på, skriv “grøn”, og søg efter en lignende i en anden farve. GIF: Google

Selvom det mest er rettet mod shopping for at starte – det var en af ​​de mest almindelige anmodninger – foreslår Googles Zeng og virksomhedens søgedirektør Lou Wang, at det kunne gøre meget mere end det. “Du kunne forestille dig, at du har noget i stykker foran dig, har ikke ordene til at beskrive det, men du vil reparere det… du kan bare skrive 'how to fix',” siger Wang.

Faktisk fungerer det måske allerede med nogle ødelagte cykler, tilføjer Zeng. Hun siger, at hun også lærte om styling af negle ved at tage screenshots af smukke negle på Instagram og derefter skrive søgeordet “tutorial” for at få den slags videoresultater, der ikke automatisk dukkede op på sociale medier. Du kan måske også tage et billede af f.eks. en rosmarinplante og få instruktioner om, hvordan du plejer den.

Googles Belinda Zeng viste mig en live demo, hvor hun fandt gardiner, der matchede en grøn notesbog. GIF af Sean Hollister/The Verge

“Vi vil gerne hjælpe folk med at forstå spørgsmål naturligt,” siger Wang og forklarer, hvordan multisøgning vil udvides til flere videoer, billeder generelt og endda den slags svar, du kan finde i en traditionel Google-tekstsøgning.

Det lyder som om hensigten også er at bringe alle på lige fod: i stedet for at samarbejde med specifikke butikker eller endda begrænse videoresultater til Google-ejet YouTube, siger Wang, at det vil dukke op resultater fra “enhver platform, vi er i stand til at indeksere fra det åbne web.”

Da Zeng tog et billede af væggen bag hende, fandt Google på slips, der havde et lignende mønster. Skærmbillede af Sean Hollister/The Verge

Men det vil ikke fungere med alt, ligesom din stemmeassistent ikke virker med alt, fordi der er uendelige mulige anmodninger, og Google er stadig ved at finde ud af hensigten. Skal systemet være mere opmærksom på billedet eller din tekstsøgning, hvis de ser ud til at være i modstrid? Godt spørgsmål. Indtil videre har du en ekstra smule kontrol: Hvis du hellere vil matche et mønster, som den grønne notesbog, skal du komme tæt på det, så Lens ikke kan se, at det er en notesbog. For husk, Google Lens forsøger at genkende dit billede: Hvis det tror, ​​du vil have flere notesbøger, skal du måske fortælle det, at du faktisk ikke gør det.

Google håber AI-modeller kan drive en ny æra af søgning, og der er store åbne spørgsmål, om kontekst – ikke kun tekst – kan tage det derhen. Dette eksperiment virker begrænset nok (det bruger ikke engang dets seneste MUM AI-modeller), til at det sandsynligvis ikke vil give os svaret. Men det virker som et smart trick, der kunne gå fascinerende steder, hvis det blev en kernefunktion i Google-søgning.

Relateret

Google-søgnings næste fase : kontekst er konge

Google er ikke klar til at forvandle søgning til en samtale

Google bruger kunstig intelligens til at hjælpe brugere med at udforske de emner, de søger efter – sådan her