Hva betyr det å ha et langt kontekstvindu for en AI-modell?

0
10
Gemini Advanced

Google annonserte nettopp at de oppgraderer Gemini Advanced-tjenesten med en kontekstmodell på én million, snart til to millioner.

Google

Tenk deg å overstadig se en TV-serie, men du kan bare huske én episode om gangen. Når du går videre til neste episode, glemmer du umiddelbart alt du nettopp har sett. Tenk deg nå at du kan huske hver episode og hver sesong du har sett fra det TV-programmet; dette vil tillate deg å forstå historien, karakterene og vendingene. 

Også: Google Glass vs. Project Astra: Sergey Brin om AI wearables and his top use case< /strong>

Når man diskuterer kunstig intelligens (AI)-modeller, representerer evnen til å huske bare én episode om gangen og bli tvunget til å glemme den når man går til neste episode et kort kontekstvindu. Å huske alle episodene i en serie representerer en AI-modell med stor kontekst — eller langt kontekstvindu.

I et nøtteskall betyr et langt kontekstvindu at modellen kan huske mye informasjon på en gang.  

Å vite hva konteksten representerer i AI er nødvendig for å lære mer om et langt kontekstvindu og hvordan det påvirker en bots eller andre systems ytelse.

AI-systemer som ChatGPT, Gemini chatbot og Microsoft Copilot er bygget på AI-modeller, i dette tilfellet henholdsvis GPT-3.5, Gemini og GPT-4. Disse modellene fungerer i hovedsak som systemene. hjerner, holder kunnskapen, husker informasjon i en samtale, og svarer på riktig måte til brukere. spørringer. 

Også: 9 største kunngjøringer på Google I/O 2024: Gemini, Search, Project Astra og mer

Kontekst i AI refererer til informasjon som gir mening og relevans til gjeldende data AI behandler. Det er informasjonen modellen vurderer når den bestemmer eller genererer et svar.

Kontekst måles i tokens, og kontekstvinduet representerer det maksimale antallet tokens modellen kan vurdere eller håndtere på en gang. Hvert symbol representerer et ord eller en del av et ord, avhengig av språket. På engelsk pleier ett token å representere ett ord, så en AI-modell som GPT-4 med et 16 000 (16k) tokenvindu kan håndtere omtrent 12 000 ord. 

Også: Hva er Gemini Live? Hvordan Googles chatbot i sanntid konkurrerer med GPT-4o

Tokeniseringsmetoder — det vil si hvordan ord telles og oversettes til tokens — varierer avhengig av systemet. Her er et eksempel på hvordan en tokeniseringsmetode kan se ut:

Eksempelfrase Den raske brunreven hopper over den late hunden. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed.
Token breakdown “Den”, “raske”, “brune”, “reven”, “hopper”, “over”, “den”, “lat”, “hunden”, “.””. “Lorem”, “ipsum”, “dolor”, “sitte”, “amet”, “consectetur”, “adipiscing”, “adipiscing”, " elit", ",", "sed", "."
Ordantall 9 ord 9 ord
Tokenantall 10 tokens 12 tokens

En AI-chatbot som kan håndtere omtrent 12 000 ord kan oppsummere en artikkel på 3000 ord eller 5000 ord forskningsoppgave og deretter svare på oppfølgingsspørsmål uten å glemme hva som sto i dokumentet brukeren delte. Tokens fra forrige meldinger vurderes gjennom samtaler, og gir bot-konteksten for hva som diskuteres. 

Også: 3 grunner til å oppgradere til Gemini Advanced, fra Google I/O 2024

Derfor, hvis en samtale holder seg innenfor token-grensen, kan AI-chatboten opprettholde hele konteksten. Men hvis den overskrider token-grensen, vil de tidligste tokenene sannsynligvis bli ignorert eller tapt for å holde seg innenfor vinduet, så boten vil potensielt miste litt kontekst. 

Dette er grunnen til at Google stolt annonserer Gemini 1.5 Pros store kontekstvindu på én million tokens. Ifølge Googles administrerende direktør Sundar Pichai betyr en million tokens at dens Gemini Advanced chatbot kan behandle over 30 000 linjer med kode, PDF-er på opptil 1500 sider eller 96 Cheesecake Factory-menyer.