Opera tester å la deg laste ned LLM-er for lokal bruk, det første for en større nettleser

0
37

opera-llms.png Opera

Hvis du bruker Opera, vil du gjerne vite at du kan få tilgang til en ny funksjon i dag: LLM-er som nettleseren kan få tilgang til helt lokalt på enheten din.

For første gang, ifølge en Opera pressemelding, en stor nettleser lar brukere laste ned LLM-er for lokal bruk gjennom en innebygd funksjon. Dette betyr at du kan dra nytte av LLM i Opera uten å sende data til en server. Funksjonen er tilgjengelig i utviklerstrømmen til Opera One som en del av selskapets AI Feature Drops Program, som lar tidlige brukere teste eksperimentelle AI-funksjoner.

Tilgjengelige LLM-er inkluderer Googles Gemma, Mistral AIs Mixtral, Meta's Llama og Vicuna. Det er omtrent 50 familier og mer enn 150 LLM-er tilgjengelig totalt.

Også: 5 grunner til at Opera er favorittnettleseren min (og du bør sjekke den ut også)

Opera bemerker at hver LLM kan ta 2 GB til 10 GB lagringsplass. Mer spesialiserte LLM-er bør kreve mindre. En lokal LLM kan også være en god del tregere enn en serverbasert, advarer Opera, avhengig av maskinvarens datakapasitet.

Selskapet anbefaler å prøve noen få modeller, inkludert Code Llama, som er en utvidelse av Llama som tar sikte på å generere og diskutere kode, Mixtral, som er designet for et bredt spekter av naturlig språkbehandlingsoppgaver som tekstgenerering og spørsmålssvar, og Microsoft Researchs Phi-2, en språkmodell som demonstrerer enestående resonnement. og språkforståelsesevner."

For å teste denne funksjonen må du oppgradere til den nyeste versjonen av Opera Developer. Når det er gjort, åpner du Aria Chat-sidepanelet og velger "velg lokal modus" fra rullegardinboksen øverst. Derfra klikker du på "Gå til innstillinger" og søk etter modellene du vil laste ned. Når LLM du valgte er lastet ned, klikker du på menyknappen øverst til venstre for å starte en ny chat. Du kan deretter velge modellen du nettopp lastet ned og begynne å chatte.

LLM du velger vil erstatte Operas opprinnelige AI til du bytter tilbake til Aria.