GoogleGoogles Gemini 1.5 Pro, en stor språkmodell som ble tilgjengelig i forhåndsvisning denne uken, kan skryte av forbedrede oversettelsesevner, spesielt med det som er kjent som språk med lite ressurser – språk som ikke har mye materiale tilgjengelig på internett.
Merkelig nok klarte jeg å få Gemini til å mislykkes med det aller første spørsmålet jeg skrev inn i saken, et spørsmål knyttet til språkoversettelse. Det var ikke med vilje fra min side, men feilen, med en advarsel om “utrygt” innhold, antyder at noe veldig grunnleggende er buggy i denne forhåndsvisningsutgivelsen.
Dessuten: Jeg la GPT-4o gjennom kodingstestene mine, og den klarte dem – bortsett fra ett merkelig resultat
Feilen er til tross for at Googles tekniske rapport om Gemini 1.5 Pro bemerker at programmets overlegne testresultater på språk med lite ressurser.
Forhåndsvisningsmodusen er tilgjengelig for alle som kan prøve gratis på Googles AI Studio-side.
Fordi jeg liker oversettelsesoppgaver, var min første impuls å prøve ut en litt utfordrende språkoppgave som jeg ofte har lekt med i ChatGPT: Oversette ord til engelsk fra det georgiske språket. Georgisk snakkes av nesten 4 millioner mennesker. Det er hovedspråket i den tidligere sovjetrepublikken Georgia, som ligger mellom Svartehavet og Det kaspiske hav, i regionen kjent som Kaukasus.
Også: ChatGPT vs. . Microsoft Copilot vs. Gemini: Hvilken er den beste AI-chatboten?
Selv om det er mange materialer for språklige studier av georgisk, er nettmateriell på langt nær så mange som engelsk, fransk eller tysk. I mine erfaringer med ChatGPT har programmet noen ganger gitt meg ukorrekte oversettelser av forskjellige georgiske verb, inkludert verbet “å være”," som i det georgiske alfabetet er stavet “ყოფნა.”
Så jeg prøvde ut en av mine standard georgiske søk på Gemini. I stedet for å be Gemini om å bare oversette en setning, skrev jeg inn ledeteksten “Bøy det georgiske verbet 'ყოფნა”,'" som skal liste formene til ordet eller ordene for førsteperson, andreperson osv., entall og flertall, akkurat som i en grammatikkbok.
Også:& #xA0;Google I/O 2024: 5 Gemini-funksjoner som ville trekke meg bort fra Copilot
Etter innledende problemer for et år siden, kan ChatGPT svare på det spørsmålet i disse dager, og viser flere tider av verbet i et fint, organisert tabellformat.
Responsen fra Gemini var imidlertid en overraskelse. Den begynte å svare, så stoppet den. Det var en liten trekant vist. Når den ble klikket på, produserte den utsagnene, “Sannsynlighet for usikkert innhold” og "Innhold ikke tillatt."
Enda mer bisarrt, da jeg klikket på sikkerhetsinnstillingene og skrudde av alle kontrollene slik at programmet ikke skulle blokkere noe, endret ingenting. Den samme feilen dukket opp.
Det hjalp ikke å sette spørsmålet i form av en rikere oppfordring. Jeg omformulerte spørsmålet som et spørsmål om en eksempeltekst skrevet på georgisk, og tok det første avsnittet i Wikipedia-oppføringen (på georgisk) om den georgiske hovedstaden Tbilisi.
Også : Svetter OpenAI? 9 Google-funksjoner annonsert for Gemini, Search, Android og mer
Jeg ba Gemini om å bøye verbet slik det ble vist i avsnittet. Igjen begynte den å svare, og stoppet deretter med den samme feilen.
Igjen svarte ChatGPT på den samme meldingen med perfekt utgang.
Litt mer eksperimentering avslører at feilen er spesiell. På andre språk, som fransk, er det samme søket ikke noe problem for Gemini. Det franske verbet "être," kan for eksempel konjugeres som forventet.
Dessuten, når Gemini blir bedt om en enkel oversettelse til georgisk fra engelsk, har ikke Gemini noe problem. For eksempel, ledeteksten “Hvordan sier jeg “jeg er”? på georgisk?", fremkaller et fornuftig svar som: “Her er hvordan du bruker det: ვარ student — Jeg er student. ვარ glad — jeg er glad."
Men problemet er også mangesidig. Da jeg stilte bøyningsspørsmålet mitt uten egentlig å skrive inn selve det georgiske ordet, bare engelsk, mislyktes Gemini fortsatt. Jeg skrev “Konjuger nåtid av det georgiske verbet To Be”," og mottok samme feilmelding.
Disse individuelle eksemplene tyder på at det ikke er noe galt med formen på spørringen, siden den fungerer med andre språk, og det er ingenting galt med å oversette georgisk i seg selv, siden eksempeloversettelser fungerer helt fint.
Også: Google-søkeresultatene dine er i ferd med å se veldig annerledes ut. Her er 4 grunner til at
Det kan være en feil i Gemini-koden, eller det kan være et mer grunnleggende problem i hvordan språkmodellens sikkerhetstiltak for innhold er strukturert. På dette tidspunktet er det uklart hvilken det er.
Jeg har kontaktet Google for kommentar. Denne artikkelen vil bli oppdatert hvis og når ZDNET mottar et svar fra Google.
Opplysning: Tiernan Ray eier ingen aksjer i noe han skriver om, og det er ingen forretningsforbindelse mellom Tiernan Ray LLC, utgiveren av Teknologibrevet, og alle selskapene som dekkes. Se her for mer informasjon.