Tiernan Ray/ZDNETNoen ganger, den beste måten å undersøke noe på er i sammenheng med ting du allerede vet litt om. Eller tror i det minste at du gjør det.
I den ånden testet jeg nylig Googles Gemini chat-bot, tidligere Bard, mot OpenAIs ChatGPT-4. Denne testen var en del av en diskusjon om et nøkkelelement i moderne dyplæringsformer for kunstig intelligens (AI). Dette elementet er den typen AI som ligger til grunn for både ChatGPT og Gemini. Dette elementet kalles 'stochastic gradient descent' (SGD).
Også: ChatGPT vs. Microsoft Copilot vs. Gemini: Hvilken er den beste AI-chatboten?
Forfattere, spesielt journalister, har en tendens til å lene seg på metaforer og analogier for å forklare komplekse ting. Abstrakte konsepter, som SGD, er vanskelige for en lekmann å forstå. Så jeg regnet med å forklare et veldig tøft vitenskapelig konsept i metafor var en god test av begge programmene.
Jeg stilte Gemini og ChatGPT et enkelt spørsmål som du kan stille når du prøver å forstå et område gjennom en analogi:< /p>
Finnes det en god analogi eller metafor for stokastisk gradientnedstigning?
Når det gjelder å oppfylle målet om å forklare SGD via analogi, vant Google uten tvil. Google var i stand til å håndtere gjentatte spørsmål som forsøkte å avgrense løsningen. OpenAIs ChatGPT, derimot, ble sittende fast, ganske enkelt gjentatt informasjonsbiter på forskjellige måter uten å fremme løsningen.
En grunn til den forskjellen kan være at Googles Gemini var i stand til å takle et “hvorfor?” spørsmål i stedet for et “hva?”. Da ChatGPT ble konfrontert med spørsmålet “Hvorfor brukte du den løsningen?”, ga ChatGPT et utilfredsstillende resultat – og det er en viktig konklusjon.
Også: Hvordan Google og OpenAI fikk GPT-4 til å levere mer tidsriktige svar
Men først, litt kontekst. Stokastisk gradientnedstigning er en matematisk metode som brukes i trening av nevrale nettverk. Noen ganger refereres det til som en “læringsregel”, kjernemekanismen som opplæringsprosedyren avgrenser programmet med.
Et nevralt nettverk produserer utgang, og trening innebærer å sammenligne den utgangen med en kjent god utgang, og endre det neurale nettverket til det kommer så nært som mulig til den kjente gode utgangen. For å lukke skillet mellom det faktiske resultatet og det gylne eksemplet, gjøres en rekke endringer i innstillingene til det nevrale nettverket.
Denne serien av endringer fortsetter i en kvasi-tilfeldig (eller stokastisk) mote i et abstrakt rom av mulige løsninger, eller gradient. Forskere omtaler denne prosessen som å prøve å finne minimum av forskjellen mellom den faktiske og den ønskede utgangen — det laveste punktet i gradienten.
Den klassiske analogien for denne situasjonen er en maur som prøver å finne veien ned en bakke til det laveste punktet ved å krysse terrenget tilfeldig, når mauren ikke kan se hele terrenget.
Både Gemini og ChatGPT-4 ga anstendig, lignende utdata som svar på det opprinnelige spørsmålet mitt. Tvillingene brukte analogien med å finne en skatt i bunnen av en dal, med skatten som en metafor for å begrense forskjellen mellom ønsket utgang og faktisk utgang:
OpenAI, derimot, brukte analogien til en turgåer som vandrer i en tett tåke nedover et fjell, som ikke er i stand til å se langt når han prøver å komme til bunnen av en dal:
Begge resultater var greie nok. Men jeg legger da inn mer utfordrende spørsmål. Og det var der resultatene divergerte.
Jeg utfordret Gemini til å forklare hvorfor skatten i analogien var nede i bunnen av en dal. Hvorfor ikke plassere skatten på en topp? “Du har rett,” sa Gemini som svar, “å skjule en skatt på et høyere punkt kan til og med være mer logisk fra et sikkerhetsperspektiv.”
Gemini tilbød seg deretter å justere analogien med en historie om skatter gjemt i et hemmelig kammer i arkeologiske ruiner, slik at det «intuitivt» ga mer mening, ifølge Gemini. Jeg syntes den tilnærmingen var en fin måte å innlemme “Hvorfor?” fra ledeteksten for å flytte analogien fremover.
På samme måte skrev jeg inn i ChatGPT-4: “Det er en ganske god analogi, men hvorfor prøver turgåeren å nå bunnen av dalen? De kan like gjerne prøve å nå toppen?”
Også: GPT-4 blir betydelig dummere over tid, ifølge en studie
Utgangen fra ChatGPT-4 til dette spørsmålet kom som en overraskelse. I stedet for å forsøke å forbedre analogien, på den måten som Gemini gjorde, produserte ChatGPT-4 bare en forklaring på hvorfor analogien ble formulert på denne måten. Resultatet var en nøyaktig og detaljert forklaring, men det fremmet ikke oppgaven med å reformulere utdataene for å produsere en bedre løsning:
Selvfølgelig , det er mange måter alle instruksjonene kan endres for å betinge begge programmene til å gi forskjellige typer svar.
Fra en kald start viste imidlertid Geminis produksjon evne til å følge en oppgave gjennom til neste løsning når du blir bedt om det. OpenAIs program mistet plottet, og gjentok bare informasjon om svaret det allerede hadde generert.
Og siden SGD er et nøkkelelement i dyp lærings-AI, er det rimelig å konkludere med at Gemini vinner denne utfordringen.