Juni Wan/ZDNETGoogle, Wolfram Alpha og ChatGPT samhandler alle med brukere via et enkelt-linjes tekstfelt og gir tekstresultater. Google returnerer søkeresultater, en liste over nettsider og artikler som (forhåpentligvis) vil gi informasjon relatert til søkene. Wolfram Alpha gir generelt svar som er matematiske og dataanalyserelaterte.
ChatGPT, derimot, gir et svar basert på konteksten og intensjonen bak en brukers spørsmål. Du kan for eksempel ikke be Google om å skrive en historie eller Wolfram Alpha om å skrive en kodemodul, men ChatGPT kan gjøre slike ting.
Også: Hvordan bruke ChatGPT: Alt du trenger å vite
I utgangspunktet er Googles makt er dens evne til å gjøre enorme databaseoppslag og gi en rekke treff. Wolfram Alphas kraft er dens evne til å analysere datarelaterte spørsmål og utføre beregninger.
ChatGPTs kraft er evnen til å analysere spørringer og produsere fullstendige svar og resultater basert på det meste av verdens digitalt tilgjengelige tekstbaserte informasjon – i det minste informasjon som eksisterte på tidspunktet for opplæringen før desember 2023
I denne artikkelen vil vi se hvordan ChatGPT kan produsere disse fullstendige svarene. Vi starter med å se på hovedfasene av ChatGPT-driften, og dekker deretter noen kjernekomponenter for AI-arkitektur som får det hele til å fungere.
Også: Spare timer med arbeid med AI: Hvordan ChatGPT ble min virtuelle assistent for et dataprosjekt
I tillegg til kildene som er sitert i denne artikkelen (hvorav mange er de originale forskningsoppgavene bak hver av teknologiene), brukte jeg ChatGPT for å hjelpe meg med å lage denne bakgrunnen. Jeg stilte den mange spørsmål. Noen svar er parafrasert innenfor den generelle konteksten for denne diskusjonen.
De to hovedfasene av ChatGPT-drift
La oss bruke Google som en analogi igjen. Når du ber Google om å slå opp noe, vet du sannsynligvis at det – i det øyeblikket du spør – ikke går ut og leter gjennom hele nettet etter svar. I stedet søker Google i databasen sin etter sider som samsvarer med den forespørselen. Google har to hovedfaser: edderkopp- og datainnsamlingsfasen, og brukerinteraksjons-/oppslagsfasen.
Også: De beste AI-chatbotene: ChatGPT og andre morsomme alternativer å prøve
Grovt sett fungerer ChatGPT på samme måte. Datainnsamlingsfasen kalles pre-trening, mens brukerresponsfasen er kjent som inferens. Magien bak generativ AI og årsaken til at den har eksplodert er at måten førtrening fungerer på har vist seg å være enormt skalerbar. Denne skalerbarheten har blitt muliggjort av nyere innovasjoner innen rimelig maskinvareteknologi og cloud computing.
Slik fungerer AI før trening
Generelt sett (fordi det vil kreve store mengder å komme inn på detaljer), trener AI-er ved å bruke to prinsipielle tilnærminger: overvåket og ikke-overvåket. De fleste AI-prosjekter frem til den nåværende avlingen av generative AI-systemer som ChatGPT brukte den overvåkede tilnærmingen.
Også: Hvordan få ChatGPT til å gi kilder og siteringer
Ved oppfølging av opplæring er en prosess der en modell er trent på et merket datasett, hvor hver inngang er assosiert med en tilsvarende utgang.
For eksempel kan en AI trenes på et datasett med kundeservicesamtaler, der brukerens spørsmål og klager er merket med passende svar fra kundeservicerepresentanten. For å trene AI, spørsmål som “Hvordan kan jeg tilbakestille passordet mitt?” vil bli gitt som brukerinndata, og svar som “Du kan tilbakestille passordet ditt ved å gå til siden med kontoinnstillinger på nettstedet vårt og følge instruksjonene”," vil bli gitt som utgang.
I en overvåket treningstilnærming trenes den overordnede modellen til å lære en kartleggingsfunksjon som kan kartlegge innganger til utganger nøyaktig. Denne prosessen brukes ofte i veiledede læringsoppgaver, for eksempel klassifisering, regresjon og sekvensmerking.
Som du kanskje forestiller deg, er det grenser for hvordan dette kan skaleres. Menneskelige trenere må gå ganske langt i å forutse alle input og utganger. Opplæring kan ta svært lang tid og være begrenset i fagkompetanse.
Også: Mine to favoritt ChatGPT Plus-funksjoner og de bemerkelsesverdige tingene jeg kan gjøre med dem
Men som vi har innsett, har ChatGPT svært få grenser for fagkompetanse. Du kan be den om å skrive en CV for karakteren Chief Miles O'Brien fra Star Trek, få den til å forklare kvantefysikk, skrive et stykke kode, lage et kort fiksjonsstykke og sammenligne styrestilene til tidligere presidenter i United. stater.
Det ville være umulig å forutse alle spørsmålene som noen gang ville bli stilt, så det er ingen måte at ChatGPT kunne ha blitt trent med en overvåket modell. ChatGPT bruker i stedet ikke-overvåket forhåndstrening – og dette er gamechangeren.
Ikke-overvåket pre-trening er prosessen der en modell trenes på data der ingen spesifikk utgang er knyttet til hver inngang. I stedet trenes modellen til å lære den underliggende strukturen og mønstrene i inngangsdataene uten noen oppgave i tankene. Denne prosessen brukes ofte i uovervåkede læringsoppgaver, for eksempel clustering, avviksdeteksjon og dimensjonalitetsreduksjon. I språkmodellering kan ikke-veiledet foropplæring trene en modell til å forstå syntaksen og semantikken til naturlig språk, slik at modellen kan generere sammenhengende og meningsfull tekst i en samtalekontekst.
Også: Hvordan bruke ChatGPT til å lage en app
Det er her ChatGPTs tilsynelatende ubegrensede kunnskap blir mulig. Fordi utviklerne ikke trenger å vite utdataene som kommer fra inngangene, er alt de trenger å gjøre å dumpe mer og mer informasjon inn i ChatGPT-foropplæringsmekanismen, som kalles transformatorbasert språkmodellering.
Transformatorarkitektur
Transformatorarkitekturen er en type nevrale nettverk som brukes til å behandle naturlige språkdata. Et nevralt nettverk simulerer hvordan en menneskelig hjerne fungerer ved å behandle informasjon gjennom lag med sammenkoblede noder. Du kan tenke på et nevralt nettverk som et hockeylag. Hver spiller har en rolle, men de sender pucken frem og tilbake blant spillere med spesifikke posisjoner, og alle jobber sammen for å score målet.
Transformatorarkitekturen behandler sekvenser av ord ved å bruke “selvoppmerksomhet” å veie viktigheten av forskjellige ord i en rekkefølge når du lager spådommer. Selvoppmerksomhet ligner på hvordan en leser kan se tilbake på en tidligere setning eller avsnitt for konteksten som trengs for å forstå et nytt ord i en bok. Transformatoren ser på alle ordene i en sekvens for å forstå konteksten og relasjonene mellom dem.
Også: Jeg ba ChatGPT om å skrive en WordPress-plugin jeg trengte. Den gjorde det på under 5 minutter
Transformatoren består av flere lag, hver med flere underlag. De to hovedunderlagene er selvoppmerksomhetslaget og feedforward-laget. Selvoppmerksomhetslaget beregner betydningen av hvert ord i sekvensen, mens feedforward-laget bruker ikke-lineære transformasjoner til inngangsdataene. Disse lagene hjelper transformatoren å lære og forstå relasjonene mellom ordene i en sekvens.
Under trening får transformatoren inndata, for eksempel en setning, og blir bedt om å foreta en prediksjon basert på den inputen. Modellen oppdateres basert på hvor godt prediksjonen samsvarer med den faktiske produksjonen. Gjennom denne prosessen lærer transformatoren å forstå konteksten og relasjonene mellom ord i en sekvens, noe som gjør den til et kraftig verktøy for naturlig språkbehandlingsoppgaver som språkoversettelse og tekstgenerering.
En ting å huske er at det er problemer rundt potensialet for disse modellene til å generere skadelig eller partisk innhold, ettersom de kan lære mønstre og skjevheter som finnes i treningsdataene. Selskapene som implementerer disse modellene prøver å tilby "rekkverk" men disse rekkverkene kan i seg selv forårsake problemer. Disse bekymringene er fordi forskjellige mennesker har forskjellige perspektiver. Et forsøk på å forhindre skjevhet basert på en tankeskole kan hevdes som skjevhet av en annen tankegang. Denne situasjonen gjør utformingen av en universell chatbot vanskelig fordi samfunnet er komplekst.
Også: 7 avanserte ChatGPT-spørringstips du trenger å vite< /strong>
La oss diskutere dataene som blir matet inn i ChatGPT først, og deretter brukerinteraksjonsfasen til ChatGPT og naturlig språk.
ChatGPTs opplæringsdatasett
Datasettet som brukes til å trene ChatGPT er enormt. ChatGPT er basert på GPT-3 (Generative Pre-trained Transformer 3)-arkitekturen, men vi må gi ytterligere klarhet. Gratisversjonen av ChatGPT ble trent på GPT-3 og ble nylig oppdatert til en mye mer kapabel GPT-4o. Hvis du betaler $20/måned for ChatGPT Plus, kan du bruke GPT-3-treningsdatasettet, et mer omfattende GPT-4-datasett eller GPT-4o.
Også: ChatGPT vs. ChatGPT Plus: Er et betalt abonnement fortsatt verdt det?
Nå dekker forkortelsen GPT tre områder. Det er generativt, noe som betyr at det genererer resultater, det er forhåndstrenet, noe som betyr at det er basert på alle disse dataene det inntar, og det bruker transformatorarkitekturen som veier tekstinndata for å forstå konteksten.
GPT-3 ble trent på et datasett kalt WebText2, et bibliotek med over 45 terabyte med tekstdata. Når du kan kjøpe en 16-terabyte harddisk for under $300, kan det hende at et 45-terabyte korpus ikke virker så stort. Men tekst tar opp mye mindre lagringsplass enn bilder eller video.
Også: Hvordan (og hvorfor) abonnere på ChatGPT Plus
Denne enorme mengden data gjorde det mulig for ChatGPT å lære mønstre og forhold mellom ord og uttrykk i naturlig språk i en enestående skala, noe som er en av grunnene til at det er så effektivt å generere sammenhengende og kontekstuelt relevante svar på brukerforespørsler.
Også: Hvordan bruke ChatGPT i nettleseren din med de riktige utvidelsene
Mens ChatGPT er basert på GPT-3- og GPT-4o-arkitekturen, har den blitt finjustert på et annet datasett og optimert for samtalebruk. Denne prosessen lar den gi en mer personlig og engasjerende opplevelse for brukere som samhandler med teknologien via et chat-grensesnitt.
For eksempel har OpenAI (utviklere av ChatGPT) gitt ut et datasett kalt Persona-Chat som er spesielt designet for å trene samtale-AI-modeller som ChatGPT. Dette datasettet består av over 160 000 dialoger mellom to menneskelige deltakere, med hver deltaker tildelt en unik persona som beskriver deres bakgrunn, interesser og personlighet. Denne prosessen lar ChatGPT lære hvordan du genererer svar som er tilpasset den spesifikke konteksten i samtalen.
I tillegg til Persona-Chat ble mange andre samtaledatasett brukt til å finjustere ChatGPT. Her er noen eksempler:
Cornell Movie Dialogs Corpus: Et datasett som inneholder samtaler mellom karakterer i filmmanus. Den inkluderer over 200 000 samtaleutvekslinger mellom mer enn 10 000 filmkarakterpar, som dekker ulike emner og sjangre.Ubuntu Dialogue Corpus: En samling av dialoger med flere svinger mellom brukere som søker teknisk støtte og støtteteamet for Ubuntu-fellesskapet. Den inneholder over én million dialoger, noe som gjør den til et av de største offentlig tilgjengelige datasettene for forskning på dialogsystemer.DailyDialog: En samling menneske-til-menneske-dialoger om flere emner, alt fra dagligdagse samtaler til diskusjoner om sosiale spørsmål. Hver dialog i datasettet består av flere svinger og er merket med et sett med følelser, følelser og emneinformasjon.
I tillegg til disse datasettene, ble ChatGPT trent på mange ustrukturerte data funnet på internett, inkludert nettsteder, bøker og andre tekstkilder. Dette gjorde det mulig for ChatGPT å lære om strukturen og mønstrene til språk i en mer generell forstand, som deretter kunne finjusteres for spesifikke applikasjoner som dialoghåndtering eller sentimentanalyse.
ChatGPT er en distinkt modell trent ved å bruke en lignende tilnærming til GPT-serien, men med noen forskjeller i arkitektur og treningsdata. ChatGPT har 1,5 milliarder parametere, som er mindre enn GPT-3s 175 milliarder parametere. Så vidt jeg vet, har ikke OpenAI gitt ut noen data om antall parametere for GPT-4o.
Også: De beste AI-kunstgeneratorene å prøve
Samlet sett er treningsdataene som brukes til å finjustere ChatGPT, typisk samtalebaserte og spesifikt kurert for å inkludere dialoger mellom mennesker, slik at ChatGPT kan lære å generere naturlige og engasjerende svar i et samtaleformat.
Her er hvordan du tenker på ChatGPTs uovervåkede trening: den ble matet med mye data og overlatt til sine egne enheter for å finne mønstre og forstå det hele. Denne mekanismen tillot de nye generative AI-systemene å skalere opp så raskt.
Mens førtreningsprosessen gjør tungløftet for ChatGPTs generative AI, må teknologien også forstå spørsmål og konstruere svar fra data. Den delen gjøres av inferensfasen, som består av naturlig språkbehandling og dialoghåndtering.
Hva med menneskelig involvering i førtrening?
Til tross for den iboende skalerbarheten til ikke-overvåket fortrening, er det noen bevis på at menneskelig assistanse kan ha vært involvert i utarbeidelsen av ChatGPT for offentlig bruk.
Den store avsløringen var i en artikkel i TIME Magazine som diskuterte menneskelige "datamerkere" tjener mellom $1,32 og $2/time i Kenya. I følge TIME-rapporten var det disse arbeidernes ansvar å skanne grusomt og seksuelt eksplisitt internettinnhold for å flagge det for ChatGPT-opplæring.
Også: Slik får du tilgang til tusenvis av gratis lydbøker, takket være Microsoft AI og Project Gutenberg
En annen artikkel, publisert i Martechpost, et AI-nyhetsbrev, sier at den store språkmodellen ble trent ved hjelp av en prosess kalt Reinforcement Learning from Human Feedback (RLHF): "Treningsprosessen innebar en finjustert innledende modell ved bruk av veiledet læring, med menneskelig trenere som spiller både rollen som bruker og en AI-assistent."
Det er noen finesser rundt hva ordet "trening" midler. I følge ChatGPT selv, “brukte ikke OpenAI forsterkende læring med menneskelig tilbakemelding for å trene meg. I stedet ble jeg forhåndsopplært ved å bruke en kombinasjon av uovervåket og overvåket læringsteknikker, som språkmodellering, auto-koding og sekvensprediksjon. Treningen min innebar å behandle enorme mengder tekstdata fra internett, noe som gjorde at jeg kunne lære mønstre og forhold mellom ord og uttrykk."
AI fortsatte, “Men når jeg først ble trent, kan forskere og utviklere bruke forsterkende læring med menneskelig tilbakemelding for å finjustere meg for spesifikke oppgaver eller domener, for eksempel å svare på spørsmål eller generere tekst. I disse tilfellene kan mennesker gi tilbakemelding i form av belønninger eller straffer, som kan brukes til å oppdatere parametrene mine og forbedre ytelsen min på lignende oppgaver i fremtiden."
Også: Hvordan jeg brukte ChatGPT- og AI-kunstverktøy for å starte Etsy-bedriften min raskt
Dette svaret ser ut til å passe med Marktechpost- og TIME-rapportene, ved at den innledende fortreningen var uten tilsyn, noe som gjorde at en enorm mengde data kunne mates inn i systemet. Men ved å bygge dialogsvarene som kommuniserer med brukere (mer om det nedenfor), ble responsmotorene tilsynelatende trent både på typene svar og trent til å filtrere ut upassende materiale – og den opplæringen ser ut til å ha vært menneskelig assistert.
Jeg tok kontakt med OpenAI (produsenten av ChatGPT) for å få avklaring, men har ennå ikke fått svar. Hvis selskapet kommer tilbake til meg (utenfor ChatGPT selv), oppdaterer jeg artikkelen med et svar.
Naturlig språkbehandling
Naturlig språkbehandling (NLP) fokuserer på å gjøre datamaskiner i stand til å forstå, tolke og generere menneskelig språk. Med den eksponentielle veksten av digitale data og den økende bruken av naturlige språkgrensesnitt, har NLP blitt en avgjørende teknologi for mange virksomheter.
NLP-teknologier kan brukes til mange applikasjoner, inkludert sentimentanalyse, chatbots, talegjenkjenning og oversettelse. Ved å utnytte NLP kan bedrifter automatisere oppgaver, forbedre kundeservicen og få verdifull innsikt fra tilbakemeldinger fra kunder og innlegg på sosiale medier.
Også: Hvordan skrive bedre ChatGPT-forespørsler
En av hovedutfordringene ved implementering av NLP er å håndtere kompleksiteten og tvetydigheten i menneskelig språk. NLP-algoritmer må trenes på store datamengder for å gjenkjenne mønstre og lære språkets nyanser. De må også kontinuerlig foredles og oppdateres for å holde tritt med endringer i språkbruk og kontekst.
Teknologien fungerer ved å bryte ned språkinndata, for eksempel setninger eller avsnitt, i mindre komponenter og analysere deres betydninger og relasjoner for å generere innsikt eller svar. NLP-teknologier bruker flere teknikker, inkludert statistisk modellering, maskinlæring og dyp læring, for å gjenkjenne mønstre og lære av store mengder data for å tolke og generere språk nøyaktig.
Dialoghåndtering
Du har kanskje lagt merke til at ChatGPT kan stille oppfølgingsspørsmål for å klargjøre intensjonen din eller bedre forstå dine behov, og gi personlige svar som tar hensyn til hele samtalehistorikken.
Denne tilnærmingen er hvordan ChatGPT kan ha samtaler med flere svinger med brukere som føles naturlige og engasjerende. Prosessen innebærer å bruke algoritmer og maskinlæringsteknikker for å forstå konteksten til en samtale og vedlikeholde den over flere utvekslinger med brukeren.
Dialoghåndtering er et viktig aspekt ved naturlig språkbehandling fordi det lar dataprogrammer samhandle med mennesker på en måte som føles mer som en samtale enn en rekke engangsinteraksjoner. Denne tilnærmingen kan bidra til å bygge tillit og engasjement hos brukerne og føre til bedre resultater for både brukeren og organisasjonen som bruker programmet.
Hvordan bruke: Midjourney  ;| Microsoft Image Creator | Craiyon | Stabil diffusjon
Markedsførere ønsker selvfølgelig å utvide hvordan tillit bygges opp, men dette er også et område som kan vise seg å være skummelt fordi det er en måte en AI kan være i stand til å manipulere menneskene som bruker den.
En titt på innsiden av maskinvaren som kjører ChatGPT
Microsoft ga nylig ut en video som diskuterer hvordan Azure brukes til å lage et nettverk for å kjøre all beregning og lagring som kreves av ChatGPT. Det er en fascinerende klokke for diskusjonen om Azure og hvordan AI er bygd opp i ekte maskinvare.
Vanlige spørsmål
< h2>Hvordan skiller ChatGPTs generative AI seg fra tradisjonelle chatboter?
Tradisjonelle chatbots opererer på forhåndsdefinerte regler og beslutningstrær, og reagerer på spesifikke brukerinndata med forhåndsbestemte svar. ChatGPT, på den annen side, bruker generativ AI, slik at den kan produsere unike svar ved å forstå kontekst og intensjoner, noe som gjør interaksjoner mer dynamiske og menneskelignende.
Hvorfor regnes ikke-overvåket førtrening som et spill -changer for AI-modeller som ChatGPT?
Ikke-overvåket foropplæring lar AI-modeller lære av enorme mengder umerkede data. Denne tilnærmingen hjelper modellen med å forstå nyansene i språket uten å være begrenset til spesifikke oppgaver, noe som gjør den i stand til å generere mer varierte og kontekstuelt relevante svar.
Er det noen begrensninger for ChatGPTs evne til å forstå og svare på brukeren spørringer?
Ja. ChatGPT er avhengig av dataene den ble trent på, noe som betyr at den kanskje ikke alltid har informasjon om nyere emner eller nisjeemner. I tillegg genereres svarene basert på mønstre i dataene, så det kan av og til produsere faktuelt feil svar eller mangle kontekst. I tillegg kan dataene den er trent på være feil eller til og med bevæpnet til å være direkte villedende.
Og nå vet du det
Selv om vi er over 3200 ord, er dette fortsatt en rudimentær oversikt over alt som skjer inne i ChatGPT. Når det er sagt, forstår du kanskje nå mer om hvorfor denne teknologien har eksplodert det siste året. Nøkkelen til suksess er at selve dataene ikke er “overvåket”. og AI kan ta det den har blitt matet og gi mening ut av det.
Dessuten: Vi er ikke klare for virkningen av generativ AI på valg
Ganske fantastisk, egentlig.
For å avslutte, matet jeg et utkast av hele denne artikkelen til ChatGPT og ba AI om å beskrive artikkelen i én setning. Her går du:
ChatGPT er som Google og Wolfram Alphas smarte fetter som kan gjøre ting de ikke kan, som å skrive historier og kodemoduler.
ChatGPT er ment å være en teknologi uten et ego, men hvis svaret ikke bare gir deg gruene, har du ikke vært oppmerksom.
Hva synes du? Bruker du ChatGPT? Hvilke spørsmål har du fortsatt om hvordan det fungerer? Del dine meninger med oss i kommentarene nedenfor.
Du kan følge mine daglige prosjektoppdateringer på sosiale medier. Sørg for å abonnere på mitt ukentlige oppdateringsnyhetsbrev, og følg meg på Twitter/X på @DavidGewirtz, på Facebook på Facebook.com/DavidGewirtz, på Instagram på Instagram.com/DavidGewirtz og på YouTube på YouTube.com/DavidGewirtzTV.< /p>