Norman Zeb/Getty ImagesOpenAIs GPT-4-modell konkurrerer med øyeleger når det gjelder å diagnostisere øyeproblemer , ifølge en ny forskningsartikkel.
Forskere testet nylig hvordan GPT-4 ville fungere i 87 pasientscenarier. Selv om modellen ikke klarte å matche øyeleger på ekspertnivå og gjorde noen feil i nøyaktige diagnoser, fant forskerne at verktøyet presterte bedre enn yngre leger og matchet mange spesialister i å håndtere øyeproblemer.
"Store språkmodeller (LLMs) nærmer seg ytelse på ekspertnivå i avanserte oftalmologiske spørsmål," skrev forskerne i en artikkel publisert i tidsskriftet PLOS Digital Health. De la til at GPT-4 var i stand til å utkonkurrere "noen ekspert øyeleger" ved diagnostisering av øyeproblemer.
Også: Hva står GPT for? Forståelse av GPT 3.5, GPT 4 og mer
AI har forstyrret nesten alle bransjer i ulik grad, men forskere er spesielt begeistret for de potensielle anvendelsene av teknologien for helsevesenet. Med AIs hjelp håper forskerne at de kan fange opp feilede diagnoser og generelt forbedre pasientresultatene. For at det skal skje, trenger LLM-er fortsatt betydelig forbedring, men gitt de kan være nøyaktige i noen tilfeller men er ikke på langt nær klare for kliniske innstillinger.
Denne siste forskningen tyder imidlertid på at GPT-4 nærmer seg. I studien ga forskerne 347 oftalmologiske spørsmål på tvers av de 87 scenariene til GPT-4 og spurte leger om nøyaktigheten og relevansen av resultatene. Generelt presterte GPT-4 eksepsjonelt bra, men forskerne fant at modellen ikke klarte å svare på en håndfull spørsmål om emner som spenner fra glaukom og grå stær til pediatrisk oftalmologi. Forskerne så ingen sammenheng mellom disse uriktige vurderingene og legens svar, noe som tyder på at GPT-4 ikke presterte på disse temaområdene uten spesifikk grunn. Uansett ble forskerne imponert over resultatene.
"Den bemerkelsesverdige ytelsen til GPT-4 i oftalmologiske undersøkelsesspørsmål antyder at LLM-er kan være i stand til å gi nyttige innspill i kliniske sammenhenger, enten for å hjelpe klinikere i deres det daglige arbeidet eller med deres utdanning eller forberedelse til eksamen," skrev de i papiret sitt.
Likevel advarte de om at GPT-4 ikke nødvendigvis er klar til å håndtere pasientbesøk alene, og sa at det er svært reelle etiske implikasjoner ved å overføre medisinske diagnoser til en stor språkmodell.
“Vår studie fant at til tross for at de oppfyller ekspertstandarder, samsvarer ikke toppmoderne LLM-er som GPT-4 med toppytende øyeleger”," skrev forskerne. “Dessuten er det fortsatt kontroversielle etiske spørsmål om hvilke roller som bør og ikke bør tildeles livløse AI-modeller, og i hvilken grad menneskelige klinikere må forbli ansvarlige for sine pasienter.”
Også: GPT-4 Turbo gjenvinner den 'beste AI-modellen' krone fra Anthropics Claude 3
Når vi ser fremover, tror forskerne at GPT-4 og dens etterfølgere kan dra nytte av ytterligere kontekst og «finjustering»; med “oftalmologiske tekstdata av høy kvalitet”," sammen med en "usikkerhetsindikator" som ville fortelle leger hvor sikker GPT-4 er på diagnosen. Likevel, i mangel av eksperter, selv nå, kan GPT-4 vise seg å være bedre enn gjennomsnittslegen når det gjelder å diagnostisere øyeproblemer.
"GPT-4 kan vise seg spesielt nyttig der tilgangen til øyeleger er begrenset," ; sa forskerne og la til at dens “kunnskaps- og resonneringsevne sannsynligvis vil være bedre enn ikke-spesialiserte leger og alliert helsepersonell som jobber uten støtte, siden deres eksponering for og kunnskap om øyepleie er begrenset.”