Dana-Farber Cancer Institute figur>
I en landemerke, første av sitt slag studie beskrevet denne uken i det prestisjetunge New England Journal of Medicine, beskriver forskere ved det anerkjente Dana-Farber Cancer Institute i Boston flere måneder med implementering av OpenAIs GPT-4 for operasjoner.
Også: Hvordan GenAI ble mye bedre på medisinske spørsmål – takket være RAG
Forskerne fant at brukere' Den største bekymringen var unøyaktige svar fra chatboten, og et av de største problemene å overvinne var de høye kostnadene ved å stille spørsmål til chatboten.
Resultatene fra studien ble relatert av hovedforfatter Renato Umeton og kolleger av Dana-Farber Generative AI Governance Committee i en rapport i NEJM-AI, et avtrykk av tidsskriftet.
"Dana-Farber-personell bruker nå GPT4DFCI for å strømlinjeforme arbeidet og utføre forskning," skrev Umeton og teamet, “Så vidt vi vet, var det den første LLM som ble levert for generell bruk av arbeidsstyrken på et akademisk medisinsk senter eller sykehus.”
Teamet kombinerte fem forskjellige modeller størrelser av GPT-4, inkludert GPT-4 Turbo, til “GPT4DFCI”, kjører i Microsofts Azure OpenAI-tjeneste. GPT4DFCI er "designet med et enkelt, ChatGPT-lignende brukergrensesnitt" og er “privat, sikker og HIPAA-kompatibel og HIPAA-reviderbar i sin implementering.”
I løpet av en periode på flere måneder rullet teamet ut systemet til Dana-Farber og instruerte de 12 500 ansatte om å advare om og “forklare risikoen ved offentlige LLM-er og klargjøre relevante retningslinjer for instituttet, inkludert at PHI [personlig helseinformasjon], evt. del av en medisinsk journal, eller konfidensiell instituttinformasjon kan ikke legges inn på offentlige AI-plattformer."
Også: 3 måter AI revolusjonerer hvordan helseorganisasjoner betjener pasienter. Kan LLM-er som ChatGPT hjelpe?
Studieingeniørene registrerte undersøkelsessvar fra brukere om hva de brukte verktøyet til og hvilke bekymringer de hadde. "De mest rapporterte 'primære bruksområdene' av AI var 'trekker ut eller søkte etter informasjon i notater, rapporter eller andre dokumenter/filer' og 'besvare generelle kunnskapsspørsmål'," Umeton og team relatert.
"Driftskostnadene av Azure OpenAI Service kan legge seg raskt," var blant risikoene, skrev de. “Vi forventer at kostnadsspørsmålet vil bli en viktig vurdering ved institusjonen vår når vi begynner å muliggjøre brukstilfeller for mye høyere gjennomstrømning av forskning.”
Avslutningsvis skrev Umeton og teamet at “[i] det er for tidlig å vurdere om GPT4DFCI vil forbedre våre pasienter' resultater og erfaringer, trivselen til våre ansatte, rettferdigheten til vår kliniske omsorg og forskning, og vår kostnadseffektivitet. Ved å gi arbeidsstyrkefellesskapet vårt muligheter til å teste LLM-er i samsvar med retningslinjene våre og gjeldende lover, på en fullstendig reviderbar måte, tror vi imidlertid at vi kan håndtere risiko på en hensiktsmessig måte samtidig som vi fremmer oppdagelsene og kliniske oppdragene våre for pasienter."
Koden for GPT4DFCI er lagt ut på GitHub.