USA: s största elektroniska rekordföretag, Epic Systems, hävdar att det kan lösa ett stort problem för sjukhus: att identifiera tecken på sepsis, en ofta dödlig komplikation från infektioner som kan leda till organsvikt. Det är en ledande dödsorsak på sjukhus.
Men algoritmen fungerar inte lika bra som annonseras, enligt en ny studie som publicerades i JAMA Internal Medicine på måndagen. Epic säger att dess varningssystem korrekt kan skilja patienter som har och inte har sepsis 76 procent av tiden. Den nya studien fann att det bara var rätt 63 procent av tiden.
En episk talesman bestred resultaten i ett uttalande till Stat News och sa att annan forskning visade att algoritmen var korrekt.
Sepsis är svårt att upptäcka tidigt, men att starta behandlingen så snart som möjligt kan förbättra patienternas överlevnadschanser. Epic-systemet och andra automatiska varningsverktyg som det, skannar patientens testresultat för signaler om att någon kan utveckla tillståndet. Cirka en fjärdedel av amerikanska sjukhus använder Epics elektroniska journaler, och hundratals sjukhus använder dess sepsis-förutsägelsesverktyg, inklusive hälsocentret vid University of Michigan, där studieförfattaren Karandeep Singh är biträdande professor.
Studien undersökte data från nästan 40 000 sjukhusvistelser vid Michigan Medicine under 2018 och 2019. Patienter utvecklade sepsis i 2552 av dessa sjukhusvistelser. Epics sepsis-verktyg saknade 1 709 av dessa fall, varav cirka två tredjedelar fortfarande identifierades och behandlades snabbt. Det identifierade endast 7 procent av sepsisfall som en läkare missade. Analysen fann också en hög grad av falska positiva effekter: när en varning gick för en patient var det bara 12 procents chans att patienten faktiskt skulle utveckla sepsis.
En del av problemet, berättade Singh för Stat News, verkade ligga i hur Epic-algoritmen utvecklades. Den definierade sepsis baserat på när en läkare skulle lägga fram en räkning för behandling, inte nödvändigtvis när en patient först utvecklade symtom. Det betyder att det är fångstfall där läkaren redan tror att det finns ett problem. “Det försöker i huvudsak att förutsäga vad läkare redan gör”, sa Singh. Det är inte heller ett mått på sepsis som forskare vanligtvis skulle använda.
Verktyg som hämtar patientdata för att förutsäga vad som kan hända med deras hälsa är vanliga och kan vara användbara för läkare. Men de är bara lika bra som de data de utvecklas med, och de bör utvärderas externt. När forskare granskar verktyg som den här hittar de ibland hål: till exempel en algoritm som används av större hälsosystem för att flagga patienter som behöver särskild uppmärksamhet var partisk mot svarta patienter, fann en studie från 2019.
Epic rullade ut ett annat prediktivt verktyg, kallat försämringsindex, under de tidiga dagarna av COVID-19-pandemin. Den var utformad för att hjälpa läkare att avgöra vilka patienter som skulle gå till intensivvård och vilka som kunde vara bra utan den. Pandemin var en nödsituation, så sjukhus runt om i landet började använda den innan den utsattes för någon form av oberoende utvärdering. Redan nu har det funnits begränsad forskning om verktyget. En liten studie visade att den kunde identifiera patienter med hög och låg risk men kanske inte var användbar för läkare. Det kan finnas oförutsedda problem eller fördomar i systemet som går obemärkt förbi, varnade Brown University-forskare i Undark.
Om digitala verktyg kommer att leva upp till sin potential inom vården, gillar företag Epic bör vara transparent om hur de är gjorda och de bör övervakas regelbundet för att se till att de fungerar bra, säger Singh på Twitter. Dessa verktyg blir allt vanligare, så den här typen av frågor försvinner inte, säger Roy Adams, biträdande professor vid Johns Hopkins School of Medicine, till Wired. “Vi behöver mer oberoende utvärderingar av dessa proprietära system”, säger han.