Jonathan Greig Staff Writer
Jonathan Greig er journalist baseret i New York City.
Fuld bio den 13. december 2021 | Emne: Digital sundhed og velvære
New York City annoncerede en nylig indsats for at afslutte racejusteringer i kliniske algoritmer, der bruges af byens hospitaler. Eksperter siger, at disse justeringer fastholder racistiske antagelser i sundhedsvæsenet og kan føre til substandard pleje for minoritetsbefolkninger.
“Konceptet med biologiske forskelle baseret på race eksisterede længe før AI, men denne teknologi er blevet bevæbnet for at forværre disse racistiske praksisser. Der er så mange algoritmer på plads, som for det meste fungerer i en sort boks med lidt til ingen gennemsigtighed i, hvordan de træffe deres beslutninger. For at rive racistiske strukturer ned i hele vores samfund, er vi nødt til at åbne disse algoritmer for at finde ud af, hvilke andre racistiske overbevisninger der er en del af deres beregninger,” sagde Seeley George.
“Vi har brug for alle vores sundhedssystemer til at udføre dette arbejde, vi har brug for lovgivning, der stopper skadelige algoritmer i at blive vedtaget, og i New York City skal det gå ud over én klinisk algoritme (som er deres nuværende omfang). Og disse indsatser skal også bl.a. de rigtige mennesker, der er blevet skadet af disse algoritmer såvel som menneskerettighedsorganisationer og eksperter, der kan give kritisk indsigt i disse algoritmers skader på rigtige mennesker.”
Dr. Danya Glabau, assisterende professor ved NYU Tandon School of Engineering og direktør for Science and Technology Studies Department of Technology, Culture, and Society på universitetet, sagde, at “algoritmer” i forbindelse med medicin har en meget længere historie end edb-systemer, som rådet søger at reformere.
Medicinske algoritmer er ifølge Glabau i det væsentlige enhver form for beslutningstræ, læger bruger til at træffe behandlingsbeslutninger, og at bruge ikke-computeriserede medicinske algoritmer har været en hjørnesten i evidensbaseret medicin i årtier.
Automatiserede algoritmer tager dog i større eller mindre grad lægens dømmekraft ud af behandlingsbeslutninger, fordi en computer træffer beslutningerne. Da de digitale algoritmer blev rullet ud, troede man, at fjernelse af mennesker ville fjerne menneskelig racisme, forklarede Glabau.
“Men da automatiserede algoritmers beslutninger er baseret på data fra tidligere menneskelige beslutninger, er menneskelige skævheder som racisme og klassisme spiller stadig ind i disse værktøjer. Så de løser ikke rigtig problemet med racisme alene, fordi medicinhistorien er racistisk,” sagde Glabau.
“Det er svært at sige præcist, hvor udbredte digitale algoritmer er, og hvor mange af dem ser på race i særdeleshed. Men chancerne er, at de fleste udbydere bruger flere dagligt, og måske er de klar over det.”
Forskere som Amy Moran-Thomas har vist, at selv simple enheder som pulsoximetre kan have racistiske udfald.
“I dette tilfælde overvejede designere simpelthen ikke, hvordan hudfarve ville påvirke aflæsningerne givet af en optisk sensor. Vi ved også, at værktøjer som planlægningssoftware kan have racistiske udfald, selvom planlægning ikke ser ud til at have noget at gøre med race. Men især sorte patienter var dobbelt- eller tredobbelt bookede, fordi mange havde svært ved at komme til aftaler til tiden på grund af faktorer uden for deres kontrol,” sagde Glabau.
“Disse eksempler viser, hvor vanskeligt det kan være at forudse, hvordan algoritmiske og andre digitale systemer vil have racistiske udfald. I en by som New York, hvor COVID har ramt BIPOC-samfund hårdt, og hvor postnummer er korreleret med indkomst og raceadskillelse, som tilsyneladende verdslige teknologier kan have betydelige konsekvenser for sundheden.”
Men den eneste måde for rådet at lykkes på er, at det får fuld adgang til hospitalssystemets drift, software og teknisk dokumentation fra de virksomheder, der producerer algoritmer, tilføjede Glabau. Rådet skal også have bemyndigelse til at lave bindende retningslinjer, der kan implementeres på tværs af byen.
“Hvis dette råd ikke får tænder, kan det finde chokerende information eller komme med velmente anbefalinger, men det vil ikke ændre noget for patienterne eller udføre sit antiracistiske mandat,” forklarede Glabau.
Glabau har skrevet meget om, hvordan verdslige teknologier kan have en betydelig effekt på sundhedsresultater.
ZDNet anbefaler
Covid-testning: Den bedste derhjemme hurtige testsæt Walmart sælger Apple AirPods til billigere priser end under Black Friday De bedste billige espressomaskiner: Spar penge, brygg derhjemme De bedste pc-højttalere: Bring støjen med! Tjek ZDNets feriegaveguide 2021 Enterprise Software