Jonathan Greig Staff Writer
Jonathan Greig er en journalist basert i New York City.
Full bio 13. desember 2021 | Emne: Digital helse og velvære
New York City kunngjorde et nylig forsøk på å avslutte rasejusteringer i kliniske algoritmer som brukes av byens sykehus. Eksperter sier at disse justeringene opprettholder rasistiske antagelser i helsevesenet og kan føre til understandard omsorg for minoritetsbefolkninger.
“Konseptet med biologiske forskjeller basert på rase eksisterte lenge før AI, men denne teknologien har blitt bevæpnet for å forverre disse rasistiske praksisene. Det er så mange algoritmer på plass som for det meste fungerer i en svart boks med liten eller ingen åpenhet om hvordan de ta sine avgjørelser. For å rive ned rasistiske strukturer i samfunnet vårt, må vi åpne opp disse algoritmene for å finne ut hvilke andre rasistiske trosoppfatninger som er en del av deres beregninger,” sa Seeley George.
“Vi trenger alle våre helsesystemer for å gjøre dette arbeidet, vi trenger lovgivning som stopper skadelige algoritmer fra å bli tatt i bruk, og i New York City må det gå utover én klinisk algoritme (som er deres nåværende omfang). Og denne innsatsen må også inkludere de virkelige menneskene som har blitt skadet av disse algoritmene, så vel som menneskerettighetsorganisasjoner og eksperter som kan gi kritisk innsikt i skadene av disse algoritmene på ekte mennesker.”
Dr. Danya Glabau, assisterende professor ved NYU Tandon School of Engineering og direktør for Science and Technology Studies Department of Technology, Culture, and Society ved universitetet, sa “algoritmer” i medisinsammenheng har en mye lengre historie enn datastyrte systemer som rådet søker å reformere.
Medisinske algoritmer, ifølge Glabau, er i hovedsak alle slags beslutningstre leger bruker for å ta behandlingsbeslutninger, og bruk av ikke-datastyrte medisinske algoritmer har vært en hjørnestein i evidensbasert medisin i flere tiår.
Automatiserte algoritmer tar imidlertid legens dømmekraft ut av behandlingsbeslutninger i større eller mindre grad fordi en datamaskin tar avgjørelsene. Da de digitale algoritmene ble rullet ut, ble det antatt at fjerning av mennesker ville fjerne menneskelig rasisme, forklarte Glabau.
“Men siden automatiserte algoritmers avgjørelser er basert på data fra tidligere menneskelige beslutninger, er menneskelige skjevheter som rasisme. og klassisme er fortsatt med i disse verktøyene. Så de løser egentlig ikke problemet med rasisme på egen hånd, fordi medisinens historie er rasistisk,” sa Glabau.
“Det er vanskelig å si nøyaktig hvor utbredt digitale algoritmer er og hvor mange av dem ser på rase spesielt. Men sjansen er stor for at de fleste tilbydere bruker flere daglig, og kanskje ikke er klar over det.”
Forskere som Amy Moran-Thomas har vist at selv enkle enheter som pulsoksymetre kan ha rasistiske utfall.
“I dette tilfellet vurderte designere ganske enkelt ikke hvordan hudfarge ville påvirke avlesningene gitt av en optisk sensor. Vi vet også at verktøy som planleggingsprogramvare kan ha rasistiske utfall selv om planlegging ikke ser ut til å ha noe med rase å gjøre. Men spesielt svarte pasienter ble dobbelt- eller trippelbooket fordi mange hadde problemer med å komme til avtaler i tide på grunn av faktorer utenfor deres kontroll,” sa Glabau.
“Disse eksemplene viser hvor vanskelig det kan være å forutse hvordan algoritmiske og andre digitale systemer vil ha rasistiske utfall. I en by som New York, hvor COVID har rammet BIPOC-samfunn hardt og hvor postnummer er korrelert med inntekt og raseskillelse, som tilsynelatende verdslige teknologier kan ha betydelige konsekvenser for helsen.”
Men den eneste måten for rådet å lykkes på er å gi full tilgang til sykehussystemdrift, programvare og teknisk dokumentasjon fra selskapene som produserer algoritmer, la Glabau til. Rådet må også gis myndighet til å lage bindende retningslinjer som kan implementeres over hele byen.
“Hvis dette rådet ikke får tenner, kan det finne sjokkerende informasjon eller komme med velmente anbefalinger, men det vil ikke endre noe for pasienter eller utføre sitt antirasistiske mandat,” forklarte Glabau.
Glabau har skrevet mye om hvordan verdslige teknologier kan ha en betydelig effekt på helseutfall.
ZDNet anbefaler
Covid-testing: The best at-home hurtigtestsett Walmart selger Apple AirPods til billigere priser enn under Black Friday De beste billige espressomaskinene: Spar penger, brygg hjemme De beste PC-høyttalerne: Bring støyen! Sjekk ut ZDNets Holiday Gift Guide 2021 Enterprise Software