Jonathan Greig Staff Writer
Jonathan Greig är en journalist baserad i New York City.
Fullständig bio den 13 december 2021 | Ämne: Digital hälsa och välbefinnande
New York City tillkännagav nyligen ett försök att avsluta rasjusteringar i kliniska algoritmer som används av stadens sjukhus. Experter säger att dessa justeringar vidmakthåller rasistiska antaganden inom vården och kan leda till undermålig vård för minoritetsbefolkningar.
“Konceptet med biologiska skillnader baserade på ras existerade långt före AI, men den här tekniken har beväpnats för att förvärra dessa rasistiska metoder. Det finns så många algoritmer på plats som mestadels fungerar i en svart låda med liten eller ingen insyn i hur de fatta sina beslut. För att riva rasistiska strukturer i vårt samhälle måste vi öppna upp dessa algoritmer för att hitta vilka andra rasistiska övertygelser som är en del av deras beräkningar,” sa Seeley George.
“Vi behöver alla våra hälsosystem för att utföra detta arbete, vi behöver lagstiftning som stoppar skadliga algoritmer från att antas, och i New York City måste det gå längre än en klinisk algoritm (vilket är deras nuvarande omfattning). Och dessa insatser måste också inkludera de verkliga människorna som har skadats av dessa algoritmer, såväl som människorättsorganisationer och experter som kan ge kritisk inblick i hur dessa algoritmer skadar verkliga människor.”
Dr. Danya Glabau, biträdande professor vid NYU Tandon School of Engineering och chef för Science and Technology Studies Department of Technology, Culture and Society vid universitetet, sa att “algoritmer” i medicinsammanhang har en mycket längre historia än datoriserade system som rådet försöker reformera.
Medicinska algoritmer, enligt Glabau, är i princip alla typer av beslutsträd som läkare använder för att fatta behandlingsbeslut, och att använda icke-datoriserade medicinska algoritmer har varit en hörnsten i evidensbaserad medicin i årtionden.
Automatiserade algoritmer tar dock bort läkarens omdöme ur behandlingsbeslut i större eller mindre utsträckning eftersom en dator fattar besluten. När de digitala algoritmerna rullades ut trodde man att att ta bort människor skulle ta bort mänsklig rasism, förklarade Glabau.
“Men eftersom automatiserade algoritmers beslut baseras på data från tidigare mänskliga beslut, är mänskliga fördomar som rasism. och klassism är fortfarande med i dessa verktyg. Så de löser inte riktigt problemet med rasism på egen hand eftersom medicinens historia är rasistisk, säger Glabau.
“Det är svårt att säga exakt hur utbredda digitala algoritmer är och hur många av dem som tittar på ras i synnerhet. Men chansen är att de flesta leverantörer använder flera dagligen och kanske inte är medvetna om det.”
Forskare som Amy Moran-Thomas har visat att även enkla enheter som pulsoximetrar kan ha rasistiska resultat.
“I det här fallet övervägde designers helt enkelt inte hur hudfärg skulle påverka avläsningarna som ges av en optisk sensor. Vi vet också att verktyg som schemaläggningsprogram kan ha rasistiska resultat även om schemaläggning inte verkar ha något med ras att göra. Men i synnerhet svarta patienter var dubbel- eller trippelbokade eftersom många hade svårt att komma till möten i tid på grund av faktorer utanför deras kontroll, säger Glabau.
“Dessa exempel visar hur knepigt det kan vara att förutse hur algoritmiska och andra digitala system kommer att få rasistiska resultat. I en stad som New York, där covid har drabbat BIPOC-samhällen hårt och där postnummer är korrelerat med inkomst och rassegregering, som till synes vardagliga teknologier kan ha betydande konsekvenser för hälsan.”
Men det enda sättet för rådet att lyckas är att det ges full tillgång till sjukhussystemdrift, programvara och teknisk dokumentation från de företag som producerar algoritmer, tillade Glabau. Fullmäktige behöver också ges befogenhet att göra bindande riktlinjer som kan implementeras över hela staden.
“Om det här rådet inte får tänder kan det hitta chockerande information eller komma med välmenande rekommendationer, men det kommer inte att förändra någonting för patienterna eller utföra sitt antirasistiska uppdrag”, förklarade Glabau.
Glabau har skrivit mycket om hur vardagliga teknologier kan ha en betydande effekt på hälsoresultat.
ZDNet rekommenderar
Covid-testning: Det bästa hemma snabbtestsatser Walmart säljer Apple AirPods till billigare priser än under Black Friday De bästa billiga espressomaskinerna: Spara pengar, brygg hemma De bästa PC-högtalarna: Bring the noise! Kolla in ZDNets semesterpresentguide 2021 Enterprise Software