Offentliga datauppsättningar av hudbilder som används för att träna algoritmer för att upptäcka hudproblem innehåller inte tillräckligt med information om hudton, enligt en ny analys. Och inom de datauppsättningar där hudtonsinformation är tillgänglig, är endast ett mycket litet antal bilder av mörkare hud – så algoritmer som byggs med dessa datauppsättningar kanske inte är lika exakta för personer som inte är vita.
Studien, publicerad idag i The Lancet Digital Health, undersökte 21 fritt tillgängliga datauppsättningar av bilder av hudåkommor. Tillsammans innehöll de över 100 000 bilder. Drygt 1 400 av dessa bilder hade information bifogad om patientens etnicitet och endast 2 236 hade information om hudfärg. Denna brist på data begränsar forskarnas förmåga att upptäcka fördomar i algoritmer som tränas på bilderna. Och sådana algoritmer kan mycket väl vara partiska: Av bilderna med hudtonsinformation var endast 11 från patienter med de mörkaste två kategorierna på Fitzpatrick-skalan, som klassificerar hudfärg. Det fanns inga bilder från patienter med afrikansk, afro-karibisk eller sydasiatisk bakgrund.
Slutsatserna liknar dem från en studie som publicerades i september, som också fann att de flesta datauppsättningar som används för träning av dermatologiska algoritmer inte har information om etnicitet eller hudton. Den studien undersökte data bakom 70 studier som utvecklade eller testade algoritmer och fann att endast sju beskrev hudtyperna i bilderna som användes.
“Vad vi ser från det lilla antalet artiklar som rapporterar hudtonsfördelningar är att de visar en underrepresentation av mörkare hudtoner”, säger Roxana Daneshjou, en klinisk forskare i dermatologi vid Stanford University och författare till septembertidningen. Hennes artikel analyserade många av samma datamängder som den nya Lancet-forskningen och kom till liknande slutsatser.
När bilder i en datauppsättning är offentligt tillgängliga kan forskare gå igenom och granska vilka hudtoner som verkar finnas. Men det kan vara svårt, eftersom foton kanske inte exakt matchar hur hudtonen ser ut i verkligheten. “Den mest idealiska situationen är att hudtonen noteras vid tidpunkten för det kliniska besöket”, säger Daneshjou. Sedan kan bilden av patientens hudproblem märkas innan den går in i en databas.
Utan etiketter på bilder kan forskare inte kontrollera algoritmer för att se om de är byggda med hjälp av datauppsättningar med tillräckligt många exempel på människor med olika hudtyper.
Det är viktigt att granska dessa bilduppsättningar eftersom de ofta används för att bygga algoritmer som hjälper läkare att diagnostisera patienter med hudsjukdomar, av vilka några – som hudcancer – är farligare om de inte upptäcks tidigt. Om algoritmerna bara har tränats eller testats på ljus hud kommer de inte att vara lika exakta för alla andra. “Forskning har visat att program som tränats på bilder tagna från personer med ljusare hudtyper kanske inte är lika exakta för personer med mörkare hud, och vice versa”, säger David Wen, medförfattare till den nya uppsatsen och forskare vid Oxfords universitet.
Nya bilder kan alltid läggas till offentliga datauppsättningar, och forskare vill se fler exempel på tillstånd på mörkare hud. Och att förbättra transparensen och tydligheten i datamängderna kommer att hjälpa forskare att spåra framstegen mot fler olika bilduppsättningar som kan leda till mer rättvisa AI-verktyg. “Jag skulle vilja se mer öppna data och mer välmärkta data”, säger Daneshjou.