La maggior parte degli algoritmi progettati per aiutare le persone a identificare i problemi della pelle non consentono agli esperti di vedere i set di dati con cui sono stati sviluppati e non condividono informazioni sul tono della pelle o sull'etnia dei pazienti in quei set di dati, secondo una nuova recensione. Ciò potrebbe rendere difficile per le persone valutare i programmi prima di utilizzarli e capire se potrebbero non funzionare altrettanto bene per determinati gruppi di persone, sostengono gli autori.
Questi tipi di strumenti utilizzano immagini di condizioni della pelle per insegnare a un sistema a riconoscere quelle stesse condizioni in nuove immagini. Qualcuno potrebbe caricare un'immagine di un'eruzione cutanea o di un neo e lo strumento sarebbe in grado di dire che tipo di eruzione cutanea o talpa era.
Il documento, pubblicato su JAMA Dermatology, ha analizzato 70 studi che hanno sviluppato un nuovo modello di deep learning o testato un algoritmo esistente su un nuovo set di dati. Presi insieme, i modelli sono stati sviluppati o testati utilizzando oltre 1 milione di immagini di problemi della pelle. Secondo l'analisi, solo un quarto di quelle immagini era disponibile per la revisione da parte degli esperti o del pubblico. Quattordici degli studi includevano informazioni sull'etnia o sulla razza dei pazienti nei loro dati e solo sette descrivevano i loro tipi di pelle.
“Ho il forte sospetto che questi set di dati non siano diversi, ma non c'è modo di saperlo”
Il resto non ha condiviso la ripartizione demografica dei loro pazienti. “Sospetto fortemente che questi set di dati non siano diversi, ma non c'è modo di saperlo”, ha detto su Twitter l'autrice dello studio Roxana Daneshjou, studiosa clinica in dermatologia presso la Stanford University.
L'analisi ha anche verificato se i modelli che miravano a identificare il cancro della pelle sono stati addestrati su immagini in cui il cancro è stato confermato con un campione di pelle inviato a un laboratorio – il “gold standard” per assicurarsi che la diagnosi fosse corretta . Degli studi inclusi, 56 hanno affermato di identificare tali condizioni, ma solo 36 di quelli hanno soddisfatto il gold standard. Quelli che non lo hanno fatto potrebbero essere meno precisi, dicono gli autori.
La revisione includeva un algoritmo di Google, che ha sviluppato uno strumento progettato per aiutare le persone a identificare le condizioni della pelle. La società prevede di realizzare una versione pilota del suo strumento web, che consente alle persone di caricare immagini di un problema di pelle e ottenere un elenco di possibili condizioni, entro la fine dell'anno. Secondo l'analisi, il documento di Google include il tipo di pelle e una suddivisione per etnia, ma non ha reso disponibili al pubblico i dati o il modello utilizzato. Inoltre, non ha utilizzato i metodi gold standard per valutare alcuni tipi di tumori della pelle, tra cui il melanoma e il carcinoma basocellulare.
Gli algoritmi medici sono validi quanto i dati con cui sono stati sviluppati con
Gli algoritmi medici sono validi quanto i dati con cui sono stati sviluppati e potrebbero non essere altrettanto efficaci se utilizzati in situazioni diverse da quelle su cui sono stati addestrati. Ecco perché gli esperti sostengono che i dati, o le descrizioni di tali dati, dovrebbero essere liberamente disponibili: “i dati utilizzati per addestrare e testare un modello possono determinarne l'applicabilità e la generalizzabilità. Pertanto, una chiara comprensione delle caratteristiche del set di dati … è fondamentale”, hanno scritto gli autori.
La mancanza di trasparenza è un problema costante con gli algoritmi medici. La maggior parte dei prodotti di intelligenza artificiale approvati dalla Food and Drug Administration (FDA) non riporta informazioni importanti sui dati con cui sono stati sviluppati, secondo un'indagine di Stat News del febbraio 2021. La FDA ha dichiarato a Stat News che il suo nuovo “piano d'azione” per l'IA spinge per una maggiore trasparenza.
Le limitazioni non significano che la maggior parte degli algoritmi dermatologici siano inutili, ha scritto Philipp Tschandl, ricercatore presso l'Università di Medicina di Vienna, in un editoriale di accompagnamento. Anche i medici non sono perfetti e hanno i propri pregiudizi o lacune nella conoscenza che possono distorcere la loro interpretazione di un problema della pelle. “Lo sappiamo e riusciamo ancora a praticare bene la medicina”, ha scritto. “Dobbiamo trovare modi attraverso la spiegabilità, i controlli intelligenti e la mitigazione dei rischi per consentire agli algoritmi di funzionare in modo sicuro ed equo nel campo della medicina.”