Non per forza l’intelligenza artificiale deve promuovere le discriminazioni

«I dati sono uno strumento per costruire il potere politico delle persone nere, e con potere politico intendo la capacità di influenzare le decisioni che hanno un impatto sulla propria vita». Queste le parole di Yeshimabeit Milner, fondatrice del gruppo Data For Black Lives, intervenuta durante la conferenza Fairness Accountability and Transparency promossa dalla Association for Computing Machinery, che si è svolta online dal 3 al 10 marzo. Dal 2018 la conferenza raggruppa accademici e professionisti nel campo degli algoritmi, in particolare quelli di machine learning, per riflettere sull’impatto sociale che hanno quando sono usati come sistemi di assistenza alla decisione, su come renderli equi, trasparenti e soprattutto passibili di scrutinio con l’obiettivo di attribuire delle responsabilità. Le parole di Milner non sono uno slogan, tutt’altro. Soprattutto se si parla di salute, sanità e medicina. La disparità nell’accesso alle cure mediche da parte della comunità nera negli Stati Uniti è un fenomeno ben noto. Ciò che forse è meno noto è che questa disparità rischia di essere aumentata dall’utilizzo crescente di sistemi informatici basati sui dati. A farne le spese sono in generale tutti i gruppi minoritari e il danno è più grave per le cosiddette minoranze intersezionali, quei gruppi di persone che hanno più di una delle caratteristiche, come etnia, religione, disabilità, identità di genere, classe sociale o aspetto fisico, che singolarmente sono oggetto di discriminazione. A ottobre del 2019 un gruppo di ricercatori statunitensi ha pubblicato sulla prestigiosa rivista scientifica Science quella che in molti hanno definito come una “sveglia” per tutta la comunità dell’intelligenza artificiale. Il gruppo, coordinato da Sendhil Mullainathan della Booth School of Business di Chicago, ha avuto accesso completo all’algoritmo ImpactPro, sviluppato dalla società privata Optum. L’obiettivo dell’algoritmo è individuare le persone che beneficerebbero maggiormente dall’accesso a cure mediche aggiuntive, valutando il rischio individuale di sviluppare in futuro patologie gravi che richiederebbero interventi più complessi e costosi. Per farlo utilizza la storia clinica di ciascun paziente e le corrispondenti spese mediche e prevede le spese mediche future, con l’ipotesi che queste costituiscano una buona approssimazione delle cure necessarie. Ai pazienti per cui sono previsti elevati livelli di spese mediche future, vengono offerte cure speciali, ad esempio vengono inclusi in programmi di screening. Analizzando le previsioni dell’algoritmo relativamente a un campione di pazienti del Mass General Brigham Hospital di Boston, i ricercatori hanno constatato che solo il 18% delle persone nere venivano ritenute bisognose di assistenza. Inoltre a parità di condizione di salute (misurata attraverso il numero di patologie croniche) l’algoritmo assegnava ai pazienti neri un punteggio di rischio sistematicamente più basso rispetto ai bianchi. Il motivo di questi risultati è che l’algoritmo “dimentica” il fatto che le peggiori condizioni socioeconomiche della comunità afroamericana e la sfiducia verso il sistema sanitario hanno storicamente limitato l’accesso alle cure mediche e di conseguenza i livelli di spesa. Questo è confermato dal fatto che le previsioni delle spese mediche elaborate dall’algoritmo sono ugualmente accurate per bianchi e neri. Tuttavia, guardando alle spese mediche di gruppi di persone con lo stesso numero di patologie croniche, gli scienziati si sono accorti che queste sono più basse per i neri rispetto ai bianchi: in media i neri spendono 1800 dollari all’anno meno dei bianchi. I ricercatori hanno poi mostrato che è possibile correggere il sistema perché preveda la condizione di salute dei pazienti piuttosto che le spese. Calcolando in questo modo il punteggio di rischio, la percentuale di persone nere a cui sarebbe stato consigliato di offrire assistenza supplementare sarebbe salita al 47%. Questo studio è particolarmente importante per due ragioni. La prima è che individua un effetto discriminatorio in una classe di algoritmi estremamente diffusa negli Stati Uniti e che media l’interazione di 200 milioni di cittadini con i servizi sanitari ogni anno. La seconda è che propone una soluzione algoritmica al problema. È importante sottolineare che questo è possibile solo perché gli autori dello studio hanno avuto accesso completo all’algoritmo, potendo analizzare i dati storici su cui il modello di previsione viene calibrato, le informazioni necessarie per elaborare le previsioni future, i cosiddetti outcome, ovvero cosa è successo nella realtà, per poter valutare l’accuratezza dell’algoritmo, oltre, ovviamente, al codice che implementa il modello e permette di capire qual è l’obiettivo del sistema – minimizzare i costi per le assicurazioni. Soprattutto, i ricercatori hanno avuto accesso alle informazioni sull’etnia dei pazienti, un dato rispetto al quale l’algoritmo è cieco. Questo tipo di analisi non è quasi mai possibile, visto che si tratta di software proprietari coperti da segreto industriale. Inizialmente Optum ha accolto lo studio positivamente, ma quando il movimento Black Lives Matter ne ha aumentato la visibilità mediatica, ha cominciato a fare passi indietro. Secondo quanto riporta STAT News in una inchiesta dello scorso ottobre, la società ha recentemente dichiarato che non ha intenzione di apportare modifiche ai propri software precisando che questi producono molte altre misure di rischio oltre a quella basata sui costi futuri e che i problemi messi in luce dai ricercatori sono limitati al caso del Mass General Brigham Hospital che ne fa un uso improprio. Eppure, sottolinea STAT News, nessuna delle società che commercializza questo tipo di sistemi mette in guardia i potenziali clienti dal rischio di discriminazione razziale che il loro utilizzo comporta. «Algoritmi progettati male possono creare discriminazione ma se ben costruiti essi possono porre rimedio ai pregiudizi che hanno gli esseri umani», ha dichiarato Mullainathan intervenuto durante lo STAT Health Tech Summit a settembre dello scorso anno, aggiungendo che curare i pregiudizi delle persone è fondamentale, ma comporta un cambiamento culturale molto lungo da realizzare. Nel frattempo gli algoritmi possono essere progettati per mitigare questi fenomeni. Che gli algoritmi possano avere un ruolo positivo, lo dimostra anche un altro studio pubblicato all’inizio dell’anno su Nature Medicine. Questa volta si tratta di un sistema di machine learning che analizza le immagini radiografiche del ginocchio. I ricercatori hanno mostrato che questo sistema, basato su una rete neurale profonda, è in grado di spiegare la differenza nel dolore riportato da pazienti neri e pazienti bianchi che soffrono di artrosi del ginocchio meglio dei sistemi di classificazione normalmente usati in ambito clinico e basati sulle linee guida elaborate da radiologi esperti. In generale le comunità svantaggiate, per etnia, reddito e livello di istruzione, lamentano livelli di dolore più alti, e l’artrosi del ginocchio non fa eccezione. «Finora erano state formulate due ipotesi: che questa differenza fosse spiegata da fattori esterni al ginocchio, per esempio il livello di stress o altre condizioni socioeconomiche che rendessero meno tollerabili condizioni fisiche equivalenti, oppure da caratteristiche interne al ginocchio che però non erano rilevate nella lettura delle radiografie da parte dei tecnici», ha spiegato la principale autrice dello studio Emma Pierson, che ha appena concluso un dottorato in computer science a Stanford ed è ora post-doc a Microsoft Research. La diversità nelle etnie incluse nel campione dei dati su cui la rete neurale è stata “allenata” è fondamentale, ha spiegato Pierson. «Se dal campione eliminiamo le radiografie delle persone nere, la capacità dell’algoritmo di spiegare il dolore riportato dai pazienti sulla base delle immagini diminuisce sensibilmente» e ha aggiunto «la raccolta di campioni di dati più rappresentativi delle minoranze è fondamentale per evitare che questi sistemi replichino su vasta scala le disuguaglianze strutturali della nostra società». La pandemia da COVID-19 ha esposto di nuovo queste disuguaglianze: le comunità afroamericana e latinoamericana negli Stati Uniti hanno registrato tassi di infezione e mortalità molto più elevati di quella bianca. I fattori che spiegano questa disparità sono molti, dalla maggiore necessità di uscire di casa per andare a lavorare a una minore qualità delle cure mediche ricevute e una maggiore incidenza di patologie, come pressione alta, obesità e diabete, che aumentano il rischio di sviluppare forme gravi della malattia. Tuttavia, per studiare in dettaglio le dinamiche sottostanti e promuovere interventi politici è fondamentale, ancora una volta, raccogliere dati. Per questo ad aprile del 2020 Data For Black Lives ha organizzato un sistema di raccolta dei dati del contagio divisi per etnia, estraendoli dai siti dei diversi stati americani dove questi numeri sono disponibili in forma poco omogenea e sistematizzata, con l’obiettivo di permettere un’analisi accurata e rigorosa.