Come i big data aumentano la disuguaglianza e minacciano la democrazia
Sarah Wysocki è un’insegnante di prima media e non dovrebbe avere alcuna ragione di preoccuparsi. Da un paio di anni lavora alla MacFarland Middle School ed è già molto apprezzata dal dirigente scolastico e dai genitori degli alunni. Tuttavia, alla fine dell’anno scolastico, riceve inaspettatamente una comunicazione di licenziamento, il nuovo algoritmo di valutazione IMPACT l’ha collocata nella parte inferiore della curva di analisi. Come è potuto accadere? Perché l’algoritmo ha potuto prevalere sui giudizi positivi della dirigenza scolastica e della comunità? Come è possibile che una brava insegnante sia valutata in modo così negativo? I fattori che concorrono all’apprendimento e all’insegnamento sono numerosi e complessi, non è possibile misurarli tutti, pertanto ogni modello matematico ne predilige alcuni. Gli sviluppatori di IMPACT hanno scelto di valutare la qualità degli insegnanti basandosi sul miglioramento dei voti degli alunni rispetto agli anni precedenti. Un modello distorto che penalizza chi, come Sarah, assegna i voti sulla base dei risultati reali degli allievi e valorizza invece chi, come gran parte dei colleghi premiati, tende a gonfiarli.
La vicenda di Sarah è una delle numerose testimonianze dell’uso distorto dei nuovi strumenti matematici che Cathy O’Neil documenta nel suo saggio “Armi di distruzione matematica. Come i big data aumentano la disuguaglianza e minacciano la democrazia”, edito da Bompiani.
O’Neil è una nota matematica americana, ha scritto autorevoli saggi sulla scienza dei dati e ideato il blog “mathbabe.org”. Dopo gli studi ad Harvard, ha operato dapprima in ambito accademico, presso il Mit e il Barnard College di New York, per approdare poi, in qualità di analista quantitativa, in uno dei principali Hedge Fund internazionali e, come Data Scientist, nel settore dell’e-commerce. E’ questa esperienza professionale non accademica, svolta lungo gli anni successivi alla crisi finanziaria del 2007, che l’autrice rievoca nel suo libro, ricostruendola come una progressiva presa di coscienza degli effetti sociali delle nuove applicazioni della matematica.
“Un viaggio nella disillusione”, come lo definisce O’Neil, un contatto disorientante con una realtà ben diversa da quella immaginata da studiosa, una rivelazione che porta l’autrice a impegnarsi attivamente per una maggiore equità e trasparenza dei nuovi strumenti matematici. “Cosa può fare un matematico non accademico per rendere il mondo un posto migliore?” è la domanda che motiva il nuovo percorso di Cathy O’Neil e ispira la stesura di “Armi di distruzione matematica”. Come preannuncia il titolo, il saggio è un’analisi critica di una concezione spregiudicata dell’economia dei dati, una denuncia dell’utilizzo perverso degli algoritmi predittivi e dei pregiudizi che si annidano nei sistemi automatizzati di supporto alle decisioni. Una riflessione sul potenziale distruttivo delle nuove applicazioni della matematica, descritta attraverso aneddoti ed illustrata con una scrittura brillante e convincente, fruibile anche per il lettore che si accosta all’argomento e ricca di spunti d’interesse per gli esperti della materia. Un testo divulgativo e, al tempo stesso, un’indagine ben documentata degli aspetti etici, sociali, economici e tecnologici delle applicazioni più innovative della matematica di oggi.
Con una serie efficace di esempi, O’Neil mostra come la scienza dei dati stia oggi orientando le decisioni degli esseri umani in ambiti applicativi sempre più vasti: valutazione del personale docente nella scuola pubblica; selezione delle candidature per un posto di lavoro; avanzamenti di carriera; concessione di mutui e valutazione dell’affidabilità creditizia; premi assicurativi; transizioni finanziarie; ricerca di informazioni in rete e offerte promozionali personalizzate; strumenti per la predizione dei crimini da parte delle forze di polizia; modelli di attribuzione del rischio di recidiva adottati nei giudizi penali. Algoritmi valutativi e predittivi – tanto efficaci quanto incontrollati – “giudicano insegnanti e studenti, vagliano curricula, stabiliscono se concedere o negare prestiti, valutano l’operato dei lavoratori, influenzano gli elettori, monitorano la nostra salute”. Strumenti matematici che l’autrice provocatoriamente definisce, con un acuto gioco di parole, “Weapons of Math Destruction” (WMD).
Il primo tratto che descrive un’arma di distruzione matematica è la sua capacità di danneggiare le persone. La possibilità che un algoritmo possa generare conseguenze gravi sulle nostre esistenze, in momenti cruciali del nostro percorso di vita: nelle assunzioni, negli avanzamenti di carriera, nell’accesso al credito, alle cure e all’educazione. Sebbene basate su quantità enormi di dati e osservazioni statistiche di interi settori sociali, le conseguenze drammatiche delle decisioni degli algoritmi gravano soprattutto sui singoli individui, in particolare su quelli più svantaggiati.
L’impatto negativo sulla vita delle persone è reso ancora più critico dalla mancanza di trasparenza delle WMD. Una opacità riconducibile talvolta all’esigenza di tutelare un segreto industriale, ma più spesso alla complessità intrinseca delle WMD che le trasforma in vere e proprie “black box”, impenetrabili anche per gli sviluppatori e per gli esperti del settore. Oscurati da questa scarsa trasparenza, all’interno delle WMD si annidano frequentemente bias e meccanismi di distorsione, talvolta generati dalla parzialità del set di dati raccolti, altre volte causati dai pregiudizi umani – consapevoli o meno – degli sviluppatori.
Ma ciò che rende una WMD davvero temibile è la sua scalabilità. La valutazione negativa di un algoritmo calcolata in un ambito circoscritto può venire estesa ad altri contesti, portando ad escludere una persona in settori sempre più ampi della vita sociale. Un fenomeno che accade, per esempio, quando le stime di inaffidabilità creditizia vengono considerate altrettanto predittive di inaffidabilità professionale in un colloquio di lavoro, limitando di fatto la possibilità di ottenere un’occupazione a chi si trova in condizioni di disagio economico, creando spirali di esclusione da cui è sempre più difficile venire fuori.
Per queste ragioni, a giudizio dell’autrice, le WMD consolidano le opportunità delle persone con status sociale più alto e danneggiano invece chi si trova in situazioni svantaggiate. L’illusoria neutralità dell’algoritmo nasconde così una profezia che si autoavvera, finendo con l’ammantare di una connotazione naturale le disuguaglianze.
Occorre quindi prendere consapevolezza dei rischi che corriamo nel ritenere i big data e gli algoritmi portatori di obiettività intrinseca. Come ci ricorda l’autrice, i modelli matematici applicati alle dinamiche sociali inglobano sempre la soggettività degli sviluppatori e dei committenti. Dietro la presunzione di oggettività degli algoritmi predittivi, riscontriamo spesso logiche di sviluppo dove l’efficienza dei processi di calcolo viene preferita ai criteri di equità e neutralità.
Le WMD operano con modalità tanto efficienti quanto difficilmente controllabili, possono generare iniquità senza motivazioni apparenti e per la loro natura plasmano la società seguendo la prospettiva perversa che il futuro sia deducibile dal passato. “I processi basati sui Big Data codificano il passato. Non inventano il futuro, cosa per la quale occorre la percezione che solo l’uomo possiede. Dobbiamo esplicitamente inglobare valori più nobili nei nostri algoritmi, creando modelli basati sui Big Data che seguano la nostra guida etica. E talvolta questo comporta di dover anteporre l’equità al profitto”.
Solo perseguendo una prospettiva etica possiamo introdurre negli strumenti matematici la corretta contestualizzazione, gli aggiustamenti e i vincoli necessari per garantire i diritti e la tutela delle persone che rischiano di essere discriminate. Altrimenti corriamo il rischio di provocare conseguenze sociali negative senza aver prima predisposto i correttivi necessari. Danneggiando le fasce più svantaggiate, meno influenti sul piano economico e politico, mettiamo in moto spirali di esclusione che si autoalimentano. Un processo aggravato dalla straordinaria efficienza che le WMD mostrano nell’applicare in modo instancabile e inesorabile i pregiudizi che incorporano in sé. Per questo è bene definire in modo chiaro i limiti che i nuovi strumenti matematici dovrebbero avere: “Prima di chiedergli di fare di meglio, dobbiamo prendere atto che non possono fare tutto».
Il libro di Cathy O’Neil è una esortazione a prendere coscienza del potere che gli algoritmi esercitano oggi nella società, della propensione della matematica a porsi come un linguaggio pervasivo di descrizione della realtà sociale, della tendenza ad utilizzare modelli di calcolo per plasmare profondamente le dinamiche delle comunità.
Gli algoritmi basati su modelli matematici di realtà sociali complesse, avverte l’autrice, “sono costruiti non soltanto sulla base delle informazioni ma anche delle scelte che facciamo a proposito di quali dati utilizzare, a quali prestare attenzione, quali escludere. Queste scelte non sono riconducibili a semplici questioni logistiche, di profitto e di efficienza. Sono essenzialmente morali. Se ci tiriamo indietro di fronte a queste e trattiamo i modelli matematici come se fossero una forza neutrale e inevitabile, come il tempo atmosferico o le maree, abdichiamo alla nostra responsabilità”.
__
SCHEDA DEL LIBRO
Titolo: Armi di distruzione matematica
Autori: Cathy O’Neil
Editore: Bompiani
Anno edizione: 2017
