Nella prima puntata della terza serie di Black Mirror una giovane donna in un futuro tanto sorridente quanto distopico si affanna a migliorare la propria reputazione in un mondo che valuta in una scala da uno a cinque ogni interazione tra le persone. Tutti possono esprimere un voto e conoscerti per nome, persone incontrate per caso o colleghi di lavoro e vecchie compagne di scuola ritrovate. Ma tutto si complica con l’invito al matrimonio dell’amica quando l’ambiziosa protagonista innesca una spirale negativa che la condurrà in fondo alla scala del gradimento. Eppure solo allora riesce, sia pure in un contesto tragico, a manifestare la propria libertà e a lasciare che la propria individualità sia accolta almeno da se stessa.
Il libro di Cathy O’Neil Mezzi di distruzione matematica (Bompiani, pp. 368, euro 18) offre una descrizione agghiacciante eppure molto sobria di quello che sta accadendo al nostro mondo intrappolato negli strumenti per misurare matematicamente e quotare qualsiasi attività. Il futuro distopico illustrato in Black Mirror non sembra più tanto lontano.
Il volume già recensito all’uscita in inglese (il manifesto 9 novembre 2016) affronta il tema dei metodi di valutazione quantitativa e di come questi rischino di attivare spirali negative in quegli stessi fenomeni che vorrebbero limitarsi a descrivere attraverso la datificazione, l’ambito ormai noto come Big Data.

CATHY O’NEIL è una ex analista quantitativa della finanza che aveva lavorato per una delle principali società americane di Hedge Fund, ha scoperto, suo malgrado, che i numeri a cui era tanto appassionata producevano delle conseguenze gravissime sugli esseri umani. Ora lancia un grido di allarme sui rischi che questi strumenti matematici usati in modo sregolato e incontrollato possono avere per la società.
I campi di cui si occupa nel libro vanno dalla ricerca di un lavoro, ai sistemi di valutazione per accettare gli studenti all’università, dalle tecniche per valutare le richieste di un prestito (gli e-scores) a quelle per quantificare il premio dell’assicurazione, dal calcolo della pericolosità delle zone della città, fino al metodo per profilare gli utenti nelle campagne pubblicitarie durante le competizioni elettorali. I mezzi di distruzione matematica, come li chiama lei, attraversano quindi tutti i campi della società e minacciano di modificarne le regole in maniera nascosta, ma non meno durevole o distruttiva.
Il nodo centrale è quello della misurabilità dei fenomeni. Nello sport per esempio si usano le statistiche per valutare gli atleti, che vengono costantemente monitorati. Nel caso dello sport la misurabilità è giustificata dal fatto che si tratta di prestazioni atletiche e l’obiettivo è sempre molto chiaro: vincere le gare. Anche nello sport assistiamo alla proliferazione della datificazione che trasforma le persone in una successione di tracce, ognuna delle quali è usata come un voto sull’atleta. Tuttavia il problema si apre a nuove e più gravi conseguenze quando il progetto della valutazione automatica riguarda la misurazione di altre professioni, come i professori delle scuole.

VALUTARE IL LAVORO dei docenti ai fini di un automiglioramento del loro operato e di una riorganizzazione del loro lavoro può essere utile, ma scegliere di analizzare la didattica usando solo dei parametri misurabili, avendo come obiettivo il licenziamento di quelli i cui punteggi non siano elevati, è una vera assurdità. O’Neil mostra, facendo valere le sue competenze di esperta matematica, come le statistiche che usano i voti degli studenti prima e dopo l’anno scolastico, adottate nei programmi statunitensi, dato il piccolo numero di studenti di ogni classe, non possono in alcun modo arrivare a misurare le capacità dei docenti.
L’altro sistema di valutazione che O’Neil prende in esame riguarda la valutazione delle università americane usando parametri di una rivista di secondo piano U.S. News che dall’1988 monitora le prestazioni delle università sulla base di 15 parametri misurabili, costringendo le università a delle vere e proprie corse agli armamenti che includono anche la falsificazione dei dati.
Come suggerisce l’autrice, non potendo misurare «l’apprendimento, la felicità, la fiducia, le amicizie» degli studenti durante la vita universitaria questi parametri misurano tutt’altro, come la quantità di fondi ottenuti da ex allievi, il tasso di studenti che vengono respinti dall’università, il numero di studenti che si laureano in corso, o quello degli studenti impiegati a otto mesi dalla laurea. Migliorare il livello di questi parametri non significa perfezionare la qualità dell’insegnamento o dell’offerta formativa. Si tratta di attivare processi di reverse engineering per ottenere la salita in graduatoria, e la maggior parte delle attività che si mettono in atto, poco o nulla hanno a che fare con la qualità reale dell’università.

DAI PARAMETRI, inoltre, viene escluso il costo della retta universitaria, creando così l’ingiusta presupposizione che per avere una vita lavorativa di successo sia necessario investire una grande quantità di denaro, anche a prezzo di contrarre gravi debiti. I numeri non sono la realtà delle università e non tutti considerano importanti le stesse variabili. La spirale dell’eccellenza definita come un parametro oggettivo, conduce a un’erronea considerazione delle università da studenti e famiglie. O’Neil ritiene che la misurabilità, considerata oggettiva, venga percepita a torto come un giudizio univoco su un fenomeno, sebbene sia tutt’altro che dimostrato.

L’USO DELLA MATEMATICA per definire valori impalpabili e non misurabili costringe la realtà dentro i parametri ed esclude la possibilità di guardare il fenomeno da prospettive differenti per ogni studente. Purtroppo il problema sollevato da O’Neil per le università americane è una piaga sempre più grande anche nei nostri atenei dove la corsa all’identificazione delle istituzioni di eccellenza drena risorse e trasforma il sistema in maniera da renderlo sempre meno equo e inclusivo.
Le armi di distruzione matematica corrono il rischio di attivare pregiudizi e categorizzazioni penalizzanti per le persone, il contrario di quello che in teoria si prefiggono. Questi strumenti, pur presentandosi come impersonali, sono il frutto degli interessi di chi li costruisce e si propongono di ottimizzare l’efficienza anche a costo di perpetrare iniquità e ingiustizia per chi appartiene a categorie deboli come i poveri o i residenti in zone a rischio, o le persone che presentano delle fragilità emotive, ma anche gli afroamericani, i latinos ecc. Allo stesso modo in cui si valutano professori e università, si emettono pericolosi giudizi sulle persone alla ricerca di un prestito, di un lavoro o condannati per un reato commesso.
I processi di progressiva datificazione delle persone e delle loro azioni conduce a trasformarle in tracce mute, le include in categorie, le profila secondo caratteristiche che sono tenacemente nascoste, tranne quando si tratta delle loro conseguenze.

IL PRINCIPIO DEL RAZZISMO è costruire delle ipotesi su una certa categoria e senza controllarle a sufficienza si usano per prendere delle decisioni su qualcuno degli appartenenti alla categoria istituita. Come suggerisce un articolo del 2013 sulla governamentalità algoritmica di Antoinette Rouvroy e Thomas Berns il problema dei falsi positivi non è un vero problema per la normatività algoritmica dei Big Data. Se si cercano frodi, criminali, o terroristi non ha importanza se si commettono degli errori. Gli errori sono riassorbiti nel sistema perché si segue una logica di depistaggio piuttosto che di diagnosi.
La datificazione e la necessità di governare con algoritmi la mole dei dati e le loro correlazioni implica che i metodi matematici facciano questo lavoro per categorizzare e definire pattern informativi sulla probabilità che un individuo agisca in un modo definito dalla sua appartenenza a un gruppo, a una categoria, istituita segretamente. E non è questo forse il principio del razzismo e di ogni valutazione pregiudiziale della realtà?