Big Data e algoritmi, lo stato sociale digitale è una realtà

Non è il malgoverno populista a mettere a repentaglio le democrazie liberali europee. O meglio, non solo. Il 5 febbraio, la corte olandese ha ordinato l’arresto del sistema informatico SyRI (System Risk Indication), utilizzato dal governo per identificare possibili frodi fiscali, con l’accusa di non superare il vaglio della Convenzione europea dei diritti umani, e di mettere troppa pressione a soggetti economicamente vulnerabili.

SVILUPPATO dal Ministero affari sociali olandese, SyRI era in grado di prevedere chi tra i beneficiari del welfare sia più incline a commettere frodi a danno dello stato, dichiarare il falso per ottenere sussidi economici e violare schemi lavorativi che garantiscono l’accesso a certi servizi. I dati dei beneficiari venivano saccheggiati da banche, società recupero crediti e registri abitativi, per sviluppare un grado di sorveglianza «indicato» ai soggetti a rischio frode, e preservare il benessere economico della società.

GLI ORGANI DI GIUSTIZIA statali, su cui si basa l’essenza normativa del liberalismo stesso, fanno sempre più fatica a conciliarsi con la prorompenza della tecnologia, che agisce ormai indisciplinata anche all’interno dello stato sociale. Non vi sono più arene pubbliche che non siano totalmente fuse con la scienza dei dati, ma è nella gestione del welfare che si intravede la deriva di austerità delle democrazie europee.

Lo stato sociale digitale è una realtà, alimentato da innovazioni in campo biometrico (impronte digitali e scansione dell’iride) e fomentato dall’interesse governativo verso un’efficienza automatica e rigorosa. Con la promessa di fornire accuratezza scientifica e riduzione di costi amministrativi, machine learning e algoritmi vengono sovvenzionati in cambio di un accesso privilegiato e sregolato ai nostri dati.

ANCHE LA DANIMARCA ha sperimentato l’intelligenza artificiale per monitorare minori a rischio maltrattamento. Presentato in via sperimentale dall’Alleanza Liberale e congelato dopo le critiche dell’opposizione, il progetto Gladsaxe utilizzava i dati forniti dal sistema centralizzato di welfare per creare un vero e proprio modello di punteggio comportamentale. Gli algoritmi incrociavano il numero di identificazione attribuito alla nascita con i dati raccolti sul nucleo familiare, assegnando ai genitori un punteggio in base a indicatori quali reddito, educazione, divorzio, quartiere di residenza, ritardo dal dentista (300 punti) o dal dottore (1.000 punti), e problemi di salute mentale (3000 punti). Un punteggio anomalo allertava i servizi sociali, che intervenivano per prevenire abusi e procedere all’affido.

Al governo danese era stato concesso di ricorrere a una scappatoia nelle nuove norme europee sui dati digitali per utilizzare i dati raccolti con un unico pretesto per scopi completamente diversi.

LA DIGITALIZZAZIONE del welfare, scrive il relatore Onu Philip Alston, non è maligna in sé, ma si adatta al solco scavato dalle politiche neoliberali che ovunque in Europa hanno tagliato i budget per le politiche sociali, introdotto modelli comportamentali e forme di condizionalità molto rigide, stravolgendo l’idea moderna che lo Stato debba rendere conto all’individuo. Echeggiando il Foucault di Sorvegliare e Punire, Alston scrive che in tempi di austerità digitale i cittadini diventano sempre più visibili ai loro governi, mentre essi svaniscono.

IN QUESTE ZONE D’OMBRA le big tech proliferano. L’avvento del digitale in politica ha permesso al settore privato di appropriarsi di grandi fette di servizi pubblici, come in Germania, Canada e Usa, dove Ibm ha contribuito a informatizzare i sistemi di assistenza sociale (Sams), o Mastercard e Visa che in Sud Africa e Australia distribuiscono i bonifici sussidiari. Il ruolo di queste compagnie è troppo spesso opaco e «sostituisce i legislatori nel determinare le direzioni in cui si muoveranno le società e i valori che guideranno questi sviluppi», scrive Alston.

CON IL WELFARE STATE digitale, tra le numerose criticità, la perdita di interazione umana è sicuramente la più rilevante. I servizi digitali rischiano di eliminare gran parte dell’empatia necessaria per fornire cura e assistenza adeguata, qualità non più indispensabile per resistere all’automazione.

Nel caso danese, i funzionari pubblici che lavorano per individuare abusi su minori e frodi non saranno in grado di capire e spiegare perché un algoritmo ha identificato una famiglia per un intervento precoce o un individuo per un controllo approfondito. Con il progredire del deep learning i processi algoritmici diventeranno solo più incomprensibili per gli operatori sociali, relegati ad affidarsi ai risultati di questi processi, senza un accesso significativo ai dati o alla loro elaborazione.