Codici trasparenti per spiare vite altrui

Il comune di New York creerà una commissione per analizzare gli algoritmi utilizzati dagli uffici comunali nell’erogazione dei propri servizi alla ricerca di possibili discriminazioni in materia di genere, età, religione o cittadinanza. La commissione dovrà esaminare tutti gli algoritmi in uso e decidere per ciascuno di essi cosa rendere pubblico nell’interesse dei cittadini, e quali discriminazioni esso nasconda. La legge che istituisce la task force è stata appena approvata dal consiglio comunale su iniziativa del consigliere democratico James Vacca ed attende la convalida (scontata) da parte del sindaco de Blasio. La città di New York intende così applicare il concetto di «responsabilità degli algoritmi»: le procedure (in gran parte informatiche) che aiutano individui, aziende e istituzioni a prendere decisioni, infatti, dietro l’apparente oggettività nascondo orientamenti politici che hanno conseguenze reali.

LA PAROLA ALGORITMO ha assunto una connotazione generalmente negativa, come sinonimo di una tecnologia minacciosa che controlla le nostre vite. In realtà, il vocabolo di origine arabo indica una qualsiasi sequenza di istruzioni utili a raggiungere uno scopo: la ricetta dell’amatriciana, ad esempio, o le istruzioni dei Lego sono esempi di algoritmi nient’affatto minacciosi. Il problema nasce con la diffusione dei computer, che grazie alla velocità di esecuzione degli algoritmi e alla quantità di dati analizzati nascondono le procedure. Quando, ad esempio, avviamo una ricerca su Google, ignoriamo o quasi le innumerevoli valutazioni statistiche e logiche che avvengono sui server di Google, cioè l’«algoritmo» che il motore di ricerca segue.

Eppure, ogni algoritmo incorpora gli errori e le approssimazioni introdotte del suo (umanissimo) autore, e spesso hanno conseguenze molto poco «virtuali». A New York se ne sono accorti soprattutto gli imputati di crimini violenti sotto processo. Dal 2006, infatti, la polizia scientifica della città utilizza un sistema bioinformatico denominato Forensic Statistical Tool che, a partire dagli elementi biologici rinvenuti sulla scena del crimine, fornisce la compatibilità tra le caratteristiche etniche di genere dell’imputato e quelle del presunto colpevole. Dopo un’inchiesta del New York Times e del sito di giornalismo investigativo ProPublica, gli errori del software (il 30% dei casi, con un gran numero di innocenti condannati) sono diventati di pubblico dominio e hanno obbligato la polizia scientifica a cessare l’utilizzo e a rendere pubblico il codice informatico dopo averne cessato l’utilizzo. La legge sulla responsabilità degli algoritmi nasce all’indomani di quello scandalo, ma si applicherà ad un insieme di algoritmi molto più ampio.

Il sistema giudiziario statunitense, ad esempio, fa largo uso di algoritmi automatici per decidere se un imputato merita la libertà condizionale o se un bambino subisce maltrattamenti. Ma a New York come nelle nostre città, il rapporto tra cittadini e istituzioni pubbliche e private è spesso regolato da algoritmi. Sono loro, ad esempio, a stabilire l’assegnazione degli insegnanti alle scuole, a regolare le prenotazioni telefoniche degli esami medici o a far scattare i controlli sulle assenze dei dipendenti.

OGNUNO DI ESSI può contenere, anche all’insaputa dell’autore, meccanismi discriminatori. Ad esempio, se in passato le professioni qualificate sono state appannaggio soprattutto degli uomini è possibile che un motore di ricerca tenga conto della correlazione statistica (ma non della sua origine discriminatoria) e invii alle utenti proposte di lavoro meno qualificate. In questo modo, la discriminazione tende a riprodursi. Non si tratta di un esempio teorico, ma dei risultati di una ricerca della Carnegie Mellon University del 2015, a cui si possono affiancare decine di studi simili giunti agli stessi risultati. In città sempre più smart, la nuova norma introdotta a New York potrebbe fare scuola, anche se molti osservatori dubitano del suo reale impatto. La norma, ha osservato la giurista Julia Powles sul New Yorker, in una prima versione prevedeva che gli algoritmi usati dalle agenzie pubbliche fossero resi noti in formato open source, dando a tutti la possibilità di capire quali procedure seguano.

Tuttavia, quest’obiettivo è stato abbandonato in favore di una versione più blanda della legge. Le aziende che forniscono servizi agli enti locali, infatti, non avrebbero accettato di rendere pubblici i loro codici, perché il loro fatturato si basa in gran parte sulla proprietà intellettuale e sulla vendita di licenze. Per non parlare dell’uso dei dati personali degli utenti. E senza cooperazione delle aziene fornitrici è difficile assicurare trasparenza.

Se nemmeno New York è in grado di usare il suo potere contrattuale in cambio dei preziosi dati sui suoi abitanti, figuriamoci cosa potrebbero fare i malandati enti locali nostrani. Eppure, la legislazione europea in materia contiene spunti interessanti. Dal prossimo maggio, entrerà in vigore il «Regolamento generale per la protezione dei dati» sviluppato dalla Commissione Europea e che non necessita di alcuna ratifica nazionale. L’articolo 15, ad esempio, sancisce il diritto di conoscere «l’esistenza di un processo decisionale automatizzato» e «informazioni significative sulla logica utilizzata, nonché l’importanza e le conseguenze previste di tale trattamento per l’interessato»; l’articolo 22, invece, garantisce il diritto a «non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato». Tuttavia, alla norma si può derogare con il «consenso esplicito dell’interessato». Basta osservare il nostro comportamento online per capire che il «consenso esplicito» spesso si limita ad un clic frettoloso.

E allora, secondo i giuristi, il vero argine all’irresponsabilità degli algoritmi può derivare dalla loro leggibilità, cioè dalla capacità dei cittadini su cui si applica l’algoritmo di comprendere i dati che esso utilizza e i metodi utilizzati per analizzarli. Il «Regolamento generale» europeo mette i cittadini in condizione di pretendere la leggibilità degli algoritmi, secondo quanto hanno scritto sull’ultimo numero della rivista “International Data Privacy Law” Gianclaudio Malgieri (Libera università di Bruxelles) e Giovanni Comandé (Scuola S. Anna di Pisa). Tuttavia, il segreto industriale, come a New York, potrebbe limitare l’applicazione del regolamento, ammettono i ricercatori. Altri, più pessimisti, ritengono che le norme non basteranno. Ma ormai la questione sembra sul tavolo e la decisione del comune di New York, nonostante tutto, rappresenta un segnale importante.

LA RESPONSABILITÀ degli algoritmi potrebbe ravvivare il dibattito sull’utilizzo delle tecnologie informatiche open source nella pubblica amministrazione. Almeno in teoria, le pubbliche istituzioni avrebbero dovuto muoversi in questa direzione già dalla direttiva Stanca del 2000. Eppure, le cose vanno tuttora a rilento. Finora, la direttiva è stata motivata soprattutto dalle esigenze di risparmio dello stato, poiché i software open source sono per lo più gratuiti. Le politiche di marketing delle grandi aziende informatiche (Microsoft in testa) e la diffusione della pirateria persino negli uffici pubblici hanno neutralizzato in gran parte questa esigenza. Ora la questione della trasparenza degli algoritmi aumenta la posta in gioco, portando la questione su una dimensione politica inedita e decisamente più interessante.