Wendy Hui Kyong Chun, l’algoritmo che discrimina

Fino al 21 aprile si svolge a Torino la Biennale Tecnologia, una manifestazione culturale interdisciplinare originale, dedicata quest’anno alle «Utopie realiste». Tra gli ospiti internazionali, c’è Wendy Hui Kyong Chun (oggi alle 15 in Aula 1 del Politecnico, in dialogo con Isabella Consolati), studiosa critica del digitale, concentrata sul rapporto tra democrazia e tecnologia, controllo e libertà al cuore della rivoluzione digitale. Ha la cattedra di ricerca sui new media alla Simon Fraser University in Canada. Ha studiato sia ingegneria dei sistemi, sia letteratura inglese. I suoi libri rappresentano un punto di riferimento per la critica delle piattaforme, del software, delle interfacce e dell’intelligenza artificiale (IA).

Il suo lavoro rigoroso e militante è orientato a proteggere le pratiche della vita sociale da processi di validazione della conoscenza affidati solo ai dati. Le pratiche genealogiche ci possono liberare da quella tendenza dell’intelligenza artificiale a produrre illusorie previsioni del futuro che agiscono come prescrizioni discorsive appoggiate su programmi, il cui obiettivo è costruire categorizzazioni sociali definite da attributi arbitrari. In questo contesto interpretativo le preferenze sono conseguenza dell’appartenenza a gruppi identitari e il passato è proiettato sul futuro, assumendo la stabilità del mondo, senza considerare la molteplicità, variabilità e imprevedibilità delle situazioni concrete. Agire il cambiamento significa essere abilitati a immaginarlo.

La mappatura concettuale della rete offerta da Chun ha l’ambizione di proteggere lo spazio per intervenire, per pensare l’azione politica a tutela della giustizia e per liberare l’immaginario a difesa di un futuro non colonizzato dalle scelte del passato che dominano la razionalità dell’intelligenza artificiale. Queste sono le sue risposte.

Il titolo della sua lezione alla Biennale Tecnologia di Torino è «Dati che discriminano: come gli algoritmi stanno trasformando le relazioni sociali». Ce la può illustrare?
Gli algoritmi alterano le strutture sociali attraverso l’omofilia. L’omofilia – il principio che la similarità porti connessioni, che chi si assomiglia si piglia, che le persone simili amino le stesse cose – è il fondamento dei sistemi di raccomandazione e della maggior parte delle analisi di rete. Le camere dell’eco non sarebbero un errore, ma un obiettivo.
I ricercatori di solito spiegano l’omofilia come un fenomeno naturale, attraverso la segregazione nelle città americane, ma i collegamenti tra omofilia e segregazione residenziale degli Stati Uniti sono profondi e problematici. L’origine del termine deriva dagli studi post Seconda Guerra Mondiale sulla segregazione residenziale nei progetti abitativi birazziali.
L’omofilia è stata inventata per descrivere l’iperselezione tra i bianchi liberali come amici stretti e quella tra bianchi illiberali come amici nei progetti abitativi in Pennsylvania (si considerava liberale chi pensava che il progetto dovesse essere birazziale, e che le razze potessero convivere; illiberale chi era contrario alla convivenza). Per ottenere questo risultato, tuttavia, i ricercatori ignorarono la maggior parte delle risposte del sondaggio: tutte quelle dei residenti neri e quelle dei bianchi ambivalenti, la maggioranza dei bianchi residenti. La maggior parte dei residenti neri supportava i progetti birazziali perché per la prima volta, accedevano a una buona soluzione abitativa allo stesso costo degli Americani bianchi, mentre prima pagavano affitti più alti per abitazioni inadeguate. La riduzione di tutto a una scelta individuale è classica del neoliberalismo.

Eppure, Facebook e le altre piattaforme continuano a sostenere l’omofilia come principio. Come si spiega?
L’omofilia era giustificata come naturale perché le persone simili si sentirebbero più al sicuro insieme. Come invece ha dimostrato, tra gli altri, Frances Haugen, una delle gole profonde di Facebook, è vero l’opposto. Più un feed è ristretto ad amici e parenti più il flusso diventa rabbioso. Questo ha senso perché la somiglianza è anche repulsiva. Online questi cluster agitati appoggiati a una confortevole rabbia sono tenuti insieme come perline di una collana dall’odio per il nemico comune, formando una maggioranza arrabbiata in cui ognuno ritiene di essere una minoranza stigmatizzata. Le maggioranze ora si formano non come gruppi che si identificano in norme generali, ma attraverso il processo che chiamo di «egemonia inversa» nel quale gli individui – anche quando sono raggruppati insieme – non formano un noi ma un pulsante gruppo di tu o voi (in inglese è lo stesso pronome, ma quando è inteso al plurale insiste sempre sulle identità individuali).

Ci può sintetizzare la sua analisi sulla genealogia di omofilia e correlazioni – concetti usati nell’intelligenza artificiale – a partire dalle tesi eugenetiche di Francis Galton del XIX secolo, adottate poi nelle politiche segregazioniste degli Stati Uniti del XX secolo?
L’eccitazione sui Big Data, di cui da dieci anni non riusciamo a liberarci, è concentrata sulle correlazioni. Chris Anderson, all’epoca direttore di Wired, argomentava che non avremmo più avuto bisogno del metodo scientifico o di una teoria causale perché avevano le correlazioni, cioè il modo migliore per predire il futuro.
La celebrazione della correlazione stranamente ripeteva affermazioni che erano state fatte dai sostenitori delle teorie eugenetiche un secolo prima, visto che secondo loro si potevano tracciare le correlazioni tra variabili (come tra livello di criminalità dei genitori e quello dei figli). Così avrebbero potuto comprendere la natura umana per allevare umani migliori. Sappiamo che è andato tutto storto. Secondo questa logica quello che si poteva correlare attraverso le generazioni era natura, il resto riguardava invece la cultura. Perciò ritennero che l’educazione, la diminuzione delle ore di lavoro eccetera fossero solo una perdita di soldi dal momento che i benefici si sarebbero limitati alla generazione presente. Il punto non è che le correlazioni non esistano o che tutti quelli che le usano siano seguaci dell’eugenetica.
Piuttosto che se il futuro sembra così vicino adesso, è in parte perché questi programmi usano un metodo per far coincidere il futuro con un passato che sembra essere immutabile. Le correlazioni sono distruttive non perché rendono possibili futuri ignoti, ma perché distruggono la possibilità di un futuro imprevedibile.

Che ne pensa dei sistemi di «machine learning» di maggior successo come il riconoscimento facciale e l’intelligenza artificiale generativa?
Se consideriamo le tecnologie per il riconoscimento facciale che sono addestrate su dataset incompleti o pregiudiziali, come le celebrità di Hollywood, la loro base di verità – ciò che cercano di riprodurre – è una versione del passato profondamente falsa. Anche i modelli di intelligenza artificiale generativa mainstream sono considerati inquietanti o di successo a seconda del livello di plausibilità dei loro risultati, cioè se si adeguano bene alle aspettative e alle esperienze passate. Sono simili, eppure diversi.
Nel cercare un modo diverso di immaginare l’uso delle previsioni lei fa riferimento ai modelli di cambiamento del clima. Perché quelle proiezioni sono più interessanti e meno costrittive?
I modelli del cambiamento climatico cercano di mostrarci il futuro più probabile se continuiamo ad agire nello stesso modo. Non prendiamo queste previsioni come uno specchio del futuro. Se crediamo in questi modelli, agiamo perché le loro previsioni non si realizzino. Il divario tra le ipotesi sul futuro e la nostra situazione è lo spazio per l’azione politica. Amazon, per esempio, ha smesso di usare un programma di reclutamento basato sull’IA perché discriminava le donne.
Invece che abbandonare i singoli sistemi fallaci, perché non li usiamo come prove e come base per agire diversamente? Questo programma avrà informato tutte le decisioni di reclutamento di Amazon prese in un certo periodo. Potremmo ringraziarlo perché ci ha documentato in modo accurato la loro forma di discriminazione.

Può parlarci del suo ruolo come direttrice e fondatrice del Digital Democracies Institute alla Simon Fraser University?
La democrazia riguarda le frizioni, l’antagonismo e il dissenso. Non è benefico se non c’è contestazione – perché ognuno ripete le stesse cose – né se l’obiettivo è silenziare ed escludere l’altro. Stiamo modellando i conflitti online per vedere quando conducono a scambi conflittuali, con l’aiuto di Matt Canute, il nostro data scientist. Stiamo anche sviluppando «data fluencies», un progetto multigenerazionale e interdisciplinare per reimmaginare, elaborare e resistere in modo critico al nostro mondo pieno di dati.