Kate Crawford e il complesso reticolo di tecnologia e potere

Processi estrattivi, opacità dei sistemi, segreti aziendali e sfruttamento dei lavoratori sono solo alcuni dei «lati oscuri» dell’Intelligenza artificiale. Kate Crawford, ricercatrice presso l’Usc Annenberg di Los Angeles, Senior Principal Reasearcher presso l’Msr di New York, è una delle massime studiose a livello internazionale dell’impatto sociale dell’IA. Il suo Atlas of AI — pubblicato in Italia col titolo Né intelligente né artificiale. Il lato oscuro dell’IA per il Mulino — è stato nominato uno dei migliori libri dal «New Scientist» e dal «Financial Times» nel 2021.

Insieme a Vladan Joler, accademico, ricercatore, cofondatore della Fondazione Share e professore presso il dipartimento New Media dell’Università di Novi Sad, ha ideato Calculating Empires, dittico di mappe che raffigurano il nostro presente tecnologico con uno sguardo al passato.

Sui suoi atlanti sono raffigurate icone, disegni e brevi testi per visualizzare i dispositivi di comunicazione, classificazione, computazione e controllo e illustrare come il potere e la tecnologia siano intrecciati, già a partire dal 1500.

Abbiamo incontrato Kate Crawford in occasione della mostra Calculating Empires: A Genealogy of Technology and Power, 1500-2025, che ha co-curato con Vladan Joler per l’Osservatorio della Fondazione Prada di Milano.

L’artista americano Mark Lombardi ha affermato che le sue opere «cartografano il territorio sociale e politico in cui vive». Lei e Vladan Joler avete fatto molto di più: le vostre mappe iniziano nel 1500 per mostrare le intersezioni tra tecnologia, potere e espressioni culturali. Come è nato il progetto e le mappe di «Calculating empires» che saranno esposte al Kunst-Werke di Berlino nella mostra «Poetics of encryption»?

Calculating Empires è un progetto che descrive cinquecento anni di storia. Abbiamo voluto analizzare il rapporto tra potere e tecnologia e mappare il modo in cui uno modella l’altro, per mostrare i pericoli del potere centralizzato e il controllo sulla soggettività. Nel corso del progetto, per quattro anni, con Vladan Joler ci siamo consultati con studiosi, professori e artisti. Tra questi vorrei ricordare Fred Turner, storico dei media di Stanford, uno dei primi sostenitori del progetto e Bernard Geoghegan, che ha recentemente pubblicato l’affascinante libro Code: From Information Theory to French Theory.

Oltre ai dialoghi con questi studiosi siamo stati influenzati da alcuni progetti storici come Mnemosyne, l’atlante figurativo di Aby Warburg e la mostra Mathematica di Charles e Ray Eames. In modi e tempi diversi, Warburg e gli Eames hanno sviluppato sistemi di rappresentazione visiva per indagare e divulgare idee complesse e narrazioni storiche. Per realizzare Calculating Empires è stato necessario indagare secoli di colonialismo, capitalismo e sviluppo tecnologico. Abbiamo studiato le connessioni tra imperi e contesto sociale perché, come ha affermato lo storico francese Fernand Braudel, «se si vuole comprendere il mondo, bisogna determinare la gerarchia delle forze, delle correnti e dei movimenti individuali, e poi metterli insieme per formare una costellazione complessiva».

Nelle mappe avete visualizzato vari aspetti della struttura sociale, le carceri, la sorveglianza biometrica, il colonialismo, lo sviluppo economico, la pluralità dei sistemi militari, per ricordarne solo alcuni. La relazione tra programmi di IA e lavoro umano è un aspetto importante perché si parla tanto di Intelligenza artificiale generativa e apprendimento automatico, ma non si nominano coloro che istruiscono questi sistemi, che annotano set di dati, in condizione di sfruttamento e sottopagati. Si sa anche molto poco delle donne programmatrici che presero parte alla realizzazione del computer Colossus e di Enigma, elaboratore capace di creare e decrittare messaggi cifrati, nella prima e seconda guerra mondiale. Potrebbe parlarci di questo?

I lavoratori umani sono essenziali nell’IA. Senza milioni di operatori che preparano dati, interagiscono con modelli e testano prodotti, nessuno dei servizi di IA funzionerebbe. Tutto questo lavoro è nascosto dietro sistemi complessi e opachi e interfacce luminose. Al momento gran parte di quella manodopera viene esternalizzata nel sud del mondo, in paesi come Kenya, India e Indonesia. La storia dello sfruttamento del lavoro risale agli albori dell’informatica, come ha dimostrato Mar Hicks nel libro Programmed Inequality How Britain Discarded Women Technologists and Lost Its Edge in Computing, in cui scrive delle prime programmatrici di sistemi come Eniac ed Enigma, che non ricevettero mai il dovuto riconoscimento per il loro impegno. L’industria computazionale dipende da questo tipo di impiego nascosto, sottopagato e invisibile.

Quel libro è importante perché Hicks analizza la tecnocrazia di genere e scrive come la Gran Bretagna abbia perso il suo iniziale dominio in ambito informatico discriminando i suoi lavoratori più qualificati: le donne. Per rimanere in ambito tecnologico, può dirci qualcosa di «Anatomy of an AI system», che è parte della collezione del Moma di New York e del V&A di Londra?

È il primo progetto realizzato con Joler nel 2016. È un diagramma che mostra i dispositivi e i processi necessari per attivare il sistema di IA Amazon Echo. Sono indicati i materiali, i processi estrattivi e i componenti necessari per crearla, per mostrare quanti componenti sono necessari, perché l’automazione arriva sempre a caro prezzo. Nel corso della ricerca abbiamo letto centinaia di brevetti di Amazon. Uno di questi riguardava «Amazon Cage» una gabbia ideata per proteggere i dipendenti dagli automi presenti nei magazzini logistici. È un’immagine davvero scioccante, quella di un lavoratore all’interno di una gabbia per evitare un possibile pericolo. È anche un simbolo di come gli esseri umani diventino secondari rispetto ai sistemi automatizzati.  Quando abbiamo pubblicato la nostra ricerca sui brevetti abbiamo incluso anche un’immagine della gabbia. È diventata subito virale, riportata da diversi giornali, in tutto il mondo. Dopo averla letta l’artista Simon Denny ha realizzato una serie di sculture di carta basate sul brevetto.

Nel vostro lavoro unite ricerca, cartografia e comunicazione visiva per evidenziare i tre processi estrattivi necessari al funzionamento di un sistema di IA, risorse materiali, lavoro umano e dati, che hanno un impatto significativo sull’ambiente. L’IA generativa necessita di enormi quantità di energia, acqua e minerali, oltre alle filiere globali di produzione e distribuzione e la scarsa trasparenza dei brevetti e dei lavoratori…

Durante le fasi di ricerca incontriamo numerose forme di opacità. Questi sistemi rimangono nascosti dietro complessità tecniche, estese reti di comunicazione, codici chiusi e segreto aziendale. Per rivelarli, utilizziamo metodi che vanno dalla ricerca tecnica, alla cyber forensics, all’indagine sui brevetti, alla ricerca sul posto e vari altri metodi di Open-Source Intelligence.  Nonostante la vasta gamma di strumenti e metodologie a nostra disposizione, alcuni di questi sistemi rimangono inaccessibili. Ad esempio, ci sono aspetti dei sistemi di IA o dei processi algoritmici che sono quasi impossibili da decodificare. Ed è questo è il motivo per cui vengono chiamate «scatole nere».