In het boek “In de schaduw van AI” beschrijft Madhumita Murgia haar ontdekkingstocht door de wereld van digitale data en kunstmatige intelligentie. Het begint met haar ervaring als jonge journalist, toen ze onderzoek deed naar cookies en datahandel, en laat zien hoe AI is voortgekomen uit de big data-industrie en invloed heeft op vele aspecten van ons dagelijks leven. Murgia hoopt dat de verhalen in haar boek mensen wakker schudt en laat nadenken over onze relatie met AI-technologie.

Het boek is opgedeeld in tien hoofdstukken, elk gericht op een specifiek aspect van ons leven dat door AI wordt beïnvloed. Voor wie er niet aan toekomt om het boek helemaal te lezen, een uitgebreide samenvatting per hoofdstuk:

H1. Je levensonderhoud

Het eerste hoofdstuk schetst een indringend beeld van de mensen achter de schermen van de AI-industrie, met name de datawerkers die zorgen voor de data die cruciaal is voor het ontwikkelen van AI-systemen.

Murgia spreekt verschillende datawerkers, waaronder Ian Koli en Benjamin Ngito uit Nairobi, Kenia, die voor het bedrijf Sama werken. Zij labelen beelden voor zelfrijdende auto’s en andere AI-toepassingen. Het werk biedt hun een kans om uit de armoede te ontsnappen, maar roept ook vragen op over de arbeidsomstandigheden en de verdeling van de winsten in de AI-industrie.

Murgia spreekt ook vluchtelingen zoals Hiba Hatem Daoud en Ala Shaker Mahmoud in Sofia, Bulgarije, die via het bedrijf Humans in the Loop datawerk verrichten en zo in staat zijn een nieuw bestaan op te bouwen.

Murgia gaat in op de ethische dilemma’s rond datawerk, zoals de lage lonen, beperkte autonomie van werkers, en de kloof tussen de waarde die zij creëren en hun beloning. Er worden parallellen getrokken met eerdere vormen van uitbesteding in de globaliserende economie. Murgia onderzoekt de rol van bedrijven als Sama en Humans in the Loop, die stellen kansen te bieden aan gemarginaliseerde groepen, maar ook worstelen met de druk om concurrerend te blijven in de industrie.

H2. Je lichaam

In het tweede hoofdstuk richt Murgia zich op de problematiek van deepfakes en de impact ervan op met name vrouwen.
My Blonde GF: a disturbing story of deepfake pornography (The Guardian)

Het hoofdstuk begint met het verhaal van Helen Mort, een Britse schrijfster die ontdekte dat er zonder haar toestemming expliciete deepfakes van haar online waren geplaatst. Helen’s ervaring illustreert hoe AI-technologie wordt misbruikt om realistische, maar valse pornografische beelden te creëren. Zie ook deze korte documentaire van The Guardian.

Vervolgens wordt het verhaal van Noelle Martin besproken, een Australische vrouw die als tiener ontdekte dat haar foto’s waren gemanipuleerd en op pornosites waren geplaatst. Noelle’s jarenlange strijd tegen deze vorm van misbruik en haar activisme voor wetswijzigingen worden in detail beschreven.

Murgia gaat dieper in op de technische aspecten van deepfakes, de snelle ontwikkeling van AI-technologie en de juridische uitdagingen die hiermee gepaard gaan. Ze benadrukt dat de wetgeving in veel landen achterloopt op de technologische ontwikkelingen, waardoor slachtoffers vaak machteloos staan. De deepfake-technologie wordt met name gebruikt om vrouwen, activisten en journalisten te intimideren en in diskrediet te brengen. Murgia bespreekt de potentiële gevaren in autoritaire regimes en ontwikkelingslanden.

Een van de bronnen die Murgia noemt is WITNESS, een non-profitorganisatie die zich richt op het gebruik van video en technologie om mensenrechten te beschermen en te verdedigen.

H3. Je identiteit

In het derde hoofdstuk over identiteit spreekt de auteur Karl Ricanek, een Afro-Amerikaanse computerwetenschapper die jarenlang werkte aan de verbetering van gezichtsherkennings-algoritmes. Ricanek ervoer zelf raciale profilering door de politie, wat hem later deed nadenken over de ethische implicaties van zijn werk.

Murgia beschrijft in dit hoofdstuk hoe gezichtsherkenning zich ontwikkelde van een academisch onderzoeksgebied tot een wijdverbreid surveillancemiddel. Na 9/11 investeerde de Amerikaanse overheid fors in deze technologie voor terrorismebestrijding. Later werd het ook ingezet voor misdaadbestrijding en controle van demonstraties. Ze belicht de problemen met gezichtsherkenning, zoals raciale bias en onnauwkeurigheden bij het herkennen van mensen met een donkere huidskleur. Dit leidde tot onterechte arrestaties en beschuldigingen.

How well do IBM, Microsoft, and Face++ AI services guess the gender of a face?

Murgia beschrijft ook hoe gezichtsherkenning wereldwijd wordt ingezet door overheden en bedrijven, vaak zonder toestemming of medeweten van burgers. In landen als China en Uganda wordt het gebruikt om dissidenten en demonstranten op te sporen. Er ontstaat steeds meer verzet tegen deze technologie. Zo beschrijft Murgia kunstenaars die make-up gebruiken om gezichtsherkenning te misleiden en activisten die protesteren tegen de inzet ervan. Ook zijn er rechtszaken aangespannen tegen het gebruik van gezichtsherkenning door de politie. Ze eindigt het hoofdstuk met de constatering dat er nog weinig regelgeving is voor het gebruik van gezichtsherkenning en haar zorgen over privacy en burgerrechten in een wereld waarin alles zichtbaar en controleerbaar wordt.

Zie voor meer details ook mijn blog Clearview AI en het einde van privacy, een samenvatting van het boek Je gezicht is nu van ons van Kashmir Hill waar Murgia ook naar verwijst.

H4. Je gezondheid

In het vierde hoofdstuk richt Murgia zich op de toepassing van AI in de gezondheidszorg, met name in afgelegen en onderontwikkelde gebieden.

Murgia spreekt onder andere Dr. Ashita Singh, een arts in een klein ziekenhuis in Chinchpada, India die AI gebruikt om tuberculose te diagnosticeren bij patiënten uit de Bhil-gemeenschap. Dr. Singh gebruikt de qTrack-app van Qure.ai om tuberculose te diagnosticeren, wat vooral nuttig is in afgelegen gebieden met beperkte middelen. De app helpt bij snelle diagnoses en kan een second opinion geven, wat cruciaal is in gebieden met weinig specialisten.

Daarnaast spreekt ze ook Dr. Ziad Obermeyer, een spoedeisendehulparts en AI-onderzoeker in de Verenigde Staten. Dr. Obermeyer ontdekte raciale vooroordelen in bestaande AI-systemen voor triage in gezondheidszorg en werkte aan het verbeteren ervan. Hij ontwikkelde ook een AI-model dat beter dan menselijke radiologen de pijn van Afro-Amerikaanse patiënten kon voorspellen.

Murgia belicht de voordelen van AI in de gezondheidszorg, zoals snellere en nauwkeurigere diagnoses, verbetering van zorg in afgelegen gebieden en het potentieel om ongelijkheden in de gezondheidszorg aan te pakken. Ze maakt zich ook zorgen over de risico op “datakolonialisme”, waarbij data van kwetsbare groepen worden gebruikt zonder dat zij er zelf van profiteren en de toenemende afhankelijkheid van overheden van Big Tech-bedrijven. Hoewel AI veelbelovend is voor het verbeteren van gezondheidszorg, zijn er nog veel uitdagingen op het gebied van ethiek, implementatie en gelijkheid die moeten worden aangepakt.

H5. Je vrijheid

In dit hoofdstuk belicht Murgia de impact van voorspellende algoritmes op jeugd-criminaliteit in Amsterdam, met focus op het verhaal van Diana Sardjoe en haar gezin.

Murgia gaat uitgebreid in op het ProKid programma en de Top600 en Top400 lijsten in Amsterdam, bedoeld om jeugdcriminaliteit te voorspellen en voorkomen maar onbedoeld negatieve gevolgen had voor veel gezinnen, vooral die met een migratieachtergrond.

Diana’s zonen Damien en Nafayo kwamen op deze lijsten terecht, wat leidde tot intensieve overheidsbemoeienis met het gezin. Het systeem werd bekritiseerd vanwege mogelijke raciale bias en gebrek aan transparantie. De impact op gezinnen was vaak schadelijk, leidend tot stigmatisering, stress en soms zelfs tot meer crimineel gedrag. Murgia stelt vragen over de effectiviteit en ethiek van dergelijke voorspellende systemen in de jeugdzorg en het strafrecht.

Diana’s verhaal illustreert hoe ze zich verzette tegen het systeem en uiteindelijk De moeder is de sleutel oprichtte, een stichting om andere moeders te ondersteunen.

Zie ook de documentaire Moeders (2022) van regisseur Nirit Peleds. In de documentaire vertellen vier moeders hoe hun zoon door foute vrienden, een trauma of intimidatie door een bende in crimineel vaarwater terechtkwam en op de lijst Top400 werd gezet.

Murgia belicht in dit hoofdstuk de complexe uitdagingen die ontstaan bij het gebruik van AI in het sociale domein en pleit voor een meer empathische en inclusieve benadering. Het hoofdstuk eindigt met een reflectie op de noodzaak van menselijkheid, vergiffenis en betere samenwerking tussen overheid en gezinnen in de aanpak van jeugdcriminaliteit.

H6. Je vangnet

Het zesde hoofdstuk gaat over een AI-project in Salta, Argentinië, dat tiener-zwangerschappen probeerde te voorspellen.

The Case of the Creepy Algorithm That ‘Predicted’ Teen Pregnancy

Murgia spreekt Norma Gutiarraz, een lokale gemeenschapsleider in Salta, en Pablo Abeleira, een softwareontwikkelaar. Pablo werkte samen met zijn broer Charlie, een lokale politicus, aan een AI-systeem om tienerzwangerschappen te voorspellen en te voorkomen.

Het project verzamelde gevoelige data van arme families in Salta om een algoritme te trainen. Microsoft was betrokken bij de ontwikkeling van de AI-technologie. Het doel was om vroegtijdig in te grijpen bij gezinnen met een hoog risico op tienerzwangerschappen. Echter, het project stuitte op verschillende problemen zoals ethische bezwaren over privacy en stigmatisering, technische fouten in het algoritme en gebrek aan bewijs voor de effectiviteit. Na een regeringswisseling werd het project stopgezet voordat de resultaten konden worden geëvalueerd.

“Ik geloof dat Pablo goede bedoelingen had met zijn AI technologie. Hij wilde gezinnen vinden die hulp nodig hadden en die hulp bieden voordat ze in de problemen zouden komen. Maar het was me niet ontgaan dat niemand de verantwoordelijkheid voor de uitkomsten van het systeem op zich nam. Het AI-systeem had uiteindelijk geen eigenaars en werd niet gecontroleerd.”

Het hoofdstuk belicht de bredere kwesties zoals datakolonialisme, de rol van grote techbedrijven in overheidsbeleid, en de risico’s van het misbruiken van persoonlijke data door overheden. Uiteindelijk concludeert Murgia dat het AI-project weinig tastbare voordelen opleverde voor de beoogde begunstigden – de jonge vrouwen in Salta’s armste wijken. In plaats daarvan profiteerden vooral Microsoft en de betrokken consultants van het initiatief.

H7. Je baas

In het zevende hoofdstuk behandelt gaat Murgia in op de impact van AI-gestuurde managementsystemen op platformwerkers. Ze spreekt daarvoor verschillende mensen die voor apps als Uber en UberEats werken.

Centraal staat het verhaal van Armin Samii, een computerwetenschapper die als koerier voor UberEats ging werken. Hij ontdekte discrepanties in zijn betalingen en ontwikkelde een app genaamd UberCheats om deze fouten aan te tonen. Zijn ervaring illustreert hoe ondoorzichtig en willekeurig AI-gestuurde beloningssystemen kunnen zijn.

Murgia belicht ook de ervaringen van andere platformwerkers zoals Alexandru Iftimie en David Mwangi Thuo, die worstelen met onduidelijke regels, oneerlijke betalingen en een gebrek aan menselijk contact bij problemen. Ze beschrijft hoe deze situaties hebben geleid tot verschillende vormen van verzet en organisatie onder platformwerkers. Ze vormen online gemeenschappen, ontwikkelen eigen apps om het systeem te doorgronden, en sluiten zich aan bij vakbonden. James Farrar van Worker Info Exchange wordt genoemd als een belangrijke figuur in deze beweging, die strijdt voor meer transparantie en rechten voor platformwerkers.

Het hoofdstuk eindigt met een bredere blik op de toenemende invloed van AI-systemen op verschillende werkplekken, van ziekenhuizen tot creatieve beroepen. Het benadrukt dat de uitdagingen waar platformwerkers mee te maken hebben, mogelijk een voorbode zijn van bredere veranderingen in de arbeidsmarkt door de opkomst van AI.

H8. Je rechten

Het achtste hoofdstuk behandelt de groeiende strijd tegen schadelijke effecten van AI-systemen en algoritmes.

Murgia verteld het verhaal van Cori Crider, een mensenrechtenadvocaat die de organisatie Foxglove oprichtte om juridische actie te ondernemen tegen onethisch gebruik van AI en big data. Crider zag parallellen tussen haar eerdere werk voor Guantánamo-gevangenen en de situatie van contentmoderators voor sociale media, die vaak onder slechte omstandigheden werken en psychologische schade oplopen.

Het hoofdstuk beschrijft verschillende rechtszaken die Foxglove heeft aangespannen, waaronder:

• Een zaak tegen het Britse ministerie van Buitenlandse Zaken over een mogelijk discriminerend visa-toewijzingsalgoritme.
• Verzet tegen een controversieel algoritme dat eindexamencijfers bepaalde tijdens de COVID-19-pandemie in het VK.
• Een rechtszaak namens Ethiopische slachtoffers die beweren dat Meta’s algoritmes hebben bijgedragen aan etnisch geweld.

Crider benadrukt de noodzaak om grote technologiebedrijven verantwoordelijk te houden en pleit voor het gebruik van antikartelwetgeving om hun macht in te perken. Ze waarschuwt voor de gevaren van ongereguleerde AI-systemen, verwijzend naar haar eerdere ervaringen met door AI gestuurde droneaanvallen in Jemen.

Het hoofdstuk eindigt met Crider’s zorgen over een dystopische toekomst waarin AI-technologieën zonder toezicht worden ingezet, waarbij ze China als voorbeeld noemt van wat er kan gebeuren als burgers de controle verliezen over deze systemen.

H9. Je toekomst

Dit is ook meteen een brug naar het negende hoofdstuk waarin Murgia het verhaal verteld van Maya Wang, een onderzoeker bij Human Rights Watch.

Wang’s onderzoek richt zich op grootschalige surveillancesystemen in China, met name in de regio Xinjiang. Wang ontdekte het bestaan van het Integrated Joint Operations Platform (IJOP), een uitgebreid surveillancesysteem dat in Xinjiang wordt gebruikt om de Oeigoerse bevolking te monitoren. Dit systeem verzamelt een breed scala aan persoonlijke gegevens, waaronder biometrische informatie, reisgeschiedenis en religieuze activiteiten, om potentiële ‘verdachten’ te identificeren. De technologie heeft geleid tot massale detentie van Oeigoeren in ‘heropvoedingskampen’ en beperkt de bewegingsvrijheid van burgers in de regio. Surveillancetechnologieën ondermijnen de autonomie van burgers en leiden tot een vorm van digitaal kolonialisme.

How China’s Surveillance Is Growing More Invasive (New York Times)

Wang benadrukt dat deze technologieën niet beperkt blijven tot China, maar ook worden geëxporteerd naar andere landen, wat zorgen oproept over wereldwijde mensenrechten.

Het hoofdstuk schetst een verontrustend beeld van hoe geavanceerde AI-technologieën kunnen worden ingezet voor massasurveillance en onderdrukking, en roept op tot waakzaamheid en actie om mensenrechten te beschermen in het digitale tijdperk. Daarbij wil ik nog wel opmerken dat het beeld dat de Westerse media schetst van China vaak erg gekleurd is!

H10. Je samenleving

Het laatste hoofdstuk behandelt de ingrijpende impact van generatieve AI, met name ChatGPT, op onze samenleving. Murgia beschrijft de snelle adoptie van ChatGPT na de lancering eind 2022 en legt de technologie erachter uit, gebaseerd op het Transformer-model ontwikkeld door Google-onderzoekers.

Generative AI Exists Because of the Transformer (Financial Times)

Murgia belicht zowel de voordelen als de nadelen van AI-chatbots, waaronder het gebruik voor therapeutische doeleinden en de risico’s van het genereren van onjuiste informatie. Ze gaat dieper in op de impact van generatieve AI op creatieve beroepen en bespreekt de ethische en juridische kwesties rondom het gebruik van menselijke creaties voor het trainen van AI-modellen.

Het hoofdstuk reflecteert ook op de bredere maatschappelijke implicaties van deze technologie, waaronder filosofische vragen over de aard van intelligentie en bewustzijn. Murgia deelt een gesprek met SF-schrijver Ted Chiang, die AI vergelijkt met ’toegepaste statistiek’ en waarschuwt tegen het antropomorfiseren (het toeschrijven van menselijke eigenschappen zoals “leren”, “begrijpen” en “weten”) van deze systemen. Zijn korte verhaal ‘Het verhaal van jouw leven’ werd destijds verfilmd als Arrival (2016), een van mijn favoriete AI-films.

Murgia zoekt naar manieren om haar gedachten over AI coherenter te maken en vindt inspiratie in het korte verhaal The Machine Stops (pdf) van E.M. Forster uit 1909. Dit verhaal schetst een toekomst waarin mensen afhankelijk zijn van een alomtegenwoordige machine voor al hun behoeften en communicatie. Murgia ziet treffende overeenkomsten tussen Forsters fictieve wereld en onze huidige realiteit met AI.

In Forsters verhaal creëert de machine een vage versie van de realiteit die uiteindelijk de plaats inneemt van de echte wereld. De machine raakt in verval, produceert verwrongen output, en de mensen passen zich aan deze toxische situatie aan. Murgia ziet hierin een waarschuwing voor onze eigen toekomst met AI: een samenleving die te afhankelijk wordt van technologie die ze niet volledig begrijpt of kan controleren, maar toch als “goed genoeg” accepteert.

Ga binnenkort het korte verhaal van E.M. Forster uit 1909 eens lezen en verder uitwerken. Fascinerend dat iemand in 1909 al zo’n verhaal bedenkt!

Epiloog

In de epiloog verteld Murgia het verhaal van Paolo Benanti, een Franciscaanse monnik en ethicus, die een sleutelrol speelt in het adviseren van het Vaticaan over AI-kwesties. Benanti was betrokken bij het opstellen van de ‘Oproep van Rome’ (Rome Call), een voorstel voor een ethisch kader voor AI-ontwikkeling.

Joint signature of the Rome Call for AI Ethics by the Abrahamic Religions – Vatican City, January 10th, 2023. From left to right: Sheikh Al Mahfoudh Bin Bayyah, Abp. Vincenzo Paglia, Chief Rabbi Eliezer Simha Weisz.

Het epiloog belicht de samenwerking tussen religieuze leiders van het christendom, jodendom en islam om gezamenlijk ethische principes voor AI op te stellen. Dit resulteerde in een historische ondertekeningsceremonie in het Vaticaan.

Murgia bespreekt ook haar ontmoeting met Brad Smith van Microsoft, die de Oproep van Rome steunde maar tegelijkertijd investeerde in OpenAI. Ze vraagt zich af hoe effectief dergelijke initiatieven kunnen zijn tegenover de macht van grote technologiebedrijven. Ze reflecteert op de noodzaak van een brede, inclusieve benadering bij het ontwikkelen van ethische AI-richtlijnen. Ze presenteert een checklist met tien vragen die mensen kunnen stellen bij het gebruik of beoordelen van AI-technologie:

1. Hoe zou een rechtvaardiger en consistenter mondiaal salaris voor datawerkers in de AI-industrie eruitzien?
2. Hoe betrekken we gemarginaliseerde mensen en minderheden bij AI-ontwikkeling zonder uitbuiting?
3. Welke AI-gegenereerde producten moeten duidelijk gelabeld worden en menselijke controle bieden?
4. Hoe bepalen we of een AI-product veilig, niet-discriminerend en manipulatiebestendig is?
5. Welke bestaande wetten kunnen worden aangepast voor toepassing op AI?
6. Hoe betrekken we meer diverse expertise, vooral niet-westerse stemmen, bij AI-ontwikkeling en -toezicht?
7. Zijn AI-producten die ongelijkheid kunnen verminderen beschikbaar voor de gemeenschappen die ze het meest nodig hebben?
8. Wie is verantwoordelijk voor AI-beslissingen op belangrijke terreinen en hebben zij de juiste beheersingsmiddelen?
9. Hoe compenseren we creatieve professionals wier werk wordt gebruikt om AI-systemen te bouwen?
10. Welke mogelijkheden hebben burgers om zich te verzetten tegen AI, zoals dataverwijdering of het kiezen voor menselijke beslissingen?

Deze vragen zijn bedoeld als startpunt voor een kritische benadering van AI-technologie en de ethische implicaties ervan.

Tot slot deelt Murgia haar persoonlijke ontwikkeling in haar kijk op AI. Hoewel ze nog steeds de potentie van AI erkent, benadrukt ze het belang van menselijke waardigheid en het verbeteren van gewone mensenlevens boven het streven naar een ‘verbeterde’ mensheid.

Recensies

• ‘In de schaduw van AI’ is een geslaagde zoektocht naar de verborgen slachtoffers van AI (de Volkskrant)
• De baas is een algoritme, en heeft altijd gelijk (Trouw)