Algoritmes worden op steeds grotere schaal ingezet om het gedrag van burgers te definiëren en te voorspellen. Op basis van deze voorspellingen worden vervolgens beslissingen genomen, die verregaande en onomkeerbare invloed hebben. Discrimineren met data lijkt een Orwelliaanse dystopie, maar is al meer werkelijkheid dan je denkt. De Amerikaanse wiskundige Cathy O’Neil waarschuwt voor de vernietigende kracht van deze ‘neutrale’ data-algoritmes.
Door: Sanne van der Beek
“We live in the age of the algorithm. Increasingly, the decisions that affect our lives—where we go to school, whether we get a car loan, how much we pay for health insurance—are being made not by humans, but by mathematical models. In theory, this should lead to greater fairness: Everyone is judged according to the same rules, and bias is eliminated. But the opposite is true.”
De Amerikaanse wiskundige Cathy O’Neil is nogal stellig in haar boek ‘Weapons of Mass Destruction’ (2016): onze omgang met data is net zo gevaarlijk als een atoombom. Waarom?
Omdat een algoritme een schijn van neutraliteit, logica en eerlijkheid ophoudt, terwijl het niet transparant genoeg is om te zien hoe dat algoritme daadwerkelijk werkt.
Algoritmes werken met kansberekening en waarschijnlijkheid en doordat ze ontworpen worden door mensen is welke factoren worden meegewogen een politieke keuze. Bovendien worden algoritmes ontworpen op datgene wat er nu bekend is – de realiteit. Daarin zitten zichtbare en onzichtbare ongelijkmakers die ook door kunnen werken in het algoritme. Zo werd in 2015 bekend dat het glazen plafond netjes in stand werd gehouden door het algoritme van Google dat minder advertenties van goedbetaalde banen aan vrouwen toonde.
En aangezien algoritmes worden gebruikt om steeds meer vergaande beslissingen te nemen over de levens van veel mensen gebruikt O’Neil de steengoede metafoor ‘weapon of math destruction’.
O’Neil geeft het voorbeeld van predictive policing, waarin de politie een algoritme gebruikt om te voorspellen welke persoon een grotere kans heeft om een misdaad te begaan (en houdt deze persoon vervolgens extra in de gaten). Stel nu dat deze persoon daarom geen kans heeft om een lening of verzekering af te sluiten, omdat een ander algoritme hem als te groot risico beschouwt door de uitkomst van predictive policing?
