Algoritmes worden op steeds grotere schaal ingezet om het gedrag van burgers te definiëren en te voorspellen. Op basis van deze voorspellingen worden vervolgens beslissingen genomen, die verregaande en onomkeerbare invloed hebben. Discrimineren met data lijkt een Orwelliaanse dystopie, maar is al meer werkelijkheid dan je denkt, zeker in China. Stadsleven stagiair Willemijn Oosterhof schrijft over hoe China door middel van het sociaal krediet systeem modelburgers gaat vormen. 

De Chinese digitale verslaving

Tegenwoordig doen we bijna alles via de smartphone. De standaard functies, bellen en smsen, lijken bijzaak te zijn geworden naast de grote hoeveelheid aan apps voor entertainment, foto’s, social media, vervoer, noem maar op. Maar in vergelijking met China valt onze verslaving nog best mee, beschreef sinoloog en journalist Tabitha Speelman voor de Correspondent. De smartphone is daar in een een paar jaar bijna onlosmakend verbonden geworden aan de Chinees. Niet door apps die we hier gebruiken, zoals Facebook, Instagram of Snapchat want die zijn daar immers verboden, maar door de alomvattende app WeChat. Berichten sturen, je boodschappen bestellen of je schoonmaker boeken, er lijkt bijna niks te zijn wat je er niet op kan doen. Alles in één app.

Credits: Albert Hsieh

Hoe hoog is jouw betrouwbaarheidsscore?

Dat Chinezen online veel actief zijn, komt goed van pas bij het sociale krediet systeem dat de Chinese overheid aan het opzetten is.  In 2020 zal het in werking treden en op dit moment wordt er in 44 steden geëxperimenteerd met het nieuwe sociaal krediet systeem, onder andere geïnspireerd op het Sesame Credit systeem van het internetbedrijf Alibaba. Alles wat jij online doet, zal worden opgeslagen en geanalyseerd. Je krijgt vervolgens een score die inzicht geeft in je betrouwbaarheid. Doe je iets wat niet past in het ideaalbeeld van de betrouwbare burger? Dan verlies je punten. Het doel van het systeem is om duidelijk te krijgen wie eerlijk en wie oneerlijk is. Fraudeurs, zoals producenten van nep-medicijnen, vallen op die manier door de mand. 

Een nuttig en functioneel doel, zo brengen ze het. Maar het enge aan dit systeem is dat ook onbenullige handelingen in deze laatste categorie kunnen vallen. Zo schrijft journalist Oscar Garschagen voor het NRC  bijvoorbeeld dat als je je hond niet aanlijnt, je punten verliest. Vinden je ouders dat je ze niet vaak genoeg bezoekt? Als je pech hebt, verlies je weer punten. De gevolgen hiervan zijn groot: als je score te laag is, word je een lening voor een woning onthouden of word je afgewezen voor een goede school. Dus als jij je niet houdt aan de opgelegde norm, of je er het nu mee eens bent of niet, dan zal je de consequenties ervaren.

In bovenstaand filmpje wordt het Sesame Credit systeem van Alibaba kritisch besproken. Het is echter nog niet duidelijk of het sociaal krediet systeem precies dezelfde vorm gaat krijgen als het Sesame Credit systeem: over de samenwerking blijft de Chinese overheid geheimzinnig. 

Het digitale panopticon

De onzichtbare, maar sterke invloed dat het sociaal krediet systeem heeft op handelingen van mensen doet denken aan het panopticon, ontworpen door Jeremy Bentham maar bekend door socioloog Michel Foucault. Het is een ontwerp voor een gevangenis waarin de bewaker in een hoge toren zit wat hem in staat stelt om in elke cel naar binnen te kijken. Hierdoor ervaart de gevangene dat hij constant in de gaten wordt gehouden en om sancties te voorkomen zorgt hij dat hij zich volgens de regels gedraagt. De disciplinerende werking van dit ontwerp zorgt dat de gevangene wordt opgevoed en zich de gedragsregels eigen maakt.

Credits: 张 磊

Het sociale krediet systeem is als het ware een digitaal panopticon die modelburgers aan het vormen is. De Chinese overheid, als gevangenbewaarder, kijkt constant digitaal mee over je schouder. Als vrijwel alle informatie over wat jij doet en wat jij vindt, online te vinden is – wat onder andere door WeChat wordt mogelijk gemaakt – dan zijn je overtredingen steeds lastiger te verbergen. Noodgedwongen zal je je conformeren aan de gedragsregels. Voor een andere mening is jammergenoeg geen ruimte in dit systeem en zo zitten alle Chinezen straks in 2020 vast in deze digitale gevangenis. 

Meer lezen?

• Lees meer blogs in ons dossier ‘Discrimineren met data‘. Wellicht ben je ook geïnteresseerd in ‘Big Data: wat weet de stad van mij?’ Hoe onze interactie met elkaar door digitale technologie verandert is te lezen in De digitale ander. 
• Tijdens de live talkshow Stadsleven ‘Discrimineren met data’ van woensdag 31 mei, 20.00-22.00 uur in de Balie gaan we verder in op dit thema. Koop hier je kaartje.