Discrimineert uw algoritme? | Berenschot artikel

Discriminerende algoritmes komen regelmatig in het nieuws. Bij de Toeslagenaffaire gebruikte de Belastingdienst bijvoorbeeld een risicoclassificatiemodel waarin nationaliteit meewoog. Uitvoeringsorganisatie DUO controleerde studenten met een migratieachtergrond onevenredig vaak op misbruik van de uitwonendenbeurs. En de rekenkamer van de gemeente Rotterdam was zeer kritisch over een fraudemodel voor bijstandsgerechtigden. Dat woog onder meer taalvaardigheid, geslacht en leeftijd mee, waardoor met name jonge moeders met een gebrekkige beheersing van het Nederlands vaker werden onderzocht.

Bij AI-gebaseerde algoritmes is vaak niet direct duidelijk op grond waarvan een beslissing is genomen. Deze algoritmes gebruiken namelijk steeds vaker combinaties van variabelen om uitkomsten te voorspellen. Vaak gaat het daarbij om proxyvariabelen: variabelen die veel zeggen over beschermde kenmerken, maar dat op zichzelf niet zijn. Denk aan ‘of iemand voetbal speelt’ (dat zijn veel vaker mannen) of ‘of iemand veel op vakantie gaat naar Marokko of Turkije’. Zo kan een algoritme discrimineren zonder dat het ooit naar geslacht of afkomst ‘kijkt’.

Bovendien weet iemand die door een algoritme wordt benadeeld meestal niet waarop de beslissing is gebaseerd. Statistische analyses zijn dan vaak de enige manier om discriminatie aannemelijk te maken of juist te weerleggen. Daar komt bij dat de Europese AI-verordening organisaties die AI-systemen met een hoog risico inzetten verplicht om risico’s voor grondrechten te beoordelen en die systemen doorlopend te monitoren. Dat vraagt om kennis hoe discriminatie bij algoritmes te meten is.

Bij het onderzoek of een algoritme discrimineert – een zogeheten fairness-analyse – worden in de literatuur drie benaderingen onderscheiden:

1.    Individual fairness kijkt naar individuele gevallen. Gebruikt het algoritme geen beschermde eigenschappen (Fairness Through Unawareness)? En krijgen individuen met vergelijkbare eigenschappen ook vergelijkbare uitkomsten (Fairness Through Awareness)? Deze maatstaven zeggen vooral iets over directe discriminatie en weinig tot niets over indirecte discriminatie via proxyvariabelen.

2.    Group fairness vergelijkt de uitkomsten van het algoritme voor groepen die verschillen op een beschermd kenmerk, zoals mannen en vrouwen of jong en oud. De centrale vraag is: zijn de uitkomsten voor deze groepen gelijk? Voor indirecte discriminatie is dit meestal de meest bruikbare benadering. Het gaat immers vooral om hoe het algoritme in de praktijk uitpakt.

3.    Counterfactual fairness onderzoekt of de uitkomst anders was geweest als dezelfde persoon een andere waarde had gehad voor een beschermd kenmerk, bijvoorbeeld oud in plaats van jong. Daarvoor wordt de werkelijkheid in een causaal model gevat. Een belangrijk nadeel is dat de uitkomst sterk afhangt van het gekozen model.

Neem als voorbeeld een fictief algoritme dat op basis van een cv bepaalt wie wordt uitgenodigd voor een sollicitatiegesprek. Vrouwen worden iets vaker uitgenodigd dan mannen (35% tegenover 28%). Van de ongeschikte kandidaten wordt 10% van de vrouwen toch uitgenodigd, tegenover 6% van de mannen. Dat werkt in het voordeel van vrouwen. Maar van de geschikte kandidaten wordt 23% van de vrouwen ten onrechte niet uitgenodigd, tegenover 9% van de mannen. Dat type fout benadeelt vrouwen juist. Afhankelijk van de gekozen maatstaf, ontstaat dus een ander beeld.

Let wel, het is zelfs onmogelijk dat alle maatstaven tegelijk gelijk zijn voor beide groepen. Tenzij het algoritme geen enkele fout maakt of de werkelijke uitkomsten in beide groepen precies even vaak voorkomen. Het is dus zaak te bepalen welke maatstaf in een concreet geval écht relevant is.

De keuze voor een maatstaf hangt af van de omstandigheden van het geval. Een handig hulpmiddel is de Aequitas fairness tree: een keuzeboom om stap voor stap tot een geschikte maatstaf te komen. Daarbij zijn vier vragen van belang:

•    Gaat het om een eerlijke afspiegeling van groepen, of om een gelijke kans op fouten van het algoritme?
•    Wordt het algoritme bestraffend of ondersteunend ingezet? Indien ondersteunend: zijn de meeste mensen met een behoefte te helpen, of slechts een klein deel?
•    Zijn er betrouwbare data over de werkelijke uitkomsten?
•    Voor welke groep mensen bestaat de meeste zorg over de negatieve effecten?

De keuzeboom helpt bij het kiezen van een geschikte maatstaf (gebaseerd op de Aequitas fairness tree).

Een voorbeeld: bij een algoritme dat fraude opspoort, is de interventie bestraffend. Bestaat er vooral zorg om mensen die ten onrechte worden gecontroleerd, dan ligt false positive rate parity voor de hand. Bij een algoritme dat bepaalt wie extra ondersteuning krijgt, gaat het eerder om degenen die dergelijke hulp ten onrechte mislopen.

Een fairness-analyse laat zien of en zo ja in welke mate groepen verschillend worden behandeld. Of dat verschil ook ongerechtvaardigd is, is een andere vraag. Daarvoor is het zaak te bepalen welke maatstaf relevant is en hoeveel verschil acceptabel is. Dat is inherent een normatief oordeel en kan niet zonder meer aan een algoritmeontwikkelaar worden overgelaten.

In het verleden werd daarvoor nogal eens de four-fifths rule gebruikt: de maatstaf voor de slechtst presterende groep moet ten minste vier vijfde bedragen van die van de best presterende groep. Deze Amerikaanse vuistregel mist echter een goede inhoudelijke onderbouwing. De grens hoort te worden vastgesteld aan de hand van de omstandigheden van het geval. Bij een algoritme voor opsporing ligt de lat immers hoger dan bij een algoritme dat kortingsbonnen verdeelt.

Daarnaast telt de betrouwbaarheid van de uitkomsten. Een analyse op een te kleine of niet-representatieve steekproef levert geen bruikbaar bewijs op. Met een betrouwbaarheidsinterval en een toets op significantie is de onzekerheid inzichtelijk te maken.

Er bestaan grosso modo drie manieren om discriminatie door algoritmes te meten en tientallen maatstaven. Welke maatstaf het best past, hangt af van de omstandigheden van het geval. Voor indirecte discriminatie is group fairness meestal het meest bruikbaar. De keuzeboom helpt om daarbinnen een keuze te maken.

Het wegen van de resultaten blijft echter mensenwerk. Wie algoritmes inzet of beoordeelt, moet de uitkomsten van zo’n analyse kunnen duiden en de juiste vragen kunnen stellen om tot een goed oordeel te komen.

Heeft u ondersteunig nodig? Stuur mij gerust een bericht of bekijk de Quickscan algoritmes en discriminatie.

Het volledige artikel 'Hoe stel je vast of een algoritme discrimineert?' van Wouter Verbeek leest u in het wetenschappelijke tijdschrift Computerrecht 2026/144.