Quickscan algoritmes en discriminatie

Quickscan algoritmes en discriminatie | Berenschot

Dienst

Quickscan algoritmes en discriminatie

Algoritmes en AI bieden gemeenten kansen, maar brengen ook het risico op discriminatie met zich mee. Met de quickscan ontdekt u of er sprake is van discriminatie. Zo maakt u algoritmes controleerbaar en juridisch houdbaar.

Weet u of uw algoritme discrimineert?

Vanwege allerlei EU-verplichtingen, waaronder de AI-verordening, kunnen gemeenten niet langer volstaan met een kwalitatieve beoordeling van algoritmes en een afwegingskader als DPIA. Om discriminatie bij algoritmes vast te stellen, is nu ook een kwantitatieve meting nodig. Dit vereist technische en juridische kennis.

Met de Quickscan algoritmes en discriminatie weet uw gemeente binnen zes weken waar de belangrijkste discriminatierisico’s van één algoritme zitten. Denk aan een risicomodel voor bijstandscontroles, een prioritering van overlastmeldingen of een selectie voor schuldhulp. De scan levert een eerste beoordeling voordat u verdiepend onderzoek doet.

Meer weten?

Stuur een vraag of bel ons direct.

Stuur een vraag

030-2916855

Wat we bieden

Meet discriminatie bij algoritmes

Meten van de hele keten

Om discriminatie goed te meten, volgen we de hele keten van het algoritmegebruik. Het doel van het algoritme, de gebruikte gegevens, de uitkomsten per groep en de manier waarop medewerkers met die uitkomsten omgaan. Daarbij letten we in het bijzonder op gebruikte gegevens die indirect naar een beschermd kenmerk verwijzen, zoals postcode, taal of gezinssamenstelling.

Governance onder de loep

We kijken ook naar wat er al geregeld is om algoritmes controleerbaar te maken. Is er beleid dat voorschrijft wanneer en hoe op discriminatie wordt getoetst? Is vastgelegd wie besluit of een verschil aanvaardbaar is, en wie ingrijpt als het misgaat? Ook stellen we vast of het algoritme onder de AI-verordening valt en welke verplichtingen daaruit volgen. Hiermee laten we zien in hoeverre een risico bij dit algoritme wijst op een breder hiaat in de governance.

Rapportage, maatregelen en advies

U ontvangt een beknopte rapportage met een stoplichtoordeel op zes onderdelen: doel, data en model, uitkomsten per groep, uitvoeringspraktijk, rechtsbescherming en governance, en AI-verordening. Daarbij horen een lijst met maatregelen voor de korte termijn en een advies over de vervolgstap. Die vervolgstap kan ook zijn dat er niets hoeft te gebeuren. We geven verder aan wat we niet konden onderzoeken, bijvoorbeeld omdat data ontbraken.

HOE WE DAT DOEN

In zes weken van meten naar advies

Het meten van discriminatie gebeurt aan de hand van twee vragen. Hoe groot is het verschil, gemeten met de juiste maatstaf (meten)? En valt dit verschil te rechtvaardigen (wegen)?

In een startgesprek met beleid-, uitvoering- en privacymedewerkers bepalen we welke toepassing we onderzoeken en welke uitkomsten door algortimes voor inwoners nadelig kunnen zijn. Daarna lezen we de beschikbare stukken, zoals algoritmebeleid, DPIA, modeldocumentatie en werkinstructies.

Bij het meten stellen we vast of het algoritme groepen verschillend behandelt en hoe groot dat verschil is. Daarvoor bestaan verschillende statistische maatstaven. Die kunnen elkaar tegenspreken. Een model kan op de ene maatstaf gelijk uitpakken en op de andere niet. Welke maatstaf past, volgt daarom uit de juridische vraag.

Per casus hebben we drie dingen nodig:

De uitkomst van het model (een score of selectie).
Wat er daarna feitelijk is gebeurd (bijvoorbeeld of een controle iets opleverde).
Tot welke groep iemand behoort.

Ontbreekt de feitelijke afloop, dan kunnen we alleen meten wie vaker wordt geselecteerd. Of iemand ten onrechte wordt geselecteerd, blijft dan onduidelijk.

Goed om te weten: gegevens over groepskenmerken ontbreken vaak. We bespreken dan vooraf welke alternatieven er zijn, zoals het gebruik van CBS-data. Ook spreken we kort met de proceseigenaar, enkele uitvoerders en functioneel beheer. Zo zien we hoe het algoritme in de praktijk wordt gebruikt en of medewerkers daarvan afwijken.

Bij het wegen beoordelen we of een gemeten verschil juridisch houdbaar is. Treft het een beschermde groep in het bijzonder? Dient het algoritme een legitiem doel, en is het daarvoor passend en noodzakelijk? Een statistisch verschil is immers nog geen discriminatie. Maar wel een aanwijzing die de gemeente moet kunnen verklaren.
We beoordelen de bevindingen juridisch en bespreken ze met u als opdrachtgever