Steeds meer werkgevers vertrouwen in hun selectie op assessments op basis van AI. Maar in hoeverre kampen die algoritmes zelf weer met bias en vooroordelen? Dit zijn de 7 toetsstenen om dat te beoordelen.
Dat de mens vol met onbewuste en onterechte bias zit, dat weten we inmiddels wel. In alle onderdelen van het werving- en selectieproces spelen die vooroordelen een grote rol. Niet zo gek dus dat veel organisaties zoeken naar manieren om die rol van bias kleiner te maken, en het proces voor iedere kandidaat eerlijker te maken. En vaak wordt een vorm van AI en algoritmes daarvoor als oplossing gezien.
hoe eerlijk en rechtvaardig zijn al die algoritmes eigenlijk zélf?
Maar hoe eerlijk en rechtvaardig zijn die algoritmes eigenlijk zélf? Die vraag stellen velen zich sinds het inmiddels bekende voorbeeld van Amazon, toen dat bedrijf stopte met een proef waarbij vrouwen systematisch in het nadeel bleken bij een op kunstmatige intelligentie gebaseerde selectiemethode. Ook blijken geslacht en ras bijvoorbeeld van invloed op het algoritme dat bepaalt aan wie Facebook de daar geplaatste vacatures toont, en zo dus te zorgen voor mogelijke bias in de respons.
Vaak gebaseerd op het verleden
Toch blijken veel grote, internationale bedrijven (zoals Target, Hilton, Cisco, PepsiCo, Ikea en Amazon) tegenwoordig al wel op AI gebaseerde voorspellende wervingstools te gebruiken. Dat doen ze enerzijds om zowel tijd als kosten te besparen, en anderzijds om – theoretisch gezien – de kwaliteit van de selectie te verbeteren, zo blijkt. Een softwarebedrijf als CVViZ biedt hen bijvoorbeeld machine learning-algoritmes aan die stapels cv’s op bepaalde keywords scant en op basis daarvan een ranking van kandidaten maakt. Een andere bekende aanbieder is het Amerikaanse HireVue, dat video’s van kandidaten beoordeelt op hun woordgebruik, toon en gezichtsuitdrukking.
De algoritmes voeden zich vaak met dezelfde bias als de werkgever eerder gebruikte
Wie daarbij in het voordeel is? En wie juist buiten de boot valt? De argumenten ervoor zijn lang niet altijd zo helder als de aanbieders doen voorkomen. Wordt de selectie er écht beter (en eerlijker) van? Tot nu toe is het zo dat de algoritmes hun keuzes en beslissingen meestal baseren op wat in het verleden succesvolle kandidaten zijn gebleken. En dus voeden ze zich vaak met dezelfde bias als de werkgever eerder gebruikte. Zoals de Amazon-casus aantoont. Ook kleine – of vervuilde – datasets kunnen bias veroorzaken.
Wat kun je daaraan doen? Dit zijn de 7 toetsstenen
Hoe beoordeel je dan of je nieuwe selectiemethode daadwerkelijk eerlijker is? Het is een vraag die tegenwoordig veel onderzocht wordt. Zoals door Akhil Krishnakumar, die niet al te lang geleden in Delft hierop afstudeerde. In zijn scriptie noemt hij 7 toetsstenen:
- Justification: Is het logisch dat een organisatie van een bepaalde omvang, met een bepaalde wervingsbehoefte, zijn toevlucht neemt tot AI-tools, gegeven de datavereisten? En is er een wetenschappelijke basis voor het algoritme?
- Explanation: Verklaart de AI-tool waarop het zijn beslissingen baseert? En is deze uitleg zowel voor de recruiter als voor de kandidaat beschikbaar gemaakt? (Dit ook in verhouding tot de GDPR en zogeheten counterfactual explanations?) Wordt ook getest of eindgebruikers deze verklaringen op de juiste manier begrijpen?
- Anticipation: Levert de aanbieder mechanismes om eventuele (vermoedens van) biased beslissingen te melden en wat zijn dan de herstelmechanismes? Wie is hiervoor aansprakelijk of aanspreekbaar? En wat zijn de maatregelen in geval van een datalek?
- Reflexiveness: Is de organisatie zich bewust van zijn veranderende waardes en hoe worden die vervolgens gereflecteerd in de data die het gebruikt? Hoe worden data verzameld en welke beperkingen zijn daarbij evident? Hoe is het model getest?
- Inclusion: Denk je aan diversiteit in je team en in de evaluatieresultaten? En hoe stuur je daarop? Wat is het verschil tussen vals-positieven en vals-negatieven in de verschillende sociale groepen? En wat was de diversiteit in het ontwikkelteam?
- Responsiveness: Hoe vaak wordt het model gehertest? Als er bepaalde wensen en waarden veranderen, in hoeverre kan de technologie zich dan makkelijk aanpassen?
- Auditability: Zijn de data publiek beschikbaar of verifieerbaar door een derde partij?
Niet makkelijker, wel eerlijker
Volgens Krishnakumar, die nu bij NN een Young Talent-programma volgt, kan dit conceptuele model HR-managers helpen om de eerlijkheid van AI-selectietools te beoordelen. Daarbij koppelt hij zijn model met deze 7 toetsstenen ook aan meer conventionele criteria als consistentie en relevantie voor de functie. Ook liet hij de toetsstenen nog valideren door mogelijke gebruikers. Het maakt de inzet van assessmenttools er al met al niet makkelijker op, maar hopelijk in elk geval wel eerlijker, voor elke kandidaat, aldus de afstudeerder.
Beeld boven