Hoe kandidaten hun gedrag aanpassen aan A.I.-assessments (behalve als die game-based zijn)

Volgens het World Economic Forum gebruikt meer dan 90% van de werkgevers inmiddels geautomatiseerde systemen om binnenkomende sollicitaties te filteren of te rangschikken, en 88% van de bedrijven gebruikt al een vorm van A.I. voor de eerste screening van kandidaten. Neem Unilever, dat tools gebruikt van HireVue om sollicitanten aan het begin van hun carrière te beoordelen, wat naar eigen zeggen jaarlijks 50.000 uur en meer dan 1 miljoen dollar bespaart. Ook bedrijven als IBM en Hilton vertrouwen op dit soort tools. Maar wat heeft al die A.I. voor effect op hoe kandidaten zich gedragen? Dat was tot nu toe nauwelijks onderzocht.

Nieuw onderzoek, te lezen in Harvard Business Review, brengt daar echter verandering in. Het is uitgevoerd door onderzoekers van de universiteit van St. Gallen en de Rotterdam School of Management van de Erasmus Universiteit, onder 13.000 deelnemers, onder meer in samenwerking met Equalture, en brengt maar liefst 12 studies samen. ‘We hebben simulaties van diverse assessmentsituaties bekeken, zowel in het laboratorium als in de praktijk’, aldus de onderzoekers, onder leiding van Anne-Kathrin Klesse, hoogleraar Consumer Behavior & Technology en academic director van het Psychology of AI lab van het Erasmus Center for Data Analytics. 

A.I. maakt bevooroordeeld

Uit het onderzoek blijkt onder meer dat kandidaten zich zeer bewust zijn van het zogeheten A.I. Assessment Effect. Oftewel: als kandidaten alleen al dénken dat A.I. hen beoordeelt, en niet een mens, dan passen ze hun gedrag daar al op aan. Dan benadrukken ze bijvoorbeeld consequent hun analytische eigenschappen méér dan hun menselijke kwaliteiten als empathie, creativiteit en intuïtie. Dit brengt kandidaten ertoe een andere en wellicht ook ‘homogenere’ versie van zichzelf te presenteren, wat op zijn beurt van invloed is op de kans op succes in een A.I.-gestuurd wervingsproces, stellen de onderzoekers.

De innovatieve denker die je zoekt kan door A.I.-assessments buiten de boot vallen.

Dat heeft volgens hen ook behoorlijke consequenties. ‘Hoewel A.I. soms de schuld krijgt van bevooroordeelde beslissingen (zoals discriminatie van vrouwen), suggereert ons onderzoek dat de wetenschap dat men door A.I. wordt beoordeeld, kandidaten óók bevooroordeeld maakt, waardoor ze denken dat ze prioriteit moeten geven aan hun analytische vaardigheden.’ De innovatieve denker of emotioneel intelligente leider die je misschien zoekt kan hierdoor zelfs buiten de boot vallen, omdat hij of zij dénkt dat de A.I. juist op zoek is naar een regelvolger, en zich daarom als zodanig presenteert.

‘Radicale transparantie’

Het aangepaste gedrag van kandidaten kan ook gevolgen hebben voor de validiteit van de assessments, aldus de onderzoekers. ‘Het kan zijn dat organisaties daardoor niet meer authentieke capaciteiten meten, maar juist wat kandidaten dénken dat de A.I. het meest zal waarderen.’ En dat kan er dus ook weer toe leiden dat de pijplijn aan kandidaten steeds eenvormiger wordt: als de meeste kandidaten dénken dat A.I. analytische eigenschappen bevoordeelt, zullen andere eigenschappen eerder ondersneeuwen, terwijl die misschien voor de functie net zo belangrijk zijn.

‘We raden bedrijven aan hun kandidaten niet aan het speculeren te laten.’

De onderzoekers pleiten dan ook voor ‘radicale transparantie’: ‘Maak niet alleen de A.I.-beoordeling openbaar, maar wees ook expliciet over wat daadwerkelijk wordt beoordeeld. Communiceer duidelijk dat je A.I. eigenschappen als creativiteit, emotionele intelligentie en intuïtieve probleemoplossing ook waardeert.’ Weinig bedrijven doen dit momenteel al, wat bij kandidaten vaak leidt tot (vaak contraproductieve) speculatie. ‘We raden bedrijven aan hun kandidaten niet aan het speculeren te laten’, stellen de onderzoekers dan ook.

Regelmatige audits

Daarnaast pleiten ze voor regelmatige audits van de A.I.-assessmentsystemen, en daarbij ook te letten op patronen die wijzen op gedragsaanpassing. ‘Worden de antwoorden van kandidaten in de loop der tijd homogener? Ziet u een verschuiving naar analytische presentaties ten koste van andere waardevolle eigenschappen?’ Ook kan het helpen om menselijke medewerkers te trainen om het A.I.-effect te compenseren. Bedrijven als Salesforce, Nvidia en Philip Morris International zeggen nu al dat een mens altijd de finale beslissing maakt, maar bewustwording van het A.I.-effect is daarbij nog wel nodig, stellen de onderzoekers.

‘Game based assessments kunnen sociale wenselijkheid en het schetsen van een onrealistisch beeld voorkomen.’

En er is nog een mogelijkheid. Want uit het onderzoek komt duidelijk nog iets naar voren, en dat is dat het A.I.-effect bij kandidaten niet altijd optreedt. Gebruikt een organisatie namelijk game-based assessments, dan is gedragsaanpassing bij kandidaten zo goed als zinloos, zo blijkt. Zelfs wanneer kandidaten dachten dat A.I. hen beoordeelde, bleven hun game-based resultaten namelijk consistent. Dat komt volgens de onderzoekers doordat game-based assessments meten hoe mensen daadwerkelijk denken en zich gedragen, ‘en niet hoe goed ze zijn in het geven van de “juiste” antwoorden. Dit voorkomt sociale wenselijkheid en het schetsen van een onrealistisch beeld.’

Moeilijk te faken

Het wetenschappelijk onderzoek is wat dat betreft een opsteker voor Equalture, dat zich juist specialiseert in zulke game based assessments. In het onderzoek werd kandidaten gevraagd in hoeverre ze dachten dat A.I. betrokken was bij hun assessment. De meesten geloofden dat A.I. een vrij grote rol speelde. En hoe meer ze geloofden dat A.I. betrokken was, hoe meer ze zeiden dat ze probeerden hun gedrag te veranderen – om logischer of analytischer over te komen. Maar het allerbelangrijkste: dat lukte ze niet. Hun daadwerkelijke gedrag veranderde niet. Zelfs als mensen dachten dat A.I. hen beoordeelde, bleven hun scores hetzelfde.

‘Zelfs als mensen geloven dat A.I. betrokken is, blijven hun resultaten bij game-based assessments consistent.’

Dit betekent dat game-gebaseerde assessments moeilijk te faken of te manipuleren zijn, zelfs als kandidaten het proberen, zo concluderen de onderzoekers. Dit is duidelijk anders dan A.I.-assessments die bijvoorbeeld tekstgebaseerd zijn. ‘Game-based assessments zijn dus objectiever’, stelt Charlotte Melkert, een van de oprichters van Equalture, met genoegen vast. ‘Zelfs als mensen geloven dat A.I. betrokken is, blijven hun resultaten consistent. Game-based assessments zijn zodoende betrouwbaarder, moeilijker te manipuleren en beter in staat om te laten zien hoe mensen werkelijk denken en zich gedragen.’

Het sluit aan bij de conclusie van de onderzoekers, die stellen dat het niet hun bedoeling is om A.I. uit het hele selectieproces te halen, maar juist om systemen te ontwerpen die rekening ermee houden dat kandidaten hun gedrag erop aanpassen, en het ongewenste effect hiervan tegengaan. ‘De ironie is treffend: in onze zoektocht om menselijke vooroordelen bij het aannemen van personeel te elimineren, hebben we mogelijk een systeem gecreëerd waarin A.I. een nieuwe vorm van bias introduceert.’ Maar het is dus gelukkig mogelijk daaraan te ontsnappen, stellen ze ook. Oftewel: game on!

Lees ook

• Waarom EY – als eerste van de Big 4 – overstapt op game-based assessments voor bijna al zijn vacatures
• Wat vinden sollicitanten anno 2025 nu écht van game-based assessments?