Het artikel gaat hieronder verder.
A.I. kan kandidaten beter screenen dan traditionele cv-screening. Dat is althand niet langer een belofte van techverkopers, het is nu ook aangetoond in een grootschalig gerandomiseerd experiment. Onderzoekers van Stanford University en de University of Southern California testten het bij 37.000 echte sollicitanten, voor een echte baan, met echte interviewers die niet wisten uit welke selectie-pijplijn de kandidaat kwam. En de uitkomst is op zijn minst ongemakkelijk te noemen voor iedereen die nog zweert bij de traditionele cv-screening.
A.I. kan kandidaten beter screenen dan mensen dat kunnen doen.
In het onderzoek Better Together: Quantifying the Benefits of AI-Assisted Recruitment, werden de 37.000 sollicitanten voor een junior developer-functie willekeurig verdeeld over 2 selectieroutes. De ene groep doorliep het min of meer traditionele proces: eerst een handmatige cv-screening door recruiters, gevolgd door een menselijk interview. De andere groep deed eerst een A.I.-gedreven gestructureerd videogesprek van maximaal 45 minuten, waarna recruiters de A.I.-beoordeling gebruikten om door te selecteren.
Verschil dat telt
Beide groepen kwamen uiteindelijk bij dezelfde finale interviewers terecht – die niet wisten welke route de kandidaat vooraf had gevolgd. Het resultaat: 54% van de door A.I. gescreende en goed bevonden kandidaten slaagde uiteindelijk ook voor het finale menselijke interview. Van de traditioneel gescreende kandidaten was dat slechts 34%. Een verschil van maar liefst 20 procentpunten dus. Zo’n 5 maanden na het experiment zochten de onderzoekers de LinkedIn-profielen op van de topkandidaten uit beide groepen. Wie via de A.I.-route was geselecteerd, had een 5,9 procentpunt hogere kans om inmiddels ergens anders aan het werk te zijn.
‘54% van de A.I.-gescreende kandidaten slaagde voor het finale interview, tegenover 34% uit de traditionele route.’
Een van de scherpste bevindingen uit het onderzoek gaat over cv-fraude. In een steekproef van 720 kandidaten werden zelfgerapporteerde vaardigheden vergeleken met wat de A.I. tijdens het gesprek vaststelde. Van de kandidaten bleek daarbij 21% minstens 1 van de 3 vereiste technische vaardigheden – React, JavaScript en CSS – in hun cv te hebben opgegeven terwijl de A.I. juist beoordeelde dat ze er ‘niet vertrouwd mee’ waren. Zo’n 5% had alle 3 de vaardigheden verkeerd opgegeven. Traditionele cv-screening kan dit niet ontdekken, een A.I.-gesprek wel, zo concludeert het onderzoek.
Skill inflation
De onderzoekers stellen dat dit soort skill inflation het sterkst voorkomt bij jongere en minder ervaren kandidaten, en bij sollicitanten uit lage-inkomenslanden. Een opvallend neveneffect uit het experiment: de A.I. selecteerde disproportioneel veel jongere kandidaten met minder werkervaring en zonder hogere opleidingstitels. Precies de profielen die in traditionele cv-screening structureel worden benadeeld kwamen bij A.I. dus wel boven. De onderzoekers zien dit als bewijs dat A.I.-selectie informatie boven tafel haalt die een cv traditioneel meer verbergt, zoals: motivatie, redeneervaardigheden, en communicatiestijl.
Slechts 24% van de sollicitanten maakte het A.I.-interview af.
Voor talent acquisition-professionals die diversiteit en inclusie hoog in het vaandel hebben staan, is dit een relevante bevinding. Niet omdat A.I. per definitie eerlijker is, maar omdat een A.I.-interview dus blijkbaar andere dimensies van geschiktheid weegt dan een cv-parser en menselijke recruiter. Al is het onderzoek ook eerlijk over de beperkingen. Van de 23.000 kandidaten die werden uitgenodigd voor het A.I.-interview, maakte bijvoorbeeld slechts 24% het ook helemaal af. Vrouwen en meer ervaren professionals vielen vaker uit dan mannen en jongere kandidaten. Dat maakt de conclusie minder makkelijk breed toepasbaar.
Algorithm aversion
De onderzoekers schrijven die hoge uitval deels toe aan algorithm aversion, de bekende weerstand van mensen tegen beoordeling door een algoritme. Dat is een serieus probleem, stellen ze ook. Als de kandidaten die je het meest wilt aantrekken systematisch en significant vaker afhaken bij een A.I.-gedreven selectiestap, verstoort dat de kwaliteit van je uiteindelijke pipeline. De onderzoekers vonden overigens geen statistisch bewijs dat de uitvallers significant beter (of juist slechter) waren dan de kandidaten die wél doorgingen, maar zulke hoge uitvalpercentages blijven zelf natuurlijk een risico dat organisaties actief moeten managen.
Een A.I.-interview van 45 minuten verschuift de tijdsinvestering van de recruiter naar de kandidaat.
Maar al met al lijkt het onderzoek één ding glashelder te maken: A.I.-screening levert aantoonbaar bétere kandidaten op dan traditionele cv-screening, en reduceert het aantal benodigde interviews om een geschikte kandidaat te vinden met 44%. Maar de winst is niet gratis. Een A.I.-interview van 45 minuten verschuift de tijdsinvestering volledig van de recruiter naar de kandidaat, wat een bewuste afweging moet zijn. De bredere les is misschien wel de belangrijkste: A.I. vervangt níet het menselijke oordeel, maar kan de input voor dat oordeel verbeteren. De finale interviewers bleven mensen. Het verschil zat vooral in wie er aan tafel kwam.
Lees ook