A.I.-recruiters vallen door de mand: uitkomst eigenlijk elke keer weer anders

Hij waarschuwt er al jaren voor. A.I. kan prachtige oplossingen bieden voor veel taken in recruitment, maar je moet er nóóit te veel op vertrouwen, zegt automatiseringsspecialist Martyn Redstone. En dat geldt bijvoorbeeld helemaal als je LLM’s vraagt om kandidaten te rangschikken. Hij heeft het dan bijvoorbeeld over ‘rank roulette‘: de nummer 2 van vandaag kan morgen zomaar de nummer 5 of nog lager zijn, en zo is de uitkomst elke keer anders. En misschien nog erger: A.I.-recruiters zijn het zelden met elkaar eens. In slechts 14% van de gevallen komen hun aanbevelingen min of meer overeen.

‘LLM-screeners versterken de inconsistentie die selectie toch al teistert, in plaats van die te verhelpen’,

‘LLM-screeners versterken de inconsistentie die de werving en selectie van personeel toch al teistert, in plaats van die te verhelpen’, concludeert Redstone dan ook. ‘Totdat die volatiliteit is getemd, zijn alle beweringen over de “eerlijkheid” die zulke systemen met zich mee zouden brengen niet meer dan marketingrook.’ A.I. is eigenlijk een soort ‘overmoedige stagiair’, zegt hij ook: ‘snel en soepel, maar schokkend inconsistent’ in zijn beoordelingen. Daarbij ‘verdwijnen’ goede kandidaten soms ook gewoon, en gebruiken de A.I.-systemen ook opvallend vaak dezelfde redeneringspunten in hun beoordeling.

Vloeiend, maar onbetrouwbaar

Om tot zijn conclusie te komen, voedde Redstone een dikke 100 Engelstalige cv’s aan systemen als ChatGPT-4o, Gemini 2.0 Flash, en Grok 3. Hij gebruikte één prompt (van 270 woorden), en één functieomschrijving, voor een HR Business Partner. En de resultaten liegen er niet om, zegt hij. ‘Twee A.I. recruiters verschillen 4 van de 5 keer van oordeel. Zo’n 55% van de cv’s komt nóóit op de shortlist terecht, wat op een behoorlijke blind spot duidt. En de data laten ook zien dat de meeste systemen een cv maar minimaal begrijpen: dezelfde rationale komt in 96% van de gevallen terug.’

De A.I.-LLM-modellen verschilden niet alleen onderling van elkaar, ook of je de ene of de andere dag de gegevens invoerde bleek een groot verschil te maken. Wie de ene dag als nummer 10 uit het model naar voren kwam, kon een dag later ineens de topfavoriet van het systeem zijn geworden. ‘LLM’s verzinnen argumenten die misschien goed klinken, maar niet overeenkomen met de interne berekeningen. LLM-onderbouwingen voor het rangschikken van cv’s kunnen dus vloeiende, maar onbetrouwbare bewijzen zijn’, concludeert Redstone, ook in analogie van Anthropic. 

Micro-circuits zijn de schuldigen

De oorzaak vindt de onderzoeker onder meer in het feit dat de A.I.-algoritmes echte taken laten afhandelen door vele kleine ‘micro-circuits’. Als je die opschaalt, vergroot je daarmee de fragmentatie – en dus de volatiliteit: welk micro-circuit ‘wint’ kan een cv-beslissing omkeren. Ook leren LLM’s stijl na te bootsen, tests te imiteren of overdreven voorzichtig te weigeren om straffen te vermijden. Hierdoor kan een cv-screeningbot optimaliseren voor ‘elke plausibele top 10’ in plaats van elk cv nauwkeurig te beoordelen.

De verschillen tussen én binnen de systemen zijn te groot om de rankings te rechtvaardigen.

Daar kun je dus maar beter héél voorzichtig mee zijn, waarschuwt Redstone. Misschien kan A.I. wel snel cv’s scannen, en daarmee menselijke recruiters van dienst zijn, maar de verschillen tussen én binnen de systemen zijn te groot om de rankings te rechtvaardigen. Dat kan behoorlijke juridische risico’s opleveren, zegt hij. Omdat de systemen kandidaten op niet transparante wijze diskwalificeren, ben je waarschijnlijk in strijd met de EU AI Act en de AVG. De nauwkeurigheid die leveranciers beloven, missen dan ook de realiteit, aldus de A.I.-expert. ‘Gebruik zulke systemen hooguit als copiloot, nooit als poortwachter.’

Is A.I. nutteloos?

Is A.I. dan helemaal nutteloos als je snel veel kandidaten wil beoordelen? Nee, zo is het ook weer niet, stelt Redstone. Maar je moet volgens hem wel ‘vangrails’ installeren, en menselijke recruiters nog steeds een rol geven om in elk geval de uitkomsten nog eens te controleren. Want ook mensen verschillen nogal van elkaar als ze gevraagd worden kandidaten te vergelijken. ‘Maar uit studies blijkt dat de zogeheten interbeoordelaars-overeenkomst dan ongeveer het dubbele is van de overlap die ik onder LLM’s heb waargenomen. Het volledig vervangen van recruiters zou de betrouwbaarheid dus verlagen, niet verhogen.’

‘De maatstaf die ertoe doet, is of ze hetzelfde cv elke dag op dezelfde manier beoordelen.’

Volgens Redstone is het zodoende ook niet meer dan terecht dat regelgevers dit soort technologie als ‘high risk‘ hebben gelabeld. ‘De technologie is aantoonbaar onbetrouwbaar; streng toezicht is dan ook gerechtvaardigd‘, zegt hij. De modellen moeten zich volgens hem in de toekomst minder focussen op nauwkeurigheid, maar vooral ook op consistentie. ‘De maatstaf die ertoe doet, is of ze hetzelfde cv elke dag op dezelfde manier beoordelen. En de onderbouwing ervan bewijzen. Totdat ze aan die norm voldoen, blijven LLM’s niet meer dan briljante, maar overmoedige stagiairs. Laat ze opstellen, uitpluizen en samenvatten, maar laat hen nooit de aanbiedingsbrief ondertekenen zonder menselijke controle.’

Lees ook

• Gouden tijden voor freelance A.I.-experts