Het artikel gaat hieronder verder.
Eerder dit jaar hadden we bijvoorbeeld al de eerste uitspraak in de roemruchte Workday-zaak, waardoor miljoenen Amerikaanse sollicitanten ouder dan 40 zich bij deze rechtszaak kunnen aansluiten. En ook Aon kreeg voor zijn assessmentmethodes al met een een forse aanklacht te maken. Deze maand kwam er nóg een geruchtmakende zaak bij, waarin Sirius XM Radio zich moet verantwoorden voor het gebruik van iCIMS-software, die volgens de klager discriminerend zou werken, wat onder meer zou blijken uit het feit dat hij voor ongeveer 150 functies bij het radiostation werd afgewezen, ondanks zijn (vermeende) kwalificaties op IT-gebied.
Het gebruik van A.I. in recruitment lijkt steeds meer uit te monden in een juridisch wespennest.
Het is de zóveelste zaak op dit gebied, nadat eerder dit jaar bijvoorbeeld ook financiële softwareleverancier Intuit voor de rechtbank werd geroepen, en wel voor het gebruik van het al eerder omstreden HireVue in het recruitmentproces, waarbij een dove (inheemse) sollicitant beweert dat het geautomatiseerde video-interview niet goed was ondertiteld, waardoor ze ten onrechte op achterstand zou staan. Het is een kleine greep van de meest opvallende zaken, maar het geeft maar aan: het gebruik van A.I. in recruitment lijkt steeds meer uit te monden in een juridisch wespennest. Zeker als de beoordeling van sollicitanten ervan afhangt.
Een kwestie van tijd
In Europa zijn zulke geruchtmakende zaken nog niet bekend, al moet daarbij gezegd worden dat de EU AI Act natuurlijk ook nog niet geheel in werking is, maar recruitment hierbij al wel als ‘high risk‘ is bestempeld. Wat zulke rechtszaken als in Amerika ook hier waarschijnlijk een kwestie van tijd maakt. En waarbij bedrijven die de fout ingaan een maximale potentiële boete ter hoogte van 35 miljoen euro of 7% van de wereldwijde jaaromzet van de onderneming voor de ernstigste overtreding riskeren.
De A.I.-screening gaf in bijna 9 op de 10 gevallen de voorkeur aan blanke mannen.
En bedrijven hebben ook goede reden om zich hierover zorgen te maken. De University of Washington Information School publiceerde vorig jaar bijvoorbeeld een grootschalige studie waaruit bleek dat bij A.I.-ondersteunde cv-screenings voor 9 beroepen met 500 sollicitaties de technologie in 85,1% van de gevallen de voorkeur gaf aan namen die geassocieerd worden met witte mensen en in slechts 11,1% aan namen die geassocieerd worden met vrouwen. In sommige situaties werden zwarte mannelijke sollicitanten in wel 100% van de gevallen benadeeld ten opzichte van hun blanke mannelijke tegenhangers.
Vooroordelen bevestigd
Uit eerdere (kleinere) studies bleek ook al dat ChatGPT vooroordelen vertoont op basis van ras en handicap bij het sorteren van cv’s. Discriminatie op basis van ras is ook wat Ashton Harper het iCIMS ATS verwijt, dat aan sollicitatiemateriaal scores toe zou kennen op basis van datapunten die een indicatie zijn van etniciteit (zoals onderwijsinstellingen, postcode, werkervaring, enz.), waardoor volgens Harper Afro-Amerikaanse kandidaten onevenredig worden benadeeld. Hij beweert dat deze geautomatiseerde beoordeling ertoe heeft geleid dat zijn sollicitaties al heel vroeg werden uitgefilterd, voordat hij verder kon gaan in de procedure.
Toen de dove sollicitant te horen kreeg dat ze ‘actief moest luisteren’, besloot ze het niet erbij te laten zitten.
De zaak tegen Intuit is misschien nog wel interessanter, en mogelijk invloedrijker, omdat die de fundamenten van sommige software aan de orde stelt. De dove aanklaagster werkt namelijk al een tijdje als seizoensmedewerker voor Intuit, en krijgt daarbij steeds positieve beoordelingen en bonussen, maar wordt voor een meer definitieve functie gedwongen te werken met de HireVue-software, die niet met gebarentaal kan omgaan. Toen ze een afwijzing kreeg waarin stond dat ze moest werken aan ‘meer effectieve communicatie’, ‘beknopte en directe antwoorden’ moest geven en ‘actief moest luisteren’, besloot ze het niet erbij te laten zitten.
Onder vuur
En dan is er dus ook nog de zaak tegen Workday, dat systematische leeftijdsdiscriminatie wordt verweten. En Aon (alsmede een klant) zag zelfs maar liefst 3 van zijn assessmentmethodes, waarbij A.I. een rol speelt, juridisch aangevallen. Zo gaat het om de zogeheten ADEPT15, een tool die meer dan 8 miljoen keer is afgenomen bij sollicitanten en werknemers en algoritmische processen gebruikt om brede werkstijlen te beoordelen. Ook Aon’s video-interviewplatform vidAssess-AI ligt onder vuur, net als gridChallenge, een gamified cognitieve beoordelingstool aangestuurd door A.I. die het werkgeheugen van kandidaten beoordeelt.
Zo gebeurt er eigenlijk iets opmerkelijks. De wetgeving rondom A.I. blijkt ertoe te leiden dat bedrijven (zeker in Amerika) zich steeds meer juridisch moeten verantwoorden voor praktijken die vóór de opkomst van A.I. ook al heel gewoon – en vaak ook discriminerend – waren, maar toen eigenlijk nog weinig juridische grondslag hadden om tegenop te treden. Nu wetgevers overal ter wereld A.I. zo goed en zo kwaad als dat kan proberen te reguleren, ontstaan die mogelijkheden ineens wel. En sollicitanten lijken die kans ook steeds vaker aan te grijpen. Wat bedrijven dwingt al hun procedures nog eens goed tegen het licht te houden.
‘Misleidende marketing’
Vaak gaat de juridische klacht trouwens ook in tegen beweringen van de ontwikkelaars van tools, als ze bijvoorbeeld stellen dat deze ‘eerlijk’, ‘vrij van vooroordelen’ en ‘zonder nadelige gevolgen’ zouden zijn, wat volgens ngo ACLU (de American Civil Liberties Union) meestal neerkomt op ‘een misleidende marketingtactiek’. En ‘naarmate dit soort tools en praktijken steeds wijdverspreider worden, moeten degenen die ze gebruiken er nauwlettend op toezien dat ze iedereen eerlijk behandelen en geen systematische vooroordelen op de arbeidsmarkt verergeren’, aldus Tim Macdonald, juridisch directeur van de ACLU in Colorado.
Trump hecht weinig waarde aan de disparate impact van A.I.-tools.
‘Als A.I. zo is gebouwd dat er geen rekening wordt gehouden met de risico’s van vooroordelen, dan kan het niet alleen die patronen van uitsluiting in stand houden, maar ze zelfs verergeren’, vertelde rechtenhoogleraar Pauline Kim recent aan Fortune. Al speelt hier volgens haar – opnieuw – ook het beleid van president Trump een rol. Trump heeft namelijk in april geprobeerd per decreet de zogeheten disparate impact-vorm van discriminatie te verbannen, waarbij impliciete, onbewuste discriminatie zou kunnen worden aangetoond. Denk aan een A.I.-tool die op min of meer onverklaarbare wijze alle 40-plussers eruit filters.
Afmelden voor A.I.
‘Het betekent dat instanties geen zaken zullen nastreven na te streven die zo’n ongelijke impact met zich meebrengen, of zullen proberen te begrijpen hoe deze technologieën een ongelijke impact kunnen hebben’, aldus Kim. ‘Ze trekken zich echt terug uit die poging om deze risico’s te begrijpen en werkgevers erover te informeren.’ Al zijn er op het niveau van sommige staten zeker pogingen om de (impliciete) vooroordelen van technologie via wetgeving aan te pakken, ‘inclusief de mogelijkheid [voor potentiële werknemers] om zich in bepaalde omstandigheden af te melden voor het gebruik van A.I.’, zo vertelt een advocaat aan Fortune.
Volgens sommige A.I.-bedrijven kunnen hun tools echter ook corrigeren voor nu bestaande onevenwichtigheden in de arbeidsmarkt. Victor Schwartz, associate director of technical product management van vacatureplatform Bold, wijst in dit geval bijvoorbeeld op het bekende feit dat vrouwen over het algemeen pas solliciteren als ze aan alle kwalificaties in de vacature voldoen, terwijl mannen dat veel eerder doen. Als A.I. de sollicitatieprocedure van de sollicitant kan stroomlijnen, zou dit mogelijk de drempels kunnen wegnemen voor mensen die anders minder snel op bepaalde functies zouden solliciteren, zegt hij.
