De komst van ChatGPT leek voor veel recruiters een verademing. Aan vacatureteksten schrijven hebben ze vaak een broertje dood, of ze weten eigenlijk niet zo goed hoe het aan te pakken. Maar hé, nu was er ineens een machine die het voor hen in een handomdraai zou kunnen fixen. Handig! En dus rolden sinds die tijd heel wat vacatureteksten uit de ChatGPT-algoritmes. Maar of het nou werkelijk zo’n goed idee is? Inmiddels worden ook de nadelen steeds duidelijker, zegt bijvoorbeeld Marcel Leeman.

Eigenlijk kun je als recruiter niet beoordelen of de tekst die ChatGPT oplevert wel de doelgroep aanspreekt.

De CEO en oprichter van Textmetrics heeft het dan niet alleen over de matige schrijfkwaliteit van de tool, net zoals die van andere Large Language Models als bijvoorbeeld Claude of Google Gemini. Ook noemt hij een gebrek aan consistentie: dezelfde prompt zal steeds een andere uitkomst opleveren. Plus: de kwaliteit van de data erachter is twijfelachtig. En misschien nog wel het ergste: eigenlijk kun je als recruiter helemaal niet beoordelen of de tekst die een van deze tools oplevert wel de doelgroep aanspreekt – of onbewust juist mensen uitsluit. Dat proces gebeurt immers precies zoals je het zegt: onbewust.

Gemiddeld geschreven

‘Generatieve A.I. zoals die van ChatGPT is vooral getraind op Amerikaanse en Engelse teksten’, legt hij uit. ‘Als je dan vraagt om een begrijpelijke tekst, dan hoor niet alleen al snel het Amerikaans of Engels ertussendoor, maar krijg je bovendien een heel gemiddelde tekst. Maar mensen schrijven niet gemiddeld begrijpelijk. Hetzelfde geldt als je bijvoorbeeld vraagt om een genderneutrale tekst. Dan krijg je wat de gemiddelde Amerikaan schrijft. Maar dat is natuurlijk iets heel anders. Er zit gewoon een groot verschil in de training die een LLM krijgt en wat wij ervan verwachten.’

‘Omdat je als gebruiker niet weet hoe zo’n LLM getraind wordt, weet je ook niet wat de kwaliteit is.’

De output van ChatGPT is ook lastig bij te sturen, benadrukt hij. ‘Wij kunnen als individu of bedrijf niet zeggen: nou, ik ga die LLM nu eens trainen, zodat die de volgende keer wél weet wat een genderneutrale tekst is. Dus dat is eigenlijk het tweede gevaar wat eraan vastzit. Omdat je als gebruiker niet weet hoe zo’n LLM getraind wordt, weet je ook niet wat de kwaliteit is, en of die ook daadwerkelijk verbetert naar jouw wensen. Je weet wat je erin stopt, en wat je eruit krijgt, maar wat daartussenin gebeurt? Daar heb je geen weet van.’

Generatief, dus creatief

Dat is lastig, aldus Leeman, want generatieve A.I. heeft nog een opmerkelijke eigenschap: het is creatief. Logisch, zegt hij, je vraagt het systeem namelijk om iets te creëren. Maar…, zo voegt hij toe: ‘Als je honderd keer iets vraagt, zal het antwoord honderd keer anders zijn. Daar valt natuurlijk veel op af te dingen. Als je vacatures wilt schrijven, wil je tenslotte ook een bepaalde tone-of-voice en brand consistency over je hele organisatie heen. Maar krijg je dat ook? Mensen zijn vaak onder de indruk van hoe snel de systemen iets kunnen genereren, maar de kwaliteit ervan, daar kun je wel je vraagtekens bij stellen.’

Zijn de teksten bijvoorbeeld SEO-geoptimaliseerd? Zijn ze genderneutraal? Spreken ze de taal van je doelgroep? ‘Als dat allemaal je doel is, zijn de resultaten van LLM’s zelden effectief. En wat het extra moeilijk maakt: dat kun je zelf eigenlijk ook niet goed beoordelen. Je kunt bijvoorbeeld wel dénken dat de teksten het goed doen qua SEO, maar welke garanties krijg je daarop? Als je kwalitatieve eisen gaat stellen, dan gaat het vaak mis. Als je ook je vacatureteksten ziet als een strategisch middel om je hele talent acquisition te verbeteren, zoals wij dat doen, dan liggen ChatGPT en Gemini best ver af van het ideaal.’

Langs de as van je content-architectuur

Omdat zijn eigen bedrijf, Textmetrics, ook in Smart AI Writing Software doet, wordt het in de beeldvorming nogal eens verward met de bekendere Amerikaanse LLM’s. Maar het verschil kan bijna niet groter zijn, benadrukt hij. ‘Textmetrics is géén tooltje waarmee een recruiter handiger een vacaturetekst kan maken. Nee, het is een strategische tool om langs de as van je content-architectuur – dus van: hoe schrijf jij je content? – de totale performance van je organisatie te verbeteren.’

‘Elke LLM is in essentie onbetrouwbaar. Dat moet-ie ook blijven, anders is-ie niet creatief.’

En dat is volslagen iets anders dan even snel een ChatGPT-tekstje opvragen, zegt hij. ‘Dat is juist een gevaar voor je strategische doelen. Omdat je niet weet of het consistent is, en bijdraagt aan de vindbaarheid. Elke LLM is in essentie onbetrouwbaar. Dat moet-ie ook blijven, anders is-ie niet creatief. Maar je ziet dus ook: als organisaties niet de middelen bieden die bijdragen aan de strategische doelen, dan blijven recruiters op het niveau van ChatGPT hangen. En daarmee krijgen ze dus wel teksten, maar worden die in de loop van de tijd niet beter.

Is die tomaat rijp of niet?

Er is – kortom – een tweede soort van A.I. nodig, stelt Leeman. Niet alleen een generatieve A.I., maar eerder een onderscheidende of classificerende A.I. Een systeem dat leert van zijn eigen fouten, dat dieper kijkt, en niet alleen steeds iets nieuws creëert, maar ook uitkomsten kan toetsen aan bepaalde voorwaarden. Geen systeem dat een tomaat creëert, maar ‘een systeem dat kan zien of die tomaat rijp is, bijna rijp of nog helemaal niet’, zoals hij het mooi uitdrukt. ‘Een systeem dat kijkt: is die tomaat groot genoeg? Is die rood genoeg, zacht genoeg? Waarbij elke dezelfde tomaat op dezelfde tijdstip hetzelfde label krijgt. Je kunt er geen tomaat mee tekenen, maar wel mee beoordelen.’

Op taalgebied, zegt Leeman, heb je gewoon zo’n onderscheidende A.I. keihard nodig om de output van de generatieve A.I. te corrigeren en zo goed mogelijk te sturen. En precies dat gebeurt dus ook in de systemen van Textmetrics, zegt hij. De generatieve A.I. (op basis van LLM’s) is via plug-ins geïntegreerd, maar tegelijkertijd check je de uitkomst ervan met de algoritmes van de onderscheidende A.I. op bijvoorbeeld genderneutraliteit en SEO-optimalisatie. ‘We werken nu zelfs al aan een geautomatiseerde dialoog tussen die twee, waarbij de check van de laatste ervoor zorgt dat de eerste met steeds betere resultaten komt.’

‘Er is nu al een geautomatiseerde dialoog tussen de generatieve en onderscheidende A.I. mogelijk.’

Het grote voordeel: onderscheidende A.I. is wél zelf te trainen, en je kunt bijvoorbeeld een bepaalde tone-of-voice van een organisatie invoeren, woorden die je liever wilt vermijden, of een format waaraan je wil dat al je vacatures voldoen. Vergelijk het met een spellingchecker, maar dan wel eentje die veel breder kijkt dan spelling alleen. En waar je zelf nog aan de knoppen kunt zitten om het verder te verbeteren. Je kunt dan het systeem met een volledige gecheckte tekst laten komen. ‘In plaats van minimale kwaliteit tegen minimale kosten krijg je dan maximale kwaliteit tegen minimale kosten’, zoals Leeman het samenvat.

Dynamische prompts

Een heel team aan schrijvers, of zelfs schrijvers over verschillende afdelingen heen, kunnen dan makkelijk met één plug-in met een gelijke tone-of-voice werken, en hun gezamenlijke output bespreken en verbeteren. Zo krijg je ook ‘dynamische prompts’ voor de generatieve A.I., die rekening houdt met verschillende randvoorwaarden, legt Leeman uit. Dus nogmaals, benadrukt hij: hij heeft niets tégen ChatGPT, of welk ander LLM dan ook. ‘Maar als je er volledig op vertrouwt voor je vacatureteksten, dan doe je jezelf – en je bedrijfsdoelstellingen – ermee tekort.’

‘Hoe meer creativiteit uit de Generatieve A.I., hoe meer Textmetrics nodig is.’

Want hoe meer creativiteit, hoe meer Textmetrics nodig is, benadrukt hij daarom nog maar eens. ‘ChatGPT is creatief en daarmee leidt elke prompt/opdracht tot een ander resultaat. En dat is goed, want anders is het niet creatief. Maar als je doelstelling is om juist consistentie te creëren in bijvoorbeeld je tone of voice, begrijpelijkheid, SEO en genderneutraliteit, dan vergroot elke tekst die ChatGPT creëert juist het risico dat die beoogde consistentie niet ontstaat. Een creatief gemaakte tekst (door een A.I. of door een mens) beoordelen en bijsturen, dát is de kern van Textmetrics.’

Lees ook

• Grip krijgen op A.I.: dit zijn de 9 aandachtspunten om op te letten