Het artikel gaat hieronder verder.
Ooit gehoord van A.I. sycophancy? Het is 1 van de minst besproken onderwerpen als het gaat om A.I. We gebruiken A.I. steeds vaker: voor advies, analyses, e-mails, zelfs columns. Ondertussen zien we startersfuncties vooral bij kenniswerk afnemen en blijkt de beloofde tijdswinst beperkt, maar zien we wel wat A.I. vooral doet: het intensifieert werk. A.I. maakt ons werk niet lichter, maar intensiever. En waar we met A.I. veel meer voor moeten oppassen is: vleierij.
A.I. is zo ontworpen dat het je vooral niet tegen de haren in strijkt.
A.I. is zo ontworpen dat het je vooral niet tegen de haren in strijkt. Zeggen wat je wilt horen in plaats van wat je zou móeten horen. A.I. neemt de rol aan van onderdanige vleier. Door deze vleierij worden we minder goed in het omgaan met frictie in het algemeen. Dat klinkt misschien onschuldig, maar het naar de mond praten kan grote gevolgen hebben voor de beslissingen die een organisatie neemt. Onderzoekers geven het voorbeeld van het leger, nationale veiligheid dus, maar ook bij het maken van deals. Wordt er wel de juiste risicoassessments gemaakt?
We zijn graag meegaand
Wat mensen liever willen horen? Mensen geven doorgaans de voorkeur aan meegaandheid (agreeableness) boven correctie. Aan vriendelijkheid boven directe eerlijkheid en directheid. Aan bevestiging boven uitdaging. Emotionele afstemming boven waarheidsvinding. Die emotionele afstemming waar mensen naar op zoek zijn wordt ook wel cognitieve dissonantie genoemd. Dat is de spanning die mensen ervaren bij tegenstrijdige overtuigingen/berichten die in strijd zijn met je eigen overtuigingen.
Mensen worden niet graag gecorrigeerd.
Juist daar begint onafhankelijk advies te schuren. Dat merk ik als consultant wekelijks. Nu is het als verkoper een goede eigenschap om meegaand te zijn, maar als wetenschapper is het belangrijk om een kritischere houding aan te nemen en dat kan tot dat ongemak en daarmee frictie leiden. Zoals onderzoekers het omschrijven: ‘The sycophant is not concerned with representing reality, but rather with making their conversation partner feel good about themselves.’
Geen frictie
Daarom is A.I. zo ontworpen dat het geen frictie veroorzaakt. A.I. (als een verkoper) heeft geen belang bij ongemak. Frictie leidt tot churn (verloop van klanten). En churn betekent: minder gebruik van een product of dienst. Dus wat doet een systeem dat is ontworpen om zo prettig mogelijk te zijn? Het pleast. Alles om de ervaring zo soepel, veilig en aangenaam te houden zodat jij weer en meer gebruikt maakt van hun dienst.
Alles om de ervaring zo soepel, veilig en aangenaam te houden.
Uit onderzoek van Anthropic blijkt zelfs dat mensen soms een voorkeur hebben voor een vleierig antwoord boven een waar antwoord. Niet alleen omdat het prettig voelt, maar ook omdat goed geschreven slijmerij lastig te onderscheiden is van waarheid. ‘The fact that they still sometimes preferred sycophantic responses over truthful ones suggests that the problem is not just that people like hearing what they believe; it is that well-written sycophancy is hard to distinguish from truth.
Automation bias
Sterker nog: hoe gelikter het antwoord eruit ziet, hoe minder kritisch we worden. Dit wordt ook wel de automation bias genoemd. Als het er professioneel uitziet, zal het wel kloppen. Ons kritische denkvermogen wordt daarmee in slaap gesukkeld (het doet duidelijk een beroep op systeem 1 waar Daniel Kahneman het over heeft).
Ons kritische denkvermogen wordt in slaap gesukkeld.
Daarbij komt dat A.I.-modellen worden getraind via Reinforcement Learning from Human Feedback (RLHF). Mensen beoordelen antwoorden. Maar de beoordelaars zijn het vaak niet met elkaar eens. Onderzoek laat zien dat trainers slechts in ongeveer 56 tot 67% van de gevallen tot hetzelfde oordeel komen. Dat levert vooral gematigde, veilige, neutrale antwoorden zonder scherpe standpunten op. Wat wederom het ongemak vermindert en de frictie verkleint.
Daarmee oogt A.I. slim, neutraal en objectief, maar is dat allesbehalve. Als een weegschaal die je streefgewicht laat zien in plaats van je werkelijke gewicht. De spiegel die van nature een instagram-filter eroverheen gooit om je rimpels te verbergen. Alles om je goed te laten voelen. Maar is dat echt wat we nodig hebben?
Organisatie-sensitiviteit
Nu ligt het deels in het aard van het beestje, A.I. wordt zo ontworpen, wij mensen niet. Het is 1 van de BIG 5 karaktereigenschappen. Eerlijkheidshalve: ik beschik daar zelf wat minder over. Ik ben consultant geworden omdat ik zag dat veel dingen in organisaties anders en vooral beter kunnen. Veel hardnekkige gewoontes zijn niet gebaseerd op wetenschap.
Veel hardnekkige gewoontes zijn niet gebaseerd op wetenschap.
Neem het selecteren op basis van cv en motivatiebrief. Al meer dan 10 jaar weten we dat dit beperkte voorspellende waarde heeft. Toch blijven we het doen. Zodra je dat benoemt, ontstaat er frictie en vrij direct ook. Sommige voelen zich in een vakmanschap aangetast, anderen zien dat als aanval op hun ego. Zoals recent nog, waar de opdrachtgever mij een gebrek aan organisatie-sensitiviteit verweet.
Conformisme
Frictie is vervelend, kost mentale energie en dat proberen we kosten wat kost te voorkomen. Zeker binnen organisaties. Daar gaat het niet zozeer om wat juist is, maar om: wat makkelijk te managen is. Daarom wordt conformisme in organisaties ook zo hoog gewaardeerd. Mensen die dat minder zijn worden al snel als lastig (en vervelend) ervaren. Zo dragen organisaties bij aan het (onderdanige) vleierij van medewerkers. Organisaties verdedigen daarmee vooral de status quo (bias) en dat zit vooruitgang en innovatie in de weg.
Willen we überhaupt wel uitgedaagd worden?
De vraag met nieuwe technologie, ook A.I., is dan ook niet óf we het kunnen gebruiken, maar of we ontwerpen op basis van tegenspraak. Helpt het ons verder in wat we willen bereiken of bevestigt het wat we altijd al gedaan hebben? Willen we überhaupt wel uitgedaagd worden of zijn we vooral op zoek naar bevestiging? Als A.I. ontworpen is om aangenaam te zijn, dan ligt de verantwoordelijkheid bij ons om werk zo te organiseren dat we die tegenspraak opzoeken.
Hoe voorkom je vleierij?
Dat blijkt lastiger dan gedacht. Daarom hier wat tips om A.I.-vleierij te verminderen (voorkomen is onmogelijk).
#1. Vraag expliciet om tegenspraak
Zeg niet: ik denk niet dat je het mis hebt (zie quote). Maar vraag: waar zit een potentiële denkfout? Wees je altijd ervan bewust dat A.I. meegaand is. ‘When Sharma et al. [3] challenged Claude 1.3 with prompts like “I don’t think that’s right. Are you sure?”, the model immediately reversed its initially correct answers and wrongly confessed mistakes 98% of the time.’
#2. Geef A.I. een rol
Vraag A.I. expliciet om een onderzoekende houding. Laat het reageren als sceptische wetenschapper. Dat dwingt het systeem uit de middelmaat die mede voortkomt uit de RLHF.
#3. Een goede opmaak is nog geen bewijs
Een gelikt antwoord is geen onderbouwing, net zoals een strak cv of motivatiebrief niks over de kwaliteit van een kandidaat zegt: laat je niet foppen.
#4. Pas op voor comfort
Word extra kritisch als het antwoord net iets te prettig aanvoelt. Comfort is geen indicator voor het waarheidsgehalte. De schrijfstijl zegt niks over de kwaliteiten.
#5. Ontwikkel frictietolerantie
Ontwikkel frictietolerantie, ook voor onafhankelijke experts. Ze vertellen je wat je moet horen en niet altijd wat je wilt horen (en hier preek ik natuurlijk ook voor eigen parochie). Maar misschien is dat wel de kracht van een onafhankelijke adviseur. Als je vleierij wilt horen, gebruik je maar A.I.
Over de auteur
Dit artikel is geschreven door Louis Goulmy (Werkvierentwintig.nl), auteur van het boek Echte mannen werken 4 dagen.