Waarom je beter onaardig kunt doen tegen ChatGPT
Chatbots zijn niet altijd even betrouwbaar. Stel je dezelfde vraag twee keer? Dan krijg je soms twee verschillende antwoorden. Toch zijn er een aantal dingen die invloed kunnen hebben op hoe nauwkeurig de chatbot jouw vragen beantwoordt. Bijvoorbeeld: onaardig zijn.
Nauwkeuriger bij onbeleefde vragen
Radar onderzocht vorig jaar of mensen beleefd omgaan met chatbots zoals ChatGPT. Nee, bleek toen. De meerderheid gebruikt geen ‘alsjeblieft’ bij het stellen van vragen en ook ‘dank je wel’ blijft vaak achterwege. En uit onderzoek van de Pennsylvania State University blijkt dat dat misschien wel terecht is.
Zij onderzochten hoe verschillende niveaus van beleefdheid de antwoorden van Large Language Models (zoals ChatGPT) beïnvloeden. Hiervoor creëerden ze 50 vragen over wiskunde, natuurwetenschap en geschiedenis, die ze telkens met een andere toon stelden: zeer beleefd, beleefd, neutraal, onbeschoft en zeer onbeschoft. En wat bleek? ChatGPT gaf nauwkeurigere antwoorden bij de onbeleefde prompts.
Onbeleefde prompts zijn directer
We bespreken dit onderzoek met Uwe Peters, universitair docent aan de Universiteit Utrecht met als expertise kunstmatige intelligentie. Hij vermoedt dat het effect minder te maken heeft met de mate van beleefdheid, maar met de taalkundige vorm van de prompt.
“Onbeleefde of botte prompts klinken vaak directer, korter en dwingender. Ze bevatten mogelijk minder ‘ruis’, waardoor Large Language Models zich nauwkeuriger kunnen richten op de specifieke taak, wat tot een hogere nauwkeurigheid kan leiden.”
Dit beaamt ChatGPT wanneer we vragen of botte vragen zorgen voor nauwkeurigere antwoorden: “Of de vraag ‘bot’ is (kort, direct, onbeleefd) maakt voor mijn nauwkeurigheid niet echt uit, maar soms helpt een botte formulering wel om ruis te vermijden, omdat je dan sneller tot de kern komt.”
‘Vermijd onnauwkeurigheden’ is ook geen goede prompt
Zelf ontdekte Peters ook iets opvallends: “In ons eigen recente onderzoek ontdekten we dat ChatGPT en andere Large Language Models minder nauwkeurig werden wanneer we expliciet vroegen om onnauwkeurigheden te vermijden.”
“Dit kan gebeuren, omdat dergelijke formuleringen een ironisch ‘rebound’-effect teweegbrengen in de tekstgeneratie van het model”, legt hij uit. “Vergelijkbaar met de hardnekkige gedachte aan een roze olifant, wanneer je te horen krijgt dat je niet aan een roze olifant mag denken.”
Veel meer onderzoek nodig
Het verkrijgen van nauwkeurige of betrouwbare antwoorden van Large Language Models is volgens Peters dan ook helemaal niet zo simpel. “Ja, gebruikers kunnen de nauwkeurigheid enigszins beïnvloeden door hoe ze prompts formuleren (bijvoorbeeld door ze duidelijk, kort, specifiek en neutraal te houden) of door de keuze van het model (ouder versus nieuwer), maar er is meer onderzoek nodig om hier meer inzicht in te krijgen.”
Dat benadrukt ook AI-onderzoeker Martijn van Otterlo: “Vanwege de complexe werking van Large Language Models kunnen ze met één woordje verschil al een heel ander antwoord geven. En het verschilt ook over tijd. Dat vergt dus nog heel veel onderzoeken en experimenten, ook voor aspecten als de mate van beleefdheid.”
“Waar je zelf vaak wel gemakkelijk invloed op hebt, zijn de inhoudelijke aspecten”, vertelt hij verder. “Door dingen expliciet in je vraag op te nemen, ‘dwing’ je de bot bepaalde dingen in ieder geval mee te nemen in het antwoord.”
Moreel gezien geen reden om (on)beleefd te doen
Wat verder nog goed is om te benadrukken: ChatGPT heeft geen menselijke vorm van intelligentie. Het is een rekenmodel zonder gevoelens, intenties, bewustzijn en begrip van de fysieke wereld. Moreel gezien is er dus ook geen reden om beleefd of juist onbeleefd te zijn tegen deze machine.
Sterker nog: dit kan je omgang met anderen beïnvloeden. Als je went aan het gebruiken van een onprettige toon tegen ChatGPT, kun je die toon ook gaan hanteren als je met andere mensen praat. Andersom schuilt het gevaar dat je ChatGPT te veel vermenselijkt wanneer je heel beleefde prompts formuleert.