Drie vragen aan: Rob Meijer

Rob Meijer is Hoogleraar Psychometrische en statistische technieken aan de Rijksuniversiteit Groningen

Professionals overschatten vaak de nauwkeurigheid van hun oordeelsvorming

Op welke vraagstukken richt uw onderzoek zich?

Naast psychometrisch onderzoek naar de kwaliteit van assessments hou ik mij nu vooral bezig met testgebruik en tests en beslissingen. De psychometrische kwaliteit is belangrijk, maar hoe test- en assessmentresultaten worden gebruikt om beslissingen te nemen, en op basis waarvan beslissingen worden genomen is minstens zo belangrijk in de assessmentpraktijk. Wat doen assessmentspecialisten met de informatie die ze hebben over degene die ze moeten beoordelen? Wat weten we uit de assessmentliteratuur en wat gebeurt er in de praktijk? Kunnen we de praktijk helpen om beoordelingen beter te maken.
Hoe? Ik denk dat “beslissen met tests” te weinig aandacht heeft gekregen in de assessmentliteratuur en de praktijk en we proberen nu vanuit Groningen professionals verdere handvatten te geven om beslissingen consistent, valide en transparant te maken.

Welke inzichten wilt u vanuit uw vakgebied graag delen met de assessmentpraktijk?

Als een assessment psycholoog een beslissing neemt, gaat het vaak om predictie. Bij predictie spelen twee zaken een rol: het kiezen van een aantal valide predictoren en hoe die te combineren volgens een vaste regel. Professionaliteit speelt een belangrijke rol bij het kiezen van de juiste predictoren, maar voor het combineren van predictoren kan beter een beslisregel worden gebruikt. Professionals overschatten vaak de nauwkeurigheid van hun oordeelsvorming.

Het is goed te bedenken: welke informatie heb ik gebruikt om tot een oordeel te komen? Was dit valide informatie, gebaseerd op empirische evidentie in de context zoals ik het ook gebruik? En hoe heb ik de informatie gecombineerd? Weet ik welke gewichten ik heb gegeven aan de verschillende predictoren? Of vertel ik mijzelf nu een mooi verhaal?

Psychologen die veel over dit onderwerp hebben geschreven zijn Meehl, Dawes en later Kahneman. Hun werk is zeer de moeite waard, het betreft de (methodische) basis van wat wij doen als assessmentpsychologen. De resultaten zijn vaak tegen-intuïtief, wat veel reactie oproept in het veld. Mij maakt het echter trots: Dit is kennis die de leek niet heeft. En wanneer we deze kennis toepassen als assessmentpsychologen laten we zien welke waarde ons vakgebied heeft voor de praktijk. Hun werk is vaak humoristisch, waardoor het ook leuk is om te lezen. Een mooi prikkelend citaat vind ik:
“After reading these studies, it almost looks as if the first rule to follow in trying to predict the subsequent course of a student’s or patient’s behavior is carefully to avoid talking to him, and that the second rule is to avoid thinking about him!”
Paul Meehl (1956): Wanted--a good cookbook. American Psychologist,11, 263-272.

Welke artikelen ziet u als ‘must reads’ in uw vakgebied?

Alles van Meehl, Dawes en Kahneman is de moeite waard. Maar voor assessment psychologen zijn met name de papers over holistic versus mechanische productie zijn een must read. Een heel mooi paper waarin alle bezwaren ten aanzien van mechanische predictie worden behandeld en vakkundig onderuit worden gehaald is:

Als er zoiets zou bestaan als een canon van de psychologische vakliteratuur zou dit paper er zeker in moeten staan.
Al het werk van Meehl is te downloaden op een goed onderhouden website:

Een mooi toegepast paper is:

Een toegepast artikel die dit onderwerp behandeld is van Susan Niessen, Rob Meijer, Marvin Neumann: 'Een goed verhaal maakt nog geen goede beslissing', verschenen in de Psycholoog en te downladen via: