Alles over Assessments interpretatie van: 'Individual differences and their measurement: A review of 100 years of research.' (Sackett, P. R., Lievens, F., Van Iddekinge, C. H., & Kuncel, N. R.)

De auteurs van dit artikel trachten een overzicht te geven van 100 jaar onderzoek naar individuele verschillen. Individuele verschillen worden in dit artikel gedefinieerd als eigenschappen die stabiel zijn. Stabiel betekent niet per definitie onveranderbaar; voor sommige individuele verschillen (zoals kennis en vaardigheden) geldt dat ontwikkeling mogelijk is door er tijd en energie in te investeren.
Van de besproken individuele verschillen staan de volgende centraal in deze samenvatting:

• (Cognitieve) Capaciteiten, kennis en vaardigheden
• Persoonlijkheid (inclusief integriteit en emotionele intelligentie)

1. (Cognitieve) capaciteiten, kennis en vaardigheden

Cognitieve capaciteiten: In het onderzoek van de afgelopen 100 jaar is hier altijd veel aandacht voor geweest en ook de thema’s zijn hetzelfde gebleven: Er is brede consensus dat cognitieve capaciteiten een belangrijke voorspeller zijn van werkprestatie. Cognitieve capaciteiten kunnen beschouwd worden als een fundamenteel individueel verschil en ze worden gepositioneerd als standaard waarmee andere voorspellers vergeleken worden.
Kennis verwijst naar de feiten die iemand kent en vaardigheden naar wat iemand op een bepaald moment kan. Kennis en vaardigheden zijn gerelateerd aan cognitieve capaciteiten en vormen op zichzelf een belangrijke voorspellers van werkprestatie. Kanttekening hierbij is dat dit alleen onder bepaalde omstandigheden geldt, namelijk wanneer voldoende leermogelijkheden zijn aangeboden. Zonder een zekere basis aan oefening en/of ervaring heeft een meting van kennis en vaardigheden minder voorspellende waarde. Veel onderzoek is gestoeld op de impliciete theorie dat potentieel of talent, met de juiste ontwikkelmogelijkheden, leidt tot het sneller en beter ontwikkelen van kennis en vaardigheden.

2. Persoonlijkheid (inclusief integriteit en emotionele intelligentie)

Van 1917 tot 1990 werd er in onderzoek zeer kritisch gekeken naar het meten van persoonlijkheid, vanwege de mogelijkheid tot sociaalwenselijk antwoorden en dus beperkte betrouwbaarheid en validiteit. In de jaren 90 volgde optimisme door verbeterde onderzoekstechnieken zoals meta-analyses en de ontwikkeling van het vijf factoren model als uniform conceptueel raamwerk. De discussie verplaatste zich van de vraag of persoonlijkheid relevant is voor werkgedrag naar welke persoonlijkheidskenmerken relevant zijn voor welke werkgedragingen. Dit leidde tot de ontwikkeling van werk gerelateerde persoonlijkheidsvragenlijsten met een hogere voorspellende waarde.
Integriteit: Het meten van integriteit heeft een belangrijke plaats ingenomen in zowel onderzoek als praktijk. Veel instrumenten die claimen integriteit te meten (bijv. persoonlijkheidsvragenlijsten of impliciete tests zoals de conditional reasoningtest) focussen op het voorspellen van contraproductief werkgedrag. Hoewel deze concepten aan elkaar gerelateerd zijn, is de sterkte van het verband onderwerp van discussie.
Emotionele intelligentie (EI): Onderzoek toont aan dat de relatie tussen bestaande EI concepten en werkprestatie zwak is, zeker wanneer er gecontroleerd wordt voor de invloed van gevestigde voorspellers als Big Five persoonlijkheidskenmerken en cognitieve capaciteiten. Er bestaan verschillende modellen van EI, waarvan het model van Salovey en Mayer (1990) op dit moment het meeste aandacht krijgt.

Overkoepelende trends

1. Individuele verschillen worden op veel meer verschillende manieren gemeten dan voorheen en zijn dus niet langer gebonden aan een gespecificeerde meetmethode. Voorbeelden: zelf-beschrijvende instrumenten, beoordeling door anderen, situational judgement tests (hierna SJT), gestructureerde interviews. Vervolgonderzoek zou zich moeten richten op construct saturatie: de mate waarin de totale variantie in scores op een meetinstrument ook daadwerkelijk de beoogde constructvariantie weerspiegelt. Een voorbeeld: scores op een geschreven SJT’s meten deels ook verbale vaardigheden terwijl dit minder het geval is met een video SJT.  
2. Het ontwikkelen van impliciete methodes om persoonlijkheid te meten. De waarde van zelf-beschrijvende vragenlijsten is mogelijk beperkt aangezien scores afhangen van de mate van zelfkennis en in hoeverre iemand bereid is eerlijk antwoord te geven. Mogelijke alternatieven voor dit soort vragenlijsten kunnen zijn: 1) conditional reasoning tests, waarbij mensen denken redeneervraagstukken op te lossen, maar de antwoorden eigenlijk verwijzen naar persoonlijkheidskenmerken. De ware bedoeling van de items is meten of de antwoorden, die gebaseerd zijn impliciete biases, aantrekkelijk zijn voor de kandidaat. Mensen die consistent de antwoorden selecteren op basis van dit type bias, zullen meer geneigd zijn bijbehorend gedrag te vertonen omdat ze cognitief voorbereid zijn dit gedrag te rationaliseren. 2) impliciete associatie metingen waarbij bijvoorbeeld persoonlijkheidseigenschappen worden gemeten middels een vergelijking van jezelf met anderen, 3) simulaties & games, waar nog weinig onderzoek naar gedaan is, 4) big data waarbij trends in grote hoeveelheden (online) data geïdentificeerd worden. Ook Big data is beperkt wetenschappelijk onderzocht. Voor zowel simulaties, games als big data is het belangrijk grondig onderzoek te doen naar betrouwbaarheid, validiteit en factor analyse maar de auteurs verwacht dat hier zeker toekomst in zit.    
3. Verrassend genoeg blijken onderzoeksthema’s van 100 jaar geleden nog steeds relevant (zoals faking) wat de vraag doet reizen in hoeverre we steeds het wiel opnieuw aan het uitvinden zijn.

Beperking artikel: het focust zich uitsluitend op publicaties rondom de genoemde thema’s in het Journal of Applied Psychologie. Andere journals worden buiten beschouwing gelaten.

Waarde voor de praktijk

Voor assessmentpsychologen biedt dit artikel aanleiding om kritisch te kijken naar de meetinstrumenten die men gebruikt om de besproken individuele verschillen te meten. Met name de opmerking over construct saturatie is relevant in het licht van inconsistente resultaten in assessment centres. Bijvoorbeeld: iedere assessmentconsultant maakt mee dat we op basis van de uitkomsten op de persoonlijkheidsvragenlijsten ander gedrag verwachten dan de kandidaat in een rollenspel laat zien (veel socialer of juist niet). Hoewel dit ook andere verklaringen kan hebben dan construct saturatie, verdient het de aanbeveling om ook vanuit deze invalshoek naar verschillen te kijken. Verder wekt dit artikel de indruk dat de assessmentpsycholoog grote waarde mag hechten aan resultaten op cognitieve capaciteitentests en persoonlijkheidsvragenlijsten en juist de resultaten op meetinstrumenten die ingaan integriteit en emotionele intelligentie met enige voorzichtigheid mag interpreteren. Datzelfde geldt voor de nieuwe manieren om persoonlijkheid te meten, zoals simulaties, games en big data. De beschikbaarheid van verschillende meetmethoden biedt meer ruimte om de multi trait multi method aanpak toe te passen.  

Sackett, P. R., Lievens, F., Van Iddekinge, C. H., & Kuncel, N. R. (2017). Individual differences and their measurement: A review of 100 years of research. Journal of Applied Psychology, 102, 254-273.