Expert Sessies
Overzicht

Alles over Assessments Expert Sessie
De toekomst van de intelligentietest

Vraag en antwoord



Vraag: Hoe kan het dat werkervaring NIET voorspellend is/zou zijn?

Marise: Een terechte vraag want je zou dit resultaat inderdaad niet meteen verwachten. Uitkomsten van een meta-analyse van Van Iddekinge et al. (2019) bevestigen inderdaad niet het voor de hand liggende idee dat eerdere werkervaring sollicitanten in staat stelt kennis en vaardigheden te ontwikkelen die hen vervolgens weer zullen helpen in hun nieuwe baan.

In plaats daarvan lijken de resultaten van Van Iddekinge et al. eerder in overeenstemming te zijn met het idee dat er een negatieve overdracht is van leren in een baan, namelijk dat wat werknemers hebben geleerd in een eerdere baan en een eerdere organisatie niet wordt overgedragen naar volgende banen met misschien net wat andere taken en KSAOs (knowledge, skills, abilities and other characteristics), en naar banen in andere organisaties met een net weer een andere cultuur en normen.

Vraag: In hoeverre verschuiven de criteria voor job succes? Van inhoud deskundigheid naar procesvaardigheid.

Marise: Als hiermee bedoeld wordt, 'verschuivende functie-eisen in de tijd'? Dan ja, er zijn diverse onderzoekers die stellen dat de 21st century skills verschuiven, en dat werknemers steeds meer moeten beschikken over ‘complex problem solving skills’ en ‘collaborative problem solving skills’. Wellicht zou je de eerste groep toch kunnen zien als leervermogen/ G-fluid, en de tweede groep meer als proces-vaardig?

Als het gaat om verschuiving gedurende de tijd dat iemand een baan heeft, dan wordt er wel gesproken van ‘dynamische criteria’, dat wil zeggen dat in de beginperiode in een baan vooral cognitieve capaciteiten belangrijk zijn en dat naarmate men langer in de baan werkzaam is, niet-cognitieve zaken belangrijker worden (werkstijlen, persoonlijkheid, enz.). Hopelijk begrijp ik je vraag goed?

Vraag: Wat is het probleem met grote groepsverschillen op een voorspeller/instument?

Marise: Het probleem van grote groepsverschillen is dat bij selectiebeslissingen de ene groep benadeeld kan worden ten opzichte van de andere groep, als bijvoorbeeld die groep gemiddeld lager scoort op de predictor en als je streng selecteert en maar weinig mensen uit de sollicitantengroep kunt aannemen. Het gevolg daarvan is dat je organisatie niet divers is. Het antwoord op deze vraag hangt trouwens sterk samen met het fairness-model dat je zelf aanhangt en of de groepen daadwerkelijk verschillen op een bonafide functie-eis. Dit is een heel thema op zich.

Vraag: Wat is job succes? kijk bijvoorbeeld naar Marc Overmars of John de Mol. Super succesvol maar…

Marise: De vraag wat job succes is is een enorm belangrijke. Willen we taakprestatie voorspellen, ‘extra role’-gedrag (ook wel organizational citizenship behavior’ genoemd, een beetje ‘zwaar’ vertaald als ‘burgermanschap’), contraproductief werkgedrag (pesten, me too…). Afhankelijk van het criterium (het type ‘werksucces’ dat je wilt voorspellen) zal een andere combinatie van predictoren van belang zijn.

Vraag: Black-White d voor GMA is erg hoog. In hoeverre kun je dit verschil minimaliseren door gebruik te maken van een (zo veel mogelijk) cultuurarme capaciteitentest?

Marise: Ja eens dat dit verschil bijzonder groot is. Vraag is in hoeverre deze resultaten (Black-White in Noord-Amerika) te generaliseren zijn naar de verschillende groepen in Nederland. Alweer een tijd geleden hebben De Meijer et al. (2006) bijvoorbeeld onderzoek gedaan naar de selectieprocedure van de Nederlandse politie, en terwijl het verschil grofweg even groot was voor sollicitanten uit de eerste generatie met een migratieachtergrond, waren de verschillen alweer kleiner voor sollicitanten uit de tweede generatie met een migratieachtergrond. Ik denk zeker dat het de moeite waard blijft om capaciteitentests cultuurarmer te maken en om af te stappen van het meten van algemeen IQ maar om na te gaan welke specifieke cognitieve capaciteiten gemeten kunnen worden om het latere werkgedrag te voorspellen (zie ook Ployhart & Holtz, 2008, die op deze optie wijzen).

Vraag: Hoe hoog was de voorspellende waarde van proefstuderen?

Karen: Helaas is deze vraag wat lastig te beantwoorden. De reden hiervoor is dat het meeste onderzoek bij geneeskunde in Nederland zich gericht heeft op het vergelijken van studenten die binnengekomen zijn via loting of via selectie op verschillende uitkomstmaten tijdens de opleiding. Zo vond De Visser in 2016 bijvoorbeeld dat studenten geselecteerd op basis van proefstuderen vaker de BSA norm haalden, minder uitvielen, vaker nominaal studeerden en hogere cijfers haalden dan ingelote studenten. In de context van selectie voor geneeskunde in België vonden Lievens en Coetsier in 2002 een correlatie van 0.19 voor twee ‘mini’ work samples (een opgenomen college en het lezen van een medische tekst).

Vraag: Is er geen onderzoek beschikbaar naar relatie goede student - DCS score en presteren als arts? Soort longitudinaal onderzoek.

Karen: Een terechte vraag. Helaas is dit soort longitudinaal onderzoek beperkt. De belangrijkste reden is dat het lastig is om geschikte uitkomstmaten te vinden voor prestaties van artsen in de praktijk die gekoppeld kunnen worden aan persoonlijke kwaliteiten die tijdens de selectie gemeten worden. Studies uit het buitenland hebben hiervoor, met hoopgevende resultaten, gebruik gemaakt van supervisor ratings, de behoefte aan remediering tijdens de vervolgopleiding of, resultaten op national licensing exams. In Nederland hebben we dat soort nationale examens helaas niet.

Vraag: Gaan deze lessen ook op voor de lange termijn?

Karen: Hoewel we natuurlijk niet in de toekomst kunnen kijken, heb ik wel het gevoel dat deze lessen ook op gaan voor de lange(re) termijn. Zoals al in de lessen aangegeven staat kunnen veranderende omstandigheden de voorspellende waarde verminderen. Ook is het zo dat alles valt of staat met de kwaliteit van de selectie-instrumenten. Maar over het algemeen denk ik dat deze lessen bruikbaar zullen blijven.

Vraag: Hoe kijk je aan tegen de uitlegbaarheid aan kandidaten van de resultaten op een GBA? Dit hangt volgens mij ook samen met de kandidaat-ervaring; val je af dan is niet goed uitlegbaar waarom.

Nadine: De sleutel is hierin wat de game-based assessment meet, want dit geeft ook aan wat een testscore betekent en hoe je deze kunt uitleggen. Het game-based assessment van Landers en collega's en van Ixly beoogt algemene intelligentie te meten. Ik zeg nu beoogt te meten, omdat we pas na onderzoek naar validiteit kunnen aantonen dat een test ook meet wat deze beoogt te meten. Nu heeft Landers en collega's, zoals ik ook noemde, onderzoek gedaan naar de validiteit en is Ixly bezig met dataverzameling voor een validiteitsonderzoek. Net als voor klassieke intelligentietesten zou als een game-based assessment ook daadwerkelijk intelligentie meet, de testscore op dezelfde manier uitgelegd kunnen worden als de score op een klassieke intelligentietest.

Inderdaad hangt dit ook samen met de kandidaat ervaring; je kunt in onderzoek aantonen dat een game algemene intelligentie meet, maar dit wil niet zeggen dat de kandidaat dit ook zo ervaart. Dit gaat om de face validity van de GBA, dit is een onderdeel van de algehele ervaring van kandidaten. Dit is ook zeker een belangrijk onderzoeksgebied en zal per game-based assessment verschillen.

Vraag: Voor welke functie/type organisatie past gamification het meeste?

Nadine: Wat ikzelf zie is dat dit grotere organisaties aanspreekt die kandidaat ervaring belangrijk vinden. Verder hangt het af van wat de game-based assessment beoogt te meten, voor welke functies/type organisaties deze het meest passend zijn. De voorbeelden die ik noemde beogen algemene intelligentie te meten en zouden daarmee grootschalig inzetbaar zijn. Deze game-based assessments bestaan uit verschillende games die specifieke cognitieve vaardigheden meten. Deze specifieke cognitieve vaardigheden zouden wel voor de werktaken binnen de ene functie relevanter kunnen zijn dan voor de ander. Als voorbeeld wordt vaak geopperd (dit is voor zover ik weet niet onderzocht) dat respons inhibitie (impuls controle) belangrijker zal zijn voor functies binnen de politie, brandweer en krijgsmacht. Zelf ben ik onderzoeker en daarmee voorzicht in uitspraken doen over welke specifieke cognitieve vaardigheden het beste gemeten kunnen worden voor een bepaalde functie. Ik denk zelf dat op basis van een functie analyse het beste gekeken kan worden welke specifieke cognitieve vaardigheden het belangrijkst zouden kunnen zijn.

Vraag: Is de voorspellende waarde van intelligentietests even groot voor verschillende functieniveaus (MBO vs WO niveau)?

Nadine: De voorspellende kracht voor werkprestatie is lager voor lage complexe banen dan voor meer complexe banen. Voorbeelden van minder complexe banen zijn administratief medewerker. Dit is op basis van meta-analyses van studies naar de voorspellende waarde van intelligentie voor werkprestatie. Per meta-analyse is baan complexiteit ook weer anders geoperationaliseerd, zo gebruikt Salgado en anderen (2003) de classificatie van de Department of Labor. Dus baan complexiteit is niet hetzelfde te noemen als functieniveau. Maar over het algemeen zou je inderdaad kunnen zeggen dat de voorspellende waarde groter is voor meer complexe functies en daarmee voor meer WO niveau functies.