IAT’s discrimineren niet

Weet u het nog?

Geïnspireerd op onderzoek van dr. Eddie Denessen ontwikkelden onderzoekers van de Radboud Universiteit, in opdracht van het Platform Bèta Techniek, twee computertests om houdingen van leraren te meten: één test voor hun houding ten aanzien van wetenschap en techniek en één over hun vooroordelen ten aanzien van jongens en meisjes.

De test zorgde voor veel stampvoetjes in de commentaren.

Bram (wetenschapsliefhebber met een voorkeur voor jongetjes) stuurde een mail naar Eddie Denessen.

Ik ontving onderstaande e-mail van Eddie Denessen van Radboud Universiteit Nijmegen. Met diens toestemming is deze hier in z’n geheel weergegeven. Links zijn door mijzelf toegevoegd

Beste Bram Hengeveld,

Met belangstelling hebben we de discussie naar aanleiding van de IAT op jullie weblog gevolgd.

Wij doen vanaf 2008 onderzoek naar opvattingen van leraren en de effecten van deze opvattingen op de ontwikkeling van leerlingen. Omdat het meten van groeps-stereotiepe opvattingen van leraren moeilijk is (met vragenlijsten vergaar je veel sociaal wenselijke antwoorden) hebben we in de impliciete attitumetingen een alternatief proberen te vinden om dergelijke opvattingen te kunnen vaststellen.

De IAT is inmiddels in veel sociaal-psychologisch onderzoek toegepast. IAT-scores blijken betere voorspellers te zijn van gedrag dan vragenlijstscores, zeker als het gaat om sociaal-gevoelige thema’s, zoals vooroordelen (zie voor een overzicht de meta-studie van Greenwald, Poehlman, Uhlmann, en Banaji (2009). Understanding and using the implicit association test: III. Meta-analysis of predictive validity. Journal of Personality and Social Psychology, 97, 17-41).

In 2010 hebben we twee onderzoeken gepubliceerd naar de effecten van groeps-stereotiepe opvattingen van leraren op de prestaties van leerlingen. Het ging in het ene onderzoek over stereotiepe opvattingen ten aanzien van Turkse en Marokkaanse kinderen (Van den Bergh, L., Denessen, E., Hornstra, L., Voeten, M., & Holland, R. W. (2010). The implicit prejudiced attitudes of teachers: Relations to teacher expectations and the ethnic achievement gap. American Educational Research Journal, 47(2), 497-527) en in het andere over de houding van leraren ten aanzien van dyslexie (Hornstra, L., Denessen, E., Bakker, J., van den Bergh, L., & Voeten, M (2010). Teacher attitudes towards dyslexia: Effects on teacher expectancies and the academic achievement of students with dyslexia. The Journal of Learning Disabilities, 43(6), 515-529). In beide studies hebben we zowel vragenlijsten als IATs gebruikt om de stereotiepe houdingen van leraren te meten en in beide studies bleken de IAT-scores van leraren samen te hangen met de prestaties op CITO-toetsen van leerlingen met een Turkse of Marokkaanse achtergrond respectievelijk de leerlingen met dyslexie. De vragenlijsten die zijn gebruikt bleken in beide studies daarentegen geen voorspeller te zijn van de prestaties.

Op basis van de uitkomsten van onze eerste twee studies hebben we de voorzichtige conclusie getrokken dat de IAT een veelbelovende methode is voor onderwijskundig onderzoek en dat opvattingen van leraren beter met IATs kunnen worden vastgesteld dan met vragenlijsten. Als het gaat om gender-stereotiepe opvattingen heeft de IAT in eerder onderzoek zijn waarde getoond. Zo hebben Nosek et al. in een groot internationaal vergelijkend onderzoek aangetoond dat de gemiddelde ‘gender-science’- stereotiepe attitude in een land samenhangt met de verschillen in techniek- en rekenprestaties van leerlingen in het betreffende land (Nosek, B.A. et al. (2009). National differences in gender–science stereotypes predict national sex differences in science and math achievement, PNAS, 106, 10593-10597).

Vanwege de bewezen waarde van de IAT heeft het Platform BètaTechniek ons de opdracht gegeven om een website te ontwikkelen met IATs voor leraren. De veronderstelling daarbij is dat wanneer testresultaten aan leraren teruggekoppeld worden, dit mogelijk tot reflecties leidt over hun opvattingen en de effecten die deze opvattingen hebben op hun gedrag en de ontwikkeling van hun leerlingen. Of deze veronderstelling daadwerkelijk correct is, moet toekomstig onderzoek uitwijzen.

Natuurlijk is het zo dat respondenten de uitkomsten van een IAT kunnen beïnvloeden, door bijvoorbeeld delen van de test geconcentreerder te maken dan andere, of door opzettelijk langer te wachten met reageren tijdens bepaalde onderdelen van de test. We kunnen niet meer zeggen dan dat het aan te bevelen is om de gehele test serieus en aandachtig uit te voeren. Als dat niet lukt, of als iemand met opzet de score wil manipuleren, dan weet degene die de test heeft gemaakt heus zelf wel wat de waarde van de uitkomst is.

Vriendelijke groeten,

Eddie Denessen

Radboud Universiteit Nijmegen

Dank voor de toelichting Eddie! De vraag was of die test een goede predictor was.

IAT-scores blijken betere voorspellers te zijn van gedrag dan vragenlijstscores, zeker als het gaat om sociaal-gevoelige thema’s

Denessen haalt hierbij een meta-analyse van Greenwald et al aan. Hier is overigens de fulltext (PDF) daarvan te bekijken.

Nu zou de wetenschap de wetenschap niet zijn als hierbij geen vraagtekens werden gesteld. Dus de wetenschap komt naar de twijfelaar toe.

It is this claimed connection between implicit attitudes and discrimination that can make IAT feedback particularly disturbing to test-takers.

Strong claims and weak evidence: reassessing the predictive validity of the IAT. Blanton H et al, J Appl Psychol. 2009 May;94(3):567-82; discussion 583-603. [abstract] fulltext PDF]

Let wel! Dit commentaar op een eerder onderzoek werd voor de voornoemde meta-analyse van Greenwald et al gepubliceerd. Er was nog wel meer kritiek op de IAT’s.

Underlying processes in the implicit association test: dissociating salience from associations. Rothermund K,J Exp Psychol Gen. 2004 Jun;133(2):139-65. [abstract] [ fulltext PDF]

Greenwald et al schreven hierop een antwoord.

Validity of the salience asymmetry interpretation of the implicit association test: comment on Rothermund and Wentura (2004),
Greenwald AG, J Exp Psychol Gen. 2005 Aug;134(3):420-5; author reply 426-30. [abstract] [fulltext PDF]

U ziet. De discussie over de validiteit van deze tests komen niet alleen in de panelen van Cryptoweblog voor. Ook de serieuze psychologische literatuur was het een heen en weer van meningen. Ik ben geneigd om de laatste meta-analyse van Greenwald (ook aangehald door Denessen) het meest serieus te nemen. Een reden daarvoor is juist de discussie die we hadden in de panelen.

Other important findings were that (a) predictive validity of self-report measures (but not of IAT measures) was sharply reduced when research topics were socially sensitive, (b) IAT measures had greater predictive validity than did self-report measures for criterion measures involving interracial behavior and other intergroup behavior, and both IAT and self-report measures showed incremental predictive validity with respect to each other […] in the domains of Black–White interracial behavior and other intergroup behavior (and only in these two domains) IAT measures had greater predictive validity than did self-report measures.

Greenwald vergeleek de uitkomsten van de tests met zelf-gerapporteerde uitkomsten en vond dat als de onderwerpen over ‘gevoelige’ zaken als bijvoorbeeld ras gaan IAT’s een beter beeld geven van de werkelijkheid.