Wat is representativiteit?

Een van de vragen die ik tijdens een scriptieverdedigingsgesprek weleens stel is: kun je mij iets meer vertellen over de representativiteit van je onderzoek?

Een vervelende vraag. Supervaag natuurlijk. Of je ergens iets over kunt vertellen. En dan ben je ook nog zenuwachtig en net even kwijt wat representativiteit ook alweer was.

Laten wij bij het begin beginnen. Representativiteit start bij de onderzoekspopulatie. Dat is de groep mensen (bedrijven, gezinnen of andere ‘eenheden’) waarover je in je onderzoek uitspraken wil doen. Soms is die groep erg groot, bijvoorbeeld alle klanten van Bol.com. In dat geval trek je een steekproef. Je benadert een deel van de klanten van Bol.com met je enquête (of een interview). Een deel van de klanten reageert op je enquête. Dat is je respons.

En dan komt de vraag waar het bij representativiteit om draait:

Is je respons representatief voor je onderzoekspopulatie?

Met andere woorden: lijkt de groep klanten die je enquête heeft ingevuld op alle klanten van Bol.com? Zijn zij vergelijkbaar op kenmerken als leeftijd, geslacht, inkomen? Komt het gemiddeld aantal bestellingen en wat zij kopen overeen met de rest?

Als die groep klanten op alle klanten van Bol.com lijkt, dan is die steekproef representatief. Vindt bijvoorbeeld driekwart van je respondenten de navigatiestructuur van de website overzichtelijk, dan mag je stellen dat driekwart van alle klanten van Bol.com dit vindt. Volgens Verhoeven (2014) en Baarda et al. (2014) zijn de resultaten dan ‘extern valide’ en zijn die generaliseerbaar naar de totale onderzoekspopulatie.

Ongetwijfeld te stellig, te zwartwit en te kort door de bocht: representativiteit, generaliseerbaarheid en externe validiteit komen allemaal ongeveer op hetzelfde neer.

Representativiteit in de praktijk

In de onderzoekspraktijk valt de representativiteit nogal tegen. Ook het CBS heeft er bijvoorbeeld last van dat bepaalde groepen bedrijven en mensen veel minder bereid zijn om aan hun vragenlijsten mee te werken. Omgekeerd komt ook voor. Een enquête over opvoedingsondersteuning onder ouders wordt vaker ingevuld door vrouwen dan mannen. Heel tevreden of juist heel ontevreden klanten vullen vaker een enquête over de dienstverlening van een bedrijf in. Triest maar waar.

Bedoeld of onbedoeld worden sommige groepen die wel horen bij de onderzoekspopulatie zelfs uitgesloten van deelname. De magazijnmedewerkers hebben bijvoorbeeld geen eigen e-mailadres van het werk. En zij gaan ook niet op dinsdagmiddag winkelen als studenten enquêtes aan het uitdelen zijn.

Dat een onderzoek niet helemaal representatief is, betekent niet dat het onderzoek niet bruikbaar is. Wel is het belangrijk dat je laat zien dat je onderzoek die tekortkomingen heeft en wat je eraan hebt gedaan om dit toch zoveel mogelijk te voorkomen. Wees voorzichtig bij het interpreteren van de data en houd bij je conclusies af en toe een slag om de arm.

Bronnen

Baarda, B., Bakker, E., Julsing, M., Fischer, T., Goede, M. de, Peters, V., & Velden, T. van der. (2014). Basisboek kwalitatief onderzoek. Groningen/Houten, Nederland: Noordhoff.

Verhoeven, N. (2014). Wat is onderzoek? (5e ed.). Den Haag, Nederland: Boom Lemma.