Interbeoordelaar-Betrouwbaarheid: Het coderen van kenmerken van survey items voor de constructie van vragenlijstprofielen

Abstract

Tegenwoordig worden dezelfde surveys vaak afgenomen via meerdere modes, zoals in persoon, via de telefoon en het web. Afhankelijk van de wijze van afname kunnen de antwoorden van respondenten echter verschillen. Om inzicht te krijgen in voor wat voor soort vragen deze antwoorden verschillen, hebben we de items van enkele grote surveys, waaronder de Enquête Beroepsbevolking van het Centraal Bureau voor de Statistiek, door meerdere beoordelaars op hun kenmerken laten coderen. Uit het onderzoek blijkt dat de interbeoordelaar-betrouwbaarheid relatief laag is voor een groot aantal van de kenmerken. Dit suggereert dat onderzoekers voorzichtig moeten zijn in het beoordelen en het gebruik van kenmerken om inzicht te krijgen in mode-specifieke meetfouten.