ITEM METADATA RECORD
Title: Multilevel Design Efficiency using Simulation.
Other Titles: Multiniveau ontwerpt efficiëntie gebruik makend van simulatie.
Authors: Cools, Wilfried
Issue Date: 6-Oct-2008
Abstract: Multiniveaumodellen houden op flexibele wijze rekening met de afhankelijkheid van de observaties ten gevolge van bijvoorbeeld een getrapte steekproeftrekking of herhaalde metingen. Multiniveaumodellen worden gebruikt voor het uitvoeren van meta-analyses en multivariate analyses. De afhankelijkheden tussen de observaties bepalen mede het optimale onderzoeksontwerp, zoals het aantal en de soort van onderzoekseenheden op elk van de niveaus. De keuze van het onderzoeksontwerp is van belang, omwille van de noodzaak om voldoende accurate schattingen te krijgen en statistische toetsen uit te voeren met een voldoende onderscheidingsvermogen, zonder dat die voor onnodig grote kosten zorgt. Zowel de accuraatheid als het onderscheidingsvermogen kunnen veelal verhoogd worden door bijkomende onderzoekseenheden te selecteren, indien voldoende middelen beschikbaar zijn. Vooral bij sociaal, gedrags, -en pedagogisch onderzoek, met doorgaans kleine effecten en grote onverklaarde variantie is de efficiënte toewijzing van middelen erg belangrijk.Het bepalen van de efficiëntie van een multiniveau-onderzoeksontwerp is niet eenvoudig. Ten eerste moet er op elk van de niveaus beslist worden hoeveel onderzoekseenheden nodig zijn, rekening houdend met de kosten voor het selecteren van onderzoekseenheden op elk van de niveaus. Ten tweede kunnen naast de regressiecoëfficiënten ook de variantie- en covariantieparameters onderwerp van studie zijn. Om deze parameters te bestuderen wordt in de verhandeling gebruik gemaakt van simulatiestudies die toelaten om empirische steekproevenverdelingen te schatten voor de parameters waarin men geïnteresseerd is. Aan de hand van deze steekproevenverdeling kunnen een aantal statistieken worden berekend. Weliswaar kunnen analytisch ontwikkelde vergelijkingen ook nuttig zijn voor het bepalen van enkele van die statistieken, maar enkel in zoverre de assumpties die onderliggend zijn aan deze vergelijkingen gerespecteerd worden. Met numerieke technieken, zoals simulatie, is er meer flexibiliteit, al is dit veelal ten koste van de rekentijd en de generaliseerbaarheid. Deze generaliseerbaarheid is uiteraard geen probleem indien de simulaties specifiek voor de vooropgestelde studie worden opgezet.Het specificeren van een dergelijke simulatiestudie vereist enige technische vaardigheid in het opzetten van macro’s. Om toegepaste onderzoekers met weinig ervaring in het opzetten van dergelijke simulaties te ondersteunen werd in het kader van het doctoraatsonderzoek een set van scripts ontworpen die hierbij helpen. Het hoofddoel van deze scripts is om multiniveau-ontwerpen met uiteenlopende steekproefgroottes op de verschillende niveaus te vergelijken. Deze vergelijking laat daarenboven toe dat het aantal onderzoekseenheden beperkt is vanwege de niveauspecifieke kosten voor het selecteren van onderzoekseenheden. Tot dusver zijn de scripts enkel nuttig voor observaties op een continue schaal. Handmatige uitbreidingen van de gegenereerde macro’s laten echter bijkomende flexibiliteit toe.Om ML-DEs te demonstreren wordt een schooleffectiviteitsstudie besproken, waarin de geobserveerde studenten gegroepeerd zijn binnen klassen, die op hun beurt gegroepeerd zijn binnen scholen. Het doel van de studie was om het optimale aantal onderzoekseenheden te bepalen, rekening houdend met de beperkingen. Vooral de schatting en het toetsen van het regressiegewicht van een predictor en de variantie ervan worden in detail bekeken, waarbij het laatste niet mogelijk is met de bestaande software. Een alternatieve wijze om deze scripts te gebruiken wordt gedemonstreerd voor een drieniveaumodel, aan de hand van een studie van gekoppelde paren die herhaaldelijk werden geobserveerd. Op basis van de gepresenteerde studies kunnen studiespecifieke inferenties worden gemaakt. Daarenboven bieden de gepresenteerde studies een reeks visualisaties van inzichten zoals die in de literatuur staan beschreven.Bijkomend kan ML-DEs ook worden gebruikt om een dieper inzicht te krijgen in meer algemene relaties bij multiniveau onderzoek, zoals we illustreren in een simulatiestudie rond het gevolg van ongebalanceerde data. Uit ons onderzoek bleek dat ongebalanceerdheid weinig invloed heeft op de efficiëntie van de ontwerpen, tenzij het gaat om data met een grote meerderheid van erg kleine groepen, vooral voor parameters die een relatie met een predictor uitdrukken.
Table of Contents: general introduction
ML-DEs: A program for designing efficient multilevel studies
Multilevel design efficiency in educational effectiveness research
Multilevel design efficiency: economizing a matched-pairs repeated-measures design
Design efficiency for imbalanced multilevel data
discussion
appendix
URI: 
Publication status: published
KU Leuven publication type: TH
Appears in Collections:Methodology of Educational Sciences
Faculty of Psychology and Educational Sciences @ Kulak – miscellaneous
Leuven Statistics Research Centre (LStat)
Administrative and Support Services, Faculty of Science
Quantitative Psychology and Individual Differences

Files in This Item:
File Description Status SizeFormat
ML-DEs boekske.pdf Published 2531KbAdobe PDFView/Open

These files are only available to some KU Leuven staff members

 


All items in Lirias are protected by copyright, with all rights reserved.