Ein klassisches Beispiel für einen Mangel im Auswahlverfahren, der auch durch eine sehr große Stichprobe nicht ausgeglichen werden konnte, ist das „Literary Digest Disaster“. Das US-amerikanische Magazin Literary Digest versuchte 1936 den Ausgang der Präsidentschaftswahl anhand einer Erhebung der Leserschaft des Digest zu ermitteln, das als unpolitische Publikation Leser unter Anhängern beider Lager besaß. Neben einer postalischen Befragung wurde zusätzlich eine Telefonbefragung durchgeführt, basierend auf einer Zufallsauswahl anhand des Telefonregisters. Die Befragung erreichte insgesamt mehr als 10 Millionen Wahlberechtigte, von denen sich etwa 2,3 Millionen beteiligten. Auf der Basis dieser Ergebnisse prognostizierte der Literary Digest einen Erdrutschsieg für den Republikaner Landon, tatsächlich erhielt jedoch der Demokrat Roosevelt das Mandat für eine zweite Amtszeit.
Die große Abweichung lässt sich auf zwei Verzerrungseffekte zurückführen. Bei der Telefonbefragung wurde nicht bedacht, dass Telefone 1936 nicht flächendeckend verfügbar waren und sich der Großteil aller Anschlüsse in einkommensstarken Haushalten befand, die traditionell dem konservativ-republikanischen Lager zuneigen. Es ist hervorzuheben, dass auch eine korrekt durchgeführte Zufallsauswahl nicht zu einer repräsentativen Stichprobe führt, wenn sie aus einer Teilmenge entnommen wird, in der hinsichtlich der interessierenden Merkmale keine Strukturäquivalenz zur Grundgesamtheit besteht. Dieses Problem tritt in der Online-Marktforschung insbesondere bei der Rekrutierung aus Online-Panels auf.
Der größere Anteil der Wahlberechtigten wurde auf dem Postweg erreicht, doch nur etwas mehr als 20% beteiligten sich an der Stimmabgabe. Da das Merkmal „Motivation“ in der Regel nicht zufällig in einer beliebigen Personengruppe verteilt ist, ist dadurch, dass die Angesprochenen selbst entscheiden, ob sie zur Stichprobe gehören, eine Verzerrung zu erwarten. Die Stichprobe konstituiert sich in solchen Fällen gewissermaßen selbst, ein Vorgang, der als Selbstselektion bezeichnet wird und für Online-Befragungen von großer Bedeutung ist.
Festzuhalten ist, dass keiner der beiden Effekte durch den großen Umfang der Stichprobe abgemildert wurde. Die Stichprobengröße ist daher kein entscheidendes Kriterium zur Beurteilung der Untersuchungsgüte. Obwohl dies in der Marktforschung bekannt ist, wird insbesondere in der Online-Marktforschung häufig mit großen Teilnehmerzahlen für Ergebnisse geworben. Durch die Hervorhebung der Stichprobengröße wird diese den Konsumenten gegenüber implizit als Indikator für Güte und Repräsentativität präsentiert.
Quellen[]
C.Reinboth: Auswirkungen der Stichprobengröße auf die Repräsentativität von Online- Befragungen, in: G. Beibst (Hrsg.): Tagungsband zur 8. Nachwuchswissenschaftlerkonferenz mitteldeutscher Fachhochschulen, Jena.
Greenberg, D. (2000). Internet economy gives rise to realtime research, Quirk's Market Research Review, Issue 7/2000.
= Weblinks[]
http://www.scienceblogs.de/frischer-wind/2008/05/das-literary-digest-disaster.php