Wenn Sie abstimmen müssten, ob sie lieber einen Apfel oder eine Banane haben wollen, wie würden Sie sich entscheiden?
Stellen Sie sich vor, ich sage Ihnen, dass die Banane relativ viel Zucker enthält und leicht zu Verstopfung führen kann, während der Apfel wenige Kalorien hat und sehr gesund ist: Wie würden Sie sich jetzt entscheiden?
Die Fragestellung bei einer Umfrage ist enorm entscheidend für das Ergebnis. Die Kognitionsforscherin Elisabeth Wehling beschreibt es so:
Umfragen nutzen oft die falschen Wörter. Wörter nämlich, die im Gehirn des Antwortenden ideologisch selektive Deutungsmuster aufrufen. Wörter, die damit seine Positionierung zu einem Thema entscheidend mit vorgeben. Befragt man Bürger zur Migrationsbewegung, so sprechen sie sich eher dafür aus – spricht man sie aber auf die Migrationswelle an, sind sie stärker dagegen. Und zwar bei identischer Faktenlage!
Wichtig ist aber auch der Kontext der Umfrage: Welche Informationen gebe ich, bevor ich meine Frage stelle? Gerd Bosbach, Professor für Empirische Wirtschafts- und Sozialforschung an der Hochschule Koblenz, sagte mir für ein Interview:
Wenn ich eine Stimmung abfrage und versetze Sie über die Fragen vorher in eine nette Atmosphäre – ich frag Sie über Urlaub – dann sind Sie in einer guten Stimmung. Wenn Sie dann eine Stimmungsfrage bekommen zum Beispiel zu einer Regierung bekommen, dann werden Sie sich wahrscheinlich anders verhalten, als wenn ich sie vorher in schlechte Stimmung – wieviel Steuern zahlen Sie, wie ist das in der letzten Zeit gewachsen, wieviel Geld fehlt Ihnen? In dem Augenblick sind Sie nachher sauer, und wenn Sie sauer sind, werden Sie auf eine Stimmungsfrage ganz anders reagieren.
Ich habe hier schon öfter gezeigt, wie suggestiv die Fragestellung bei Umfragen sein kann. Neulich geriet mir aber eine besonders voreingenommene Fragestellung ins Postfach.
Das Umfrageunternehmen Civey fragte, wieviel die Leute bereit wären, für öffentlich-rechtlichen Rundfunk zu bezahlen, und leitet das mit diesen Vorbemerkungen ein:
Also zusammengefasst: „unabhängig von der Nutzung“, „Kritik“, „Klagen“, „Verfassungsbeschwerden“, „unrechtmäßig“, „verstößt gegen Gleichheitssatz“. Ausschließlich Argumente gegen den öffentlich-rechtlichen Rundfunk. Und jetzt sagen Sie mal bitte, wie viel Sie monatlich zahlen würden?
Zum Stand der Veröffentlichung dieses Blogbeitrags sagten 40,4 Prozent, sie würden „nichts“ bezahlen wollen, 13,7 % zwischen 1 und 5 Euro, 18,7 % zwischen 6 und 10 Euro.
Überrascht Sie das Ergebnis?
Mit der Kritik konfrontiert, verweist Civey auf Hintergrundinformationen, wie sie statistische Unsicherheiten vermeiden:
Das heißt: die Stimmen, die wir über unseren Newsletter generieren, werden für die Frage, die wir im Newsletter versenden, kaum berücksichtigt, damit wir eine suggestive Beeinflussung durch den Kontext vermeiden. Wichtig sind die Stimmen auf „empfohlene Umfragen“.
Wenn Sie die Umfrageergebnisse verfolgen, werden Sie daher sehen, dass der statistische Fehler noch sehr hoch bleibt, solange vor allem Direkt-Votes auf der Umfrage sind. Daher sind manche unserer Umfragen, selbst mit mehreren tausend Abstimmungen, noch nicht repräsentativ.
Das heißt: Nutzer werden per Newsletter dazu aufgerufen, an einer Umfrage teilzunehmen, deren Stimmen werden dann aber kaum berücksichtigt? Das erscheint mir nicht sonderlich plausibel. Civey schreibt dazu (nachzulesen im obigen Twitter-Thread):
Mit dem Newsletter präsentieren wir unserem Panel in der Regel ein tagesaktuelles Thema, zu dem wir eine neue Umfrage erstellt haben. Auch beim Newsletter gilt allerdings: für das System wichtig sind vor allem die Stimmen, die die Nutzer auf weitere Umfragen tätigen. (1/2)
So wird die Frage, die wir im Newsletter ausspielen, auch auf den anderen der rund 25.000 Webseiten ausgespielt, die unsere Umfragen täglich einbinden. Durch diese Votes wird sie dann schließlich repräsentativ. (2/2)
Der Newsletter lässt meist leider (auch aufgrund der gebotenen Kürze) keine umfassende Betrachtung eines Themas zu. Wir bemühen uns aber in der Regel um eine nicht allzu einseitige Formulierung und werden uns dies auch in Zukunft zu Herzen nehmen. Danke für das Feedback!
Und selbst wenn der Großteil der Stimmen in einem kontextfreien Umfeld erhoben wurde, kommen mir die als repräsentativ ausgewiesenen Ergebnisse nicht sonderlich plausibel vor. Etwa wegen der Fragestellung:
Wie viel würden Sie monatlich pro Haushalt für den öffentlich-rechtlichen Rundfunk bezahlen, wenn Sie selbst entscheiden könnten?
Bedeutet die Antwort „Nichts“, dass die Antwortenden gerne einen öffentlich-rechtlichen Rundfunk hätten, dafür aber nichts bezahlen wollen? Das wäre nicht realisierbar. Oder bedeutet das, dass die Antwortenden überhaupt keinen öffentlich-rechtlichen Rundfunk möchten, wenn sie dafür bezahlen müssten? Das widerspricht wiederum andere Umfragen, nach denen es eine Mehrheit für den Erhalt des Systems gibt. Oder würden sie für weniger Geld auch weniger Programm akzeptieren?
Ein verwertbares Ergebnis bringt diese Umfrage also nicht. Das hätte man sich aufgrund der Fragestellung, der Kontextualisierung und der Antwortoptionen aber vorher denken können. So bleibt die Frage offen, welchen Zweck die Umfrage überhaupt noch hat. Mir fallen nur zwei mögliche Antworten ein: Entweder wurde sie gedankenlos erstellt, oder man wollte damit Stimmung machen.
Anmerkung: In Vorbereitung auf die Datenschutzgrundverordnung habe ich Widgets, die sich ursprünglich im Text befanden, entfernt und sie durch Links ersetzt.