Wie die „Welt“ eine Umfrage schief darstellt

Statt eines Blogeintrags mein Twitter-Thread zum Thema. Es geht um diesen Artikel der „Welt“.

 

Die Meinungsforscher von Insa und ihre Verbindungen zur AfD

Das Umfrageinstitut Insa präsentiert sich als überparteilich. Aber wie unabhängig kann es sein, wenn Insa und Insa-Chef Hermann Binkert der AfD Geld spenden? Darüber berichten Kai Biermann, Astrid Geisler, Andreas Loos und Sascha Venohr für Zeit online. Lesenswertes Stück darüber, dass Meinungsforschung nicht unpolitisch ist, sondern Rückwirkungen auf die Politik hat, nicht nur für den politischen Prozess, sondern auch durch seine Akteure.

Bayerische Staatszeitung löscht mehr als 320 Online-Umfragen

Die Bayerische Staatszeitung hat jahrelang manipulierbare Online-Umfragen durchgeführt. Dabei konnte man zu einer Frage der Woche entweder auf Ja oder Nein klicken. Zunächst ging das nur einmal, aber wenn man das entsprechende Cookie im Browser gelöscht hat, konnte man erneut abstimmen.

Der Grünen-Politiker Dirk Wildt aus Passau hat auf diese Weise mehrere Umfragen manipuliert und mindestens einmal sogar das Stimmenverhältnis gekippt. Nachdem er die Redaktion darauf aufmerksam gemacht hatte, tat die erst mal wenig und führte sogar neue Umfragen durch. Daraufhin wandte er sich an den Deutschen Presserat.

Der entschied im Dezember, dass die Bayerische Staatszeitung gegen den Pressekodex verstoßen hat und sprach einen Hinweis aus – eine eher sanfte Sanktion. Zwischenzeitlich hatte die Redaktion ihre Online-Umfragen bereits gelöscht und will auch keine neuen durchführen.

Über den Fall habe ich gestern bei @mediasres im Deutschlandfunk berichtet.

Presserat billigt Civey-Umfrage

Jeden Tag erscheinen in Medien neue Umfragen – erstellt von klassischen Meinungsforschern und neuen Konkurrenten aus dem Netz. Aber müssen Redaktionen prüfen, wie deren Ergebnisse zustandekommen? Der Presserat hat sich im Falle einer Umfrage des Anbieters Civey nun dagegen entschieden. In meinem Beitrag für @mediasres im Deutschlandfunk habe ich die Entscheidung und den Fall noch mal kurz zusammengefasst.

Presserat sieht in Verwendung von Civey-Umfragen keinen Verstoß gegen den Pressekodex

Gestern habe ich für den Deutschlandfunk über die Beschwerde (mittelbar) gegen Civey vor dem Presserat berichtet. Es ging um die Frage, ob Focus online nach den Regeln des Pressekodex eine Civey-Umfrage als repräsentativ bezeichnen durfte. Jetzt hat der Beschwerdeausschuss entschieden (PDF): Civey-Umfragen dürfen von Redaktionen verwendet werden. Die Begründung dafür ist bemerkenswert:

Aus Sicht des Presserats gab es für die Redaktion keinen Anlass, an der Seriosität ihres Kooperationspartners Civey zu zweifeln. So lagen beispielsweise weder Wettbewerbsklagen noch Maßnahmen der Selbstkontrolle der Markt- und Sozialforschung vor. Vor diesem Hintergrund durfte die Redaktion der Aussagekraft der Ergebnisse vertrauen. Eine eigene wissenschaftliche Prüfung der Umfragemethodik von Civey ist der Redaktion hier nicht abzuverlangen.
Tatsächlich sind Forsa, Infas und die Forschungsgruppe Wahlen, die die Beschwerde angestrengt hatten, nicht beim zuständigen Rat der Deutschen Meinungs- und Sozialforschung gegen die Umfrage vorgegangen, sondern haben sich mit dem Presserat einen Nebenkriegsschauplatz gewählt. Auf diesem Schauplatz haben sie jetzt eine Niederlage erlitten. Mit anderen Worten: Hätten sie sich erst an den Rat der Meinungs- und Sozialforschung gewandt und wären dort erfolgreich gewesen, hätte der Presserat wohl auch ihrer Beschwerde stattgegeben.

Methodenstreit der Meinungsforschung: Was ist repräsentativ?

Die Zahl der Politik-Umfragen nimmt stetig zu – die Nachfrage von Medien und Politik ebenfalls. Doch die klassischen Meinungsforscher wehren sich gegen die wachsende Konkurrenz aus dem Netz: Die Methoden der Online-Umfrageinstitute seien nicht seriös – es werde teils gefährlich Stimmung gemacht. Jetzt ist der Streit vor dem Presserat.

Dort haben sich die klassischen Meinungsforschungsinstitute Forsa, Infas und die Forschungsgruppe Wahlen gegen eine Umfrage von „Focus online“ beschwert, die das Berliner Startup Civey erstellt hat. Heute wird vor dem Presserat verhandelt.

Worum es geht, habe ich gestern in der Deutschlandfunk-Sendung „Hintergrund“ erklärt.

Zielgenauere Umfrage macht Kramp-Karrenbauer zur Favoritin (zumindest vorübergehend)

Seit Angela Merkel ihren Rückzug als CDU-Chefin angekündigt hat und drei prominenten Kandidaten für ihre Nachfolge  bereitstehen, hat es mehrere Umfragen gegeben, wen „die Bürger“ als Nachfolger bevorzugen. Am Anfang war es oft Friedrich Merz, wahrscheinlich, weil ihn noch niemand kannte – im Gegensatz zu Annegret Kramp-Karrenbauer und Jens Spahn. Einige Umfragen widersprachen sich auch. Seitdem haben sich die Mehrheiten – wie erwartet – auch wieder verändert, was die ursprünglichen Umfragen etwas sinnlos erscheinen lässt.

Wer den Posten wirklich bekommt, konnte man aus den Daten ohnehin nicht schließen. Denn die Entscheidung treffen nicht die deutschen Wähler, nicht mal die CDU-Mitglieder, sondern lediglich 1.001 CDU-Delegierte beim Parteitag. Welche Präferenz soll man also aus solcherlei Umfragedaten ablesen können?

Für den ARD-Deutschlandtrend hat der WDR jetzt Infratest Dimap zum ersten Mal nicht „die Bürger“ befragen lassen, sondern nur CDU-Anhänger. Mal davon abgesehen, dass das eine Selbstbezeichnung der Befragten ist, die sich nicht überprüfen lässt* (es wurden nicht mal CDU-Wähler befragt, sondern lediglich Anhänger), kommt das der möglichen Stimmung innerhalb der Partei aber sicherlich schon näher. Und siehe da: Der angebliche Vorsprung von Merz ist gleich dahin.

Den Zahlen zufolge sind 46 Prozent für Kramp-Karrenbauer, 31 für Merz und 12 Prozent für Spahn. Die Frage ist nur, wieviele Leute dabei befragt wurden. Dem Umfragedesign zufolge wurden 1.006 Leute befragt. Wie viele davon ihre Parteipräferenz für die CDU ausgedrückt haben, ist unklar. Wenn es etwa die 26 Prozent sind, die sich bei der Sonntagsfrage zur Union (also auch zur CSU) bekannt haben, waren es höchstens rund 260 Befragte. Also auch das höchstens ein Stimmungbild ohne Anspruch auf Wahrhaftigkeit.

 

* Das ist natürlich ein gängiges Problem bei der Meinungsforschung.

 

Offenlegung: Ich arbeite als freier Mitarbeiter für den WDR.

Sinnlose Umfragen zum CDU-Vorsitz – die Fortsetzung

Es war ja zu erwarten. Für den Deutschlandfunk habe ich noch vor zwei Wochen über den Umfrage-Hype für Friedrich Merz, der CDU-Vorsitzender werden will, geschrieben:

Die Werte halten ohnehin nicht lang. Sie sind höchstens ein Blitzlicht, die die Thesen des Tages stützen, und werden sich verändern. Denn die Kandidaten werden sich öffentlich zu ihren Plänen äußern. Je mehr die Bürger über sie erfahren, desto stärker kann sich ihre Wahrnehmung ändern. Von Friedrich Merz haben die meisten seit über einem Jahrzehnt nichts mehr gehört. Dass sich im Moment also Mehrheiten für ihn aussprechen, kann auch bloß daran liegen, dass er ihnen nicht negativ aufgefallen ist.

Und schon ist es soweit: In einer neuen Umfrage liegt nicht mehr Merz vorne, sondern Annegret Kramp-Karrenbauer. Die FAZ schreibt dazu den absurden Satz:

32 Prozent der Befragten würden die CDU-Generalsekretärin zur Nachfolgerin von Angela Merkel wählen, berichtete die „Bild am Sonntag“ unter Berufung auf eine Umfrage des Emnid-Instituts.

Ja, und 98 Prozent „der Deutschen“ würden Micky Maus zum US-Präsidenten wählen. Dummerweise tritt weder Micky an noch dürfen die Deutschen den US-Präsidenten wählen. Aber man kann ja einfach mal fragen, auch wenn die Befragten überhaupt nicht wahlberechtigt sind – das sind nämlich nur die 1.001 CDU-Delegierten beim Parteitag.

Deswegen sagt es überhaupt nichts über die Chancen der Kandidaten aus, wie eine Gruppe von Befragten sie sieht, die überhaupt nicht wahlberechtigt ist. Und dass solche Umfragen uns als Bürger keinerlei Gefühl dafür geben können, wer Favorit bei den CDU-Mitgliedern ist, geschweige denn bei den CDU-Delegierten.

Nur ein Gedankenspiel: Wen würden denn, sagen wir mal, die Wähler der Linkspartei gerne als CDU-Chef sehen? Doch nicht unbedingt jemanden, den sie für fähig halten, ein guter CDU-Chef und möglicherweise auch Kanzler zu werden? Sondern doch eher jemanden, der ihnen als Linkspartei möglichst viele Wähler zutreibt.

Wieso sollte also so jemand einen Kandidaten nennen, den er gut findet – nennt er nicht vielmehr jemanden, den er für seine Partei für möglichst ungefährlich hält? Das zeigt, wie wichtig es ist, dass man die Gruppe der Befragten sinnvoll wählt. Ich frage ja auch nicht eine Gruppe von 1.000 Nichtrauchern nach ihren Lieblingszigaretten.

Es wird nicht die letzte Umfrage zum Thema CDU-Vorsitz gewesen sein. Und am Ende heulen dann wieder Journalisten, dass sie den Ausgang der Wahl nicht haben kommen sehen – so wie schon bei der von Ralph Brinkhaus zum CDU-Fraktionsvorsitzenden. Warum gab es dazu eigentlich keine Umfragen?

Merkwürdige Mehrheiten für Merz

Schon kurz nachdem Angela Merkel ihren Rückzug als CDU-Chefin ankündigte, schrieben viele Medien über den Kandidaten Friedrich Merz – noch bevor er überhaupt seine Bewerbung für den Parteivorsitz bestätigte. Umfragen sollen das öffentliche Interesse am Politiker belegen – doch es fehlt an Aussagekraft. Ich hab das noch mal für @mediasres im Deutschlandfunk aufgeschrieben.

Außerdem gab es in der Sendung danach ein sehr hörenswertes Interview mit dem Tübinger Medienwissenschaftler Bernhard Pörksen. Er sieht in der Debatte um die CDU-Führung eine Neigung zum Hype und zur Personalisierung. Einzelne Politiker würden „zu Erlösergestalten hochgeschrieben“, sagte er. Hier offenbare sich ein Sinnvakuum der gesellschaftlichen Mitte.

Handelsblatt reagiert auf Kritik an nichtssagender Umfrage

Der Quatsch mit Umfragen hält an. Heute war es das Handelsblatt auf Twitter, das eine Umfrage als seriösen Inhalt angepriesen hat. Gestern hatte die Redaktion diese Abstimmung gestartet:

Heute retweetete sie diesen Tweet mit dem Ergebnis.

Ich habe dann in einem Thread bei Twitter kritisiert, was das Problematische an dieser Umfrage ist.

Es begint damit, dass die Auswahl der Befragten nicht repräsentativ ist. Der Handelsblatt-Leser bzw. dessen Twitter-Follower entspricht in keiner Weise dem Durchschnitt der Bevölkerung. Dass sich Handelsblatt-Follower besonders für einen wirtschaftsfreundlichen Kandidaten wie Friedrich Merz einsetzen, verwundert auch nicht.

Außerdem nimmt nur teil, wer will. Die Zufallsauswahl ist also nicht gegeben. In der Regel engagieren sich vor allem ausdrückliche Gegner oder Befürworter einer Position.

Dass die Zahl der Nutzer exakt angegeben wird (1.061) soll offenbar Repräsentativität vortäuschen, für die ja i.d.R. rund tausend Leute befragt werden. Das heißt in diesem Zusammenhang aber auch nichts.

Außerdem weist das Handelsblatt nicht darauf hin, dass diese Umfrage nicht repräsentativ ist. Der Pressekodex schreibt in Ziffer 2.1 aber vor, welche Metadaten dazu geliefert werden müssen:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.

Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.

Das gilt ausdrücklich auch für Online-Umfragen, hat der Presserat im März entschieden (Pressemitteilung vom 22. März 2018):

Nicht-repräsentative Online-Umfragen müssen als solche gekennzeichnet sein. Das Plenum des Deutschen Presserats hat entschieden, dass derartige Votings ohne entsprechende Kennzeichnung die im Pressekodex definierte journalistische Sorgfaltspflicht verletzen.

Das Handelsblatt hat auf meine Kritik reagiert.

Die ursprüngliche Umfrage ist allerdings weiterhin online. Und das eigentliche Problem bleibt. Schon die Umfrage ist unseriös, sie würde nicht seriöser, würde die Redaktion dazuschreiben, dass sie nicht repräsentativ ist. Denn eine nicht repräsentative Umfrage hat praktisch keine Aussagekraft.