Vom Wahllokal zum Wahlergebnis: Wie Prognosen und Hochrechnungen entstehen

Am Sonntag ist der neue Bundestag gewählt worden. Umfragen sind am Wahlabend prägend für die Berichterstattung und geben schon recht früh Informationen über den voraussichtlichen Wahlausgang. Und: Sie sind häufig überraschend zuverlässig. Darüber habe ich am vergangenen Donnerstag für das DLF-Medienmagazin @mediasres und am Samstag für das WDR5-Medienmagazin „Töne, Texte, Bilder“ berichtet.

Die AfD klein machen

Der bayerische Innenminister Joachim Herrmann (CSU) hat eine Debatte angestoßen, die nach der Bundestagswahl zu erwarten war und die durchaus schon vor der Wahl geführt wurde: Welche Rolle spielen die Medien für den Erfolg der AfD?

Herrmann sagte in der „Berliner Runde“ (zitiert nach DLF):

Joachim Herrmann: Die Hälfte der Sendezeit beschäftigt sich schon wieder nur mit der AfD – die Hälfte der Sendezeit nur mit der AfD.

ZDF-Chefredakteur Peter Frey: Ich wollt grad nach was anderem fragen.

Herrmann: Es ist völlig… Ja, aber das ist ein völliger Unfug, und da kann ich Ihnen nur sagen – und darüber wird in den nächsten Wochen auch noch zu diskutieren sein – in welchem Ausmaß die beiden öffentlich-rechtlichen Sender in den letzten Wochen massiv dazu beigetragen haben, in der Tat nicht die AfD klein zu machen, sondern groß zu machen. In einer Art und Weise der Diskussion, die wirklich völlig fehl am Platze ist.

Neben der berechtigten Kritik von Herrmann ist dabei interessant, dass es ihm womöglich gar nicht darum geht, dass die Sender sich der AfD gegenüber mindestens neutral verhalten. Er findet offenbar sogar, dass die öffentlich-rechtlichen Sender, die er kritisiert, die Aufgabe haben, gegen die AfD zu arbeiten, wenn er sagt, dass die Sender nichts getan haben, um „die AfD klein zu machen“.

Und das ist dann doch ein fragwürdiges Medienverständnis und ein merkwürdiger Anstoß zu dieser Debatte.

Eine Umfrage ist eine Umfrage ist eine Umfrage

Normalerweise weisen Demoskopen es barsch zurück, wenn ihre Sonntagsfragen als Prognose des Wahlergebnisses gesehen werden. Die Meinungsumfragen dazu, welche Partei man wählen würde, wäre am kommenden Sonntag Bundestagswahl, geben immer nur die momentane politische Stimmung wieder, sind aber keine Projektion des Ergebnisses.

Das Online-Umfrageunternehmen YouGov hat sich dieses Jahr jedoch mit einer neuen Methode nach vorne getraut, die sie sechs Tage vor der Wahl vorgestellt hat. Es hat tatsächlich eine Prognose abgegeben, wollte also möglichst genau sagen, wie die Wahl ausgeht.

„Wir sind uns bewusst, dass wir uns mit unserem neuen MRP-Modell noch aus dem Fenster lehnen“, sagte Holger Geißler, Forschungsleiter und Sprecher von YouGov Deutschland, laut der Pressemitteilung des Unternehmens. „Gleichzeitig wissen wir alle spätestens seit der Trump-Wahl und dem Brexit, dass die klassische Meinungsforschung vor großen Herausforderungen steht.“

Diese Herausforderung hat YouGov nicht abgeräumt, denn die Prognose war in mehreren Punkten falsch. So sah sie aus:

In unserer letzten Aktualisierung des Modells am heutigen Freitag, errechnen wir einen Stimmanteil von 36% für die CDU / CSU (mit einem Konfidenzintervall von 33% zu 39%). Das würde bedeuten, dass die CDU / CSU zwischen 239 und 274 Sitze im nächsten Bundestag erhält (mit 256 als Mittelwert). Wir schätzen, dass die SPD 25% der Stimmen erhalten wird (Intervall von 22% zu 28%) und sich damit 176 Sitze (155-199) sichern kann. Bzgl. der drittstärksten Partei erwartet das Modell entweder die AfD oder die Linke. Unsere Berechnungen sehen die AfD aktuell mit 12% (10%-14%) etwas vor der Linken mit 10% (9%-12%). Etwas schwächer werden nach unseren Schätzungen die FDP mit 7% (6%-9%) und die Grünen mit 7% (5% -8%) abschneiden.

(Quelle: https://yougov.de/wahlmodell/)
(Quelle: https://yougov.de/wahlmodell/)

Das vorläufige amtliche Endergebnis zeigt, wo YouGov falsch lag.

Die Union erreichte mit 33 % gerade noch das untere Ende des Konfidenzintervalls. Die SPD erreichte dagegen lediglich 20,5 % und war damit sowohl vom Mittelwert 25 % als auch vom unteren Ende des Konfidenzintervalls von 22 % entfernt. Bei AfD und Linke lag YouGov richtig, bei der FDP wiederum nicht. Die leg mit 10,7 % weg vom Konfidenzintervall 6 bis 9 %. Auch bei den Grünen lag die Vorhersage außerhalb des Intervalls.

Bei drei von sechs Werten lag die Vorhersage also daneben. Das sieht mir nach einem Problem für die Qualität der Prognose aus. Mal davon abgesehen, dass solch eine Umfrage Rückwirkungen auf die Entscheidung einiger Wähler haben kann und damit genau jenes Eintreten der Vorhersage vereitelt, kann YouGov mögliches mangelndes Vertrauen in die Qualität seiner Arbeit hiermit nicht unbedingt wiederherstellen.

Mehr Podcast-Kritik, bitte

Auf Podcasts in Deutschland wird im Moment noch viel zu wenig geschaut. Zwar wurde verschiedentlich über das Format an sich berichtet, wie hier bei @mediasres:

Vor allem erfahren Preisverleihungen und Neustarts eine gewisse Aufmerksamkeit, wie etwa @mediasres über den Grimme Online Award berichtet hat (Podcast von einem anderen Planeten).

Was aber fehlt, ist eine fundierte Podcast-Kritik. Die versucht der Deutschlandradio-Kollege Sandro Schroeder seit ein paar Wochen zu liefern. Gestern hat er bereits bei Breitband die neuen Podcasts von ZEIT ONLINE rezensiert (dort werden im Übrigen schon seit vorigem Jahr hin und wieder Podcasts rezensiert). Und Sandro hat einen Newsletter gestartet, den man hier abonnieren kann.

Außerdem beobachter der Schweizer Journalist This Wachter die Podcast-Szene. Er hat in dieser Woche anlässlich der 13. Tutzinger Radiotage, die er besucht hat und die sich auch mit Podcasts beschäftigt haben, einen Blogpost zum Stand der Dinge geschrieben:

Das Jahr 2017 macht deutlich, dass sich die öffentlich-rechtlichen Rundfunkhäuser überlegen müssen, wie sie sich auf die neue Konkurrenz der „Zeitungs-Podcasts“ einstellen wollen. Audio ist nicht mehr ihr Monopol. (…) Konkurrenz schadet den Radiostationen nicht. Im positiven Fall macht es sie sogar besser. In den USA sind die besten Podcasts von Leuten kreiert worden, die ihr Rüstzeug beim National Public Radio geholt haben. Häufig sind diese Podcast nun wieder Teil des NPR-Programms. (…) So befruchtet sich die Audioszene gegenseitig. Wieso nicht auch im deutschsprachigen Raum?

Hinweise auf gute Podcasts gibt es im Moment hauptsächlich über persönliche Empfehlungen über soziale Netzwerke. Die fallen oft kurz aus und sind eher allgemein gehalten. Eine fundierte Podcast-Kritik tut Not, um in der zunehmenden Flut von Angeboten genauer herauszufinden, was man gerne hören möchte.

Was können Umfragen im Wahlkampf-Endspurt noch aussagen?

Schulz-SPD rutscht ab auf 20 Prozent

titelt tagesschau.de gestern Abend.

Zehn Tage vor der Bundestagswahl geht es für die SPD weiter bergab. Im ARD-DeutschlandTrend erreicht die Partei von Martin Schulz noch 20 Prozent. Die AfD bleibt auf Platz drei. Knapp die Hälfte der Wähler ist noch unentschlossen.

Sogar als Eilmeldung hat die Tagesschau das Ergebnis der jüngsten Sonntagsfrage von Infratest Dimap verschickt.

Es ist übrigens die letzte Umfrage, die Infratest vor der Bundestagswahl veröffentlicht; das Unternehmen hält sich vorbildlich zurück, noch in den letzten Tagen vor der Wahl neue Umfrageergebnisse zu veröffentlichen, die die Wahl noch mehr beeinflussen könnten als diese es vermutlich ohnehin schon tun.

Es ist ein zwiespältiger Artikel von Ellen Ehni. Denn sie schreibt einerseits sehr ausführlich darüber, wie aussagekräftig die Umfragedaten sind, etwa so:

Bei dieser Umfrage handelt es sich ausdrücklich um keine Prognose, sondern um die politische Stimmung in der laufenden Woche.

(Außerdem wird unter dem Artikel ausführlich das Untersuchungsdesign abgedruckt, wie es auch vom Pressekodex gefordert wird.)

Der Alarmismus der Überschrift und die Eilbedürftigkeit der Meldung wird damit jedoch ein wenig konterkariert. Angesichts der Tatsache, dass die jüngste Veränderung bei der SPD innerhalb der Fehlertoleranz liegt und damit lediglich ein Messfehler sein kann, finde ich diese Zuspitzung nicht sonderlich hilfreich.

(Screenshot: http://www.tagesschau.de/multimedia/bilder/crbilderstrecke-423.html)
(Screenshot: http://www.tagesschau.de/multimedia/bilder/crbilderstrecke-423.html)

Zumal die Forschungsgruppe Wahlen für das ZDF zu anderen Daten kommt, die sie nur einen Tag später, nämlich heute, veröffentlich hat. Demnach hat die SPD bei ihr sogar um einen Prozentpunkt zugelegt und kommt auf 23 Prozent – deutlich höher als bei Infratest Dimap mit 20 Prozent. Aber auch dieser Anstieg ist freilich innerhalb der Fehlertoleranz.

(Screenshot: http://www.heute.de/politbarometer-cducsu-verlieren-weiter-an-zustimmung-vorsprung-merkels-vor-schulz-bleibt-unveraendert-gross-47952050.html)
(Screenshot: http://www.heute.de/politbarometer-cducsu-verlieren-weiter-an-zustimmung-vorsprung-merkels-vor-schulz-bleibt-unveraendert-gross-47952050.html)

Außerdem hat in dieser Umfrage die Union leicht verloren, was fast zur gegenläufigen Überschrift bei heute.de führt:

Union verliert weiter an Zustimmung

Aber auch dabei liegt die Veränderung innerhalb der Fehlertoleranz.

Problematisch finde ich solche Zahlen vor allem, weil sie möglicherweise demobilisierende Wirkung haben können. Das findet sich auch immer wieder in der journalistischen Behandlung der Umfragen, indem Journalisten sinngemäß behaupten, die Wahl sei bereits entschieden. Das blendet zum einen ganz offensichtlich aus, dass die Wahl erst am 24. September ist und jeder Wähler seine Stimme erst noch abgeben muss – vor allem aber verlässt es sich auf die Daten der Sonntagsfrage, die jedoch längst nicht so zuverlässig sind wie es Überschriften und Artikel oft behaupten. Schließlich werden darin auch die relativ vielen unentschlossenen Wähler jeweils Parteien zugeschlagen, wenngleich man über deren Wahlentscheidung oder auch Wahlenthaltung in der Zeit zunehmend volatilerer Parteienbindungen immer weniger sagen kann.

In einem kleinen Rant habe ich mich dazu am Mittwoch bei Twitter ausgelassen:

Dabei habe ich folgendes geschrieben – redaktionell heute nicht mehr verändert:

Ich werde zunehmend sauer, je mehr Politik nur noch als Wettrennen betrachtet wird.

Es geht nur noch um Gewinnen und Verlieren, nicht mehr um den demokratischen Austausch von Argumenten und Positionen.

Jetzt wird Martin Schulz dafür geschmäht, er wolle auch mal ein TV-Duell gewinnen. Dabei kann niemand so ein Duell gewinnen.

Es gibt nämlich keine Zielmarke, die ein Teilnehmer zuerst erreichen kann. Und keinen Schiedsrichter.

Politik ist kein Rennen. Deswegen nutzen auch die angeblichen Zwischenstände in Form von Umfragen nichts. Sie sagen nämlich nichts aus.

Die Fixierung darauf suggerieren, die eigentliche Wahl sei nur eine weitere Sonntagsfrage in der Abfolge hunderter Umfragen.

Und wer zufällig am Wahlsonntag vorne liegt, darf die nächsten vier Jahre regieren. Die eigentliche Wahl wird damit heruntergespielt.

Und von vielen Journalisten und Politikern als bereits entschieden abgestempelt: Zeigen ja angeblich die Umfragen. Wozu also noch wählen?

Daraus spricht eine Verachtung der Wahl und auch der Wähler, die davon abgehalten werden, überhaupt noch wählen zu gehen.

Wieso sollte ein CDU-Wähler hingehen, wenn die CDU doch angeblich vorne liegt? Wie kann ein SPD-Wähler der Partei noch helfen?

Warum Grüne wählen, wenn die Stimme „verschwendet“ sein könnte? Warum die FDP helfen, wenn sie mit der CDU eh keine Mehrheit hat?

All das verhindert, dass die Wähler sich nach ihrer Überzeugung richten und wählen, wen sie für richtig halten.

Stattdessen werden sie verleitet, taktisch zu denken, weil ihre Stimme verfallen könnte oder angeblich ohnehin nicht hilft.

Das verzerrt den eigentlichen Wählerwillen. Das Wahlergebnis ist das Abbild taktischer Überlegungen und nicht innerer Überzeugungen.

Es gibt genug Beispiele, in denen Demoskopen falsch lagen, zuletzt bei der LTW Saarland, ganz enorm bei der BTW 2005.

Aber auch Beispiel Brexit: Demoskopen legten sich auf Remain fest, viele gingen nicht wählen – und standen am Ende dumm da.

Wir haben die Wahl. Wir sollten sie uns nicht von Politikern, Journalisten, Demoskopen nehmen lassen.

Hörbar glaubwürdig – die 13. Tutzinger Radiotage

In den vergangenen zwei Tagen war ich bei den Tutzinger Radiotagen – zum ersten Mal. Das ist im Reigen der journalistischen Konferenzen eine ungewöhnliche Veranstaltung. Keine andere, die ich kenne, beschäftigt sich ausschließlich mit dem Radio. Und keine andere hat einen solch vertrauensvollen Rahmen.

Sie lebt vor allem von dreierlei:

Erstens die Diskussionsrunden im Plenum. Am Sonntag, als ich noch nicht dabei sein konnte, wurde darüber gesprochen, wie das Radio einer gewissen Vertrauenskrise entgegenwirken kann; am Dienstag zum Abschluss über den Umgang mit Breaking News im Radio. Eingeladen waren hochrangige Gesprächspartner wie Deutschlandfunk-Chefredakteurin Birgit Wentzien und der Pressesprecher der Münchener Polizei, Marcus da Gloria Martins.

Zweitens die Workshops. Am Montag wurde in drei Gruppen über Lösungen für aktuelle journalistische Herausforderungen nachgedacht.

Drittens die vertraulichen Hintergrundgespräche. Wie Kollege Dennis Horn zutreffend schrieb, treffen sonst wohl nirgendwo Macher von öffentlich-rechtlichen und pivaten Radiosendern aufeinander und tauschen sich systemübergreifend aus. Sind die Rahmenbedingungen für Sender und Arbeit doch unterschiedlich, verbinden sie doch gemeinsame Herausforderungen.

Gezeigt wurde das in drei parallelen Workshops. Im ersten ging es um neue Erzählformen, im zweiten um kontroverse Radiointerviews und im dritten um technische Wandlungen.

Die wichtigsten Informationen dazu stehen in diesem Storify.

„Die Sitzung ist geschlossen“

Bundestagspräsident Norbert Lammert hat seine letzte Rede im Amt gehalten. Zur Eröffnung der letzten Bundestagssitzung dieser Legislaturperiode beschwor er noch mal die Bedeutung der Demokratie.

Lammert hatte in seinen 12 Jahren als Bundestagspräsident immer wieder Kritik an den Medien geübt. Inzwischen gibt er sich teilweise versöhnlich, sagte er mir vorige Woche für den Deutschlandfunk.

Besonders amüsant war Lammert in seinen kleinen Kabbeleien mit Gregor Gysi, der lange Fraktionschef der Linkspartei im Bundestag war. Gysi würdigte Lammert heute noch mal für seine Rolle. Er sagte, trotz aller politischer Differenzen  sei Lammert eine Präsident für alle Abgeordneten gewesen. „Das gelingt wirklich nicht jedem, aber ich muss sagen: Ihnen ist es  wirklich gut gelungen.“

Die kleinen Kabbeleien zwischen Lammert und Gysi waren ein Grund für mich, vor zwei Jahren ein Feature über das Lachen in der Politik zu machen. Die Sendung für SWR2 ist hier immer noch zu hören.

Update (12. September, 22.30 Uhr): Ich habe das Video von Gregor Gysis Stellungnahme eingefügt.

Welchen Einfluss haben Umfragen auf das Wahlverhalten?

Das TV-Duell steht nicht für sich. Die eigentliche Botschaft wird anschließend formuliert – durch Umfrageergebnisse und den Spin, den ihr Beobachter, auch die befangenen aus den jeweils eigenen Reihen, geben.

Dabei können die Umfrageergebnisse durchaus eine Rolle spielen. Der Deutschlandfunk hat deswegen gestern um 22.40 Uhr noch mal meine Hintergrund-Sendung zum Thema Demoskopie vom 5. Juli wiederholt.

Die begrenzte Aussagekraft von Blitzumfragen

Ziemlich schnell nach dem TV-Duell zwischen CDU-Chefin Angela Merkel und SPD-Chef Martin Schulz gab es schon neue Umfragewerte.

Die ARD hat Infratest Dimap, das ZDF die Forschungsgruppe Wahlen gebeten, möglichst schnell Wähler anzurufen, die hoffentlich auch Zuschauer waren, und nach ihrer Einschätzung des Duells zu befragen. Außerdem hat Civey Nutzer online befragt.

Wie wertvoll diese Daten sind, zeigen die Ergebnisse. Bei Infratest Dimap:

(Screenshot: tagesschau.de)
(Screenshot: tagesschau.de)

Bei der Forschungsgruppe Wahlen:

(Screenshot: zdf.de)
(Screenshot: zdf.de)

 

Beide Fragen ähneln sich zwar, sind aber nicht gleich. Dennoch werden sie vom jeweiligen Sender als das Gesamtergebnis ausgegeben.

Schon der Unterschied in der Fragestellung kann für die verschiedenen Ergebnisse ausschlaggebend sein, aber auch die zusätzliche Möglichkeit des ZDF, mit „kein Unterschied“ zu antworten, während die Befragten bei Infratest wohl gezwungen war, eine klarere Entscheidung zu treffen oder aktiv „weiß nicht“ zu antworten (die fehlenden 10 Prozent).

Ich hoffe, Infratest bzw. ARD liefern die fehlenden Metadaten dazu noch nach.

Schon solche kleinen Unterschiede bei Frage und Antwortmöglichkeiten scheinen größere Unterschiede bei den Ergebnissen auszumachen. Noch deutlicher aber wird es, wenn man die zwei Umfragen mit fast derselben Fragestellung, aber verschiedenen Erhebungsmethoden nebeneinanderlegt. Dazu vergleiche man die Zahlen der Forschungsgruppe Wahlen mit denen von Civey (Ergebnisse gibt es nach Teilnahme).

Stand Montag um 10 Uhr kam Angela Merkel auf 44,9 Prozent, Martin Schulz auf 32,2 Prozent, „Beide gleich gut“ sagten 15,3 Prozent, „Weiß nicht“ 7,6 Prozent der Befragten. Weil die Umfrage noch läuft, ist eine Rückwirkung der anderen Umfragen und des sonstigen Spinning zu vermuten, dass also die Teilnehmer an der Civey-Umfrage nicht nur nach eigener Einschätzung urteilen, sondern auch die anderer einfließt.

Ein gutes Beispiel für die begrenzte Aussagekraft solcher Umfragen.

Danke an Sebastian Pertsch für den Hinweis.

 

Nachtrag, 4. September, 0.25 Uhr: Den Umfragen von ARD und ZDF habe ich noch Civey hinzugefügt.

Nachtrag, 4. September, 10.00 Uhr: Ich habe einen Zwischenstand bei Civey eingefügt – zum einen, weil sich das Ergebnis noch ändern kann, zum anderen, weil nicht alle Nutzer im eingebundenen Widget sofort das Ergebnis sehen können.

Nachtrag, 4. September, 13.40 Uhr: Die Umfrage bei Civey ist mittlerweile beendet. Die Werte haben sich nicht mehr verändert.