Wie schuldig ist die FDP am Jamaika-Aus? Warum sich drei Umfragen widersprechen

Na, wer trägt denn nun die Schuld daran, dass die Sondierungsgespräche zwischen CDU, CSU, FDP und Grünen in der Nacht zu Montag gescheitert sind?

Mal davon abgesehen, dass das rein faktisch schwer zu sagen ist, hatten sich in mehreren Blitzumfragen unterschiedlich viele Befragte auf die FDP festgelegt. In einer Umfrage für die Tagesschau hieß es, 32 Prozent gäben der FDP die Schuld. Im ZDF waren es 55 Prozent. Bei RTL und n-tv 19 Prozent. Das klingt widersprüchlich. Wie kommen diese unterschiedlichen Werte zustande? Gestern habe ich das in @mediasres im Deutschlandfunk erklärt – hier jetzt noch mal etwas ausführlicher.

Es geht um diese drei Umfragen:

Dass die Werte so stark voneinander abweichen, hat vor allem zwei Ursachen. Zum einen gab es bei den Umfragen unterschiedliche Fragestellungen, zum anderen unterschiedliche Antwortmöglichkeiten.

Die Fragestellung

Infratest Dimap hat zum Beispiel für die Tagesschau die Frage gestellt:

Die Gespräche zwischen CDU, CSU, FDP und Grünen zur Bildung der nächsten Bundesregierung sind gestern Abend gescheitert. Welche der verhandelnden Parteien trägt Ihrer Meinung nach in erster Linie die Verantwortung hierfür: die CDU, die CSU, die FDP oder die Grünen?

Forsa stellte wiederum diese Frage:

Wer ist für das Scheitern der Jamaika-Verhandlungen verantwortlich?

Die Forschungsgruppe Wahlen hat für das ZDF gefragt:

Wer ist Ihrer Meinung nach hauptsächlich Schuld daran, dass jetzt die Bildung einer „Jamaika“-Koalition gescheitert ist, …
– die CDU,
– die CSU,
– die FDP oder
– die Grünen?

Man sieht schon an der Fragestellung, dass diese unterschiedlich akzentuiert ist. Während Forsa relativ allgemein fragte, fragten Infratest und die Forschungsgruppe nach einer herausgehobenen Verantwortung eines (oder mehrerer) Beteiligter („in erster Linie“, „hauptsächlich“). Es ist nur eine Kleinigkeit in der Akzentuierung, die allerdings schon zu leicht unterschiedlichen Aussagen führen kann.

Die Antwortmöglichkeiten

Bei jeder der drei Umfragen gab es unterschiedliche Antwortmöglichkeiten. Während Infratest die Befragten zwang, sich auf eine Partei festzulegen, bot Forsa zusätzlich an, alle vier Parteien gemeinsam zu benennen. Bei der Forschungsgruppe wiederum wies der Interviewer darauf hin, dass Mehrfachnennungen möglich waren. Dadurch gab es hier nicht nur vier oder fünf, sondern sogar 15 verschiedenen Antwortmöglichkeiten – indem entweder eine Partei genannt wurde, zwei oder drei (in unterschiedlichen Kombinationen) oder alle vier.

Je größer die Auswahl ist, desto besser werden sich die Antworten verteilen. Dass bei Forsa die Werte für die einzelnen Parteien geringer sind, ist deswegen genausowenig verwunderlich wie die Tatsache, dass sie bei der Forschungsgruppe Wahlen für jede einzelne Partei wiederum höher ist.

Die Frage nach den Neuwahlen

Dieselben Ursachen haben auch die Abweichungen bei der Frage nach Neuwahlen.

Während Infratest eine Zustimmung von 63 Prozent ermittelte, kam die Forschungsgruppe Wahlen auf 51 Prozent und Forsa auf 45 Prozent. Auch hier liegen die Unterschiede in verschiedenen Fragen und unterschiedlichen Antwortmöglichkeiten begründet.

Infratest stellte folgende Frage:

Angenommen, eine Neuauflage der großen Koalition aus CDU/CSU und SPD kommt nicht zustande. Wie sollte es Ihrer Meinung nach dann weitergehen? Sollten CDU und CSU eine Minderheitsregierung bilden oder sollte es Neuwahlen geben?

Eine Große Koalition wurde also schon in der Fragestellung ausgeschlossen, antworten konnten die Befragten nur mit Minderheitsregierung oder Neuwahlen. Kein Wunder, dass sich die Werte nur auf diese zwei Antworten verteilen.

Forsa nahm diese Option ausdrücklich mit auf, dementsprechend verteilten sich auch die Antworten stärker.

Die Forschungsgruppe Wahlen ging dagegen ungewöhnlich vor. Sie stellte nicht eine einzige Frage, sondern gleich drei, auf die die Befragten separat antworten mussten.

Es gibt verschiedene Möglichkeiten, wie es jetzt weiter geht. Im Gespräch sind Neuwahlen, eine Minderheitsregierung oder die Bildung einer großen Koalition.

  1. a) Wenn es jetzt zu Neuwahlen käme, fänden Sie das …
    – gut    oder
    – schlecht?
  1. b) Eine weitere Möglichkeit wäre eine Minderheitsregierung unter Führung der CDU/CSU, also eine Regierung, die im Bundestag keine eigenständige Mehrheit hat und deshalb bei Abstimmungen auf die Unterstützung anderer Parteien angewiesen ist. Fänden Sie eine solche Minderheitsregierung unter Führung der CDU/CSU …
    – gut    oder
    – schlecht?
  1. c) Eine weitere Möglichkeit wäre die Bildung einer großen Koalition aus CDU/CSU und SPD, obwohl die SPD eine solche Koalition unter Führung der CDU/CSU ausgeschlossen hat. Wenn es trotzdem zu einer großen Koalition käme, fänden Sie das …
    – gut  oder
    – schlecht?

Das erklärt, warum die Zustimmung für Neuwahlen bei 51 Prozent liegt und die für eine Große Koalition bei 48 Prozent. Nur eine Minderheitsregierung wird mit 30 Prozent ähnlich schwach befürwortet wie bei Infratest.

Wie aussagekräftig sind die Umfragen?

Jeweils für sich besitzt jede Umfrage genug Aussagekraft – wenn man Fragestellung und Antwortmöglichkeiten berücksichtigt. Diese transparent zu machen versäumen die Sender jedoch oft, die sie in Auftrag gegeben haben. In diesem Fall musste ich alle drei Sender ausdrücklich danach fragen, obwohl der Pressekodex verlangt, diese mit zu veröffentlichen.

Alle drei Umfragen sind im Prinzip repräsentativ, unter anderem weil jeweils mehr als tausend wahlberechtigte Menschen in Deutschland befragt wurden, bei der Forschungsgruppe Wahlen mehr als 1.300, bei Forsa sogar mehr als 1.700.

Allerdings stellt sich die Frage, wie informiert die Befragten zum Zeitpunkt der Umfrage sind. Während Forsa für RTL schon ab 9.00 und bis 17.00 Uhr per Online-Panel gefragt hat, ließ die Tagesschau erst zwischen 15.00 und 19.15 Uhr telefonisch befragen und das ZDF zwischen 16.30 und 20.45 Uhr. Gerade an einem ereignisreichen Tag wie dem nach dem Abbruch der Sondierungsverhandlungen ist allerdings nicht nur der Sachstand der Informationen zum Zeitpunkt der Abstimmung entscheidend als auch der Spin, den Parteien und Medien dem Ereignis geben und der sich im Laufe des Tages durchaus ändern kann. Das bedeutet, dass morgens wahrscheinlich auf anderer Informationsgrundlage abgestimmt wurde als am Nachmittag.

All diese Faktoren haben Einfluss auf das Ergebnis. All diese Faktoren teilen die Sender aber in der Regel nicht mit. Am Ende bleiben dann vielleicht höchstens noch die Werte hängen: dass 55 Prozent „der Deutschen“ der FDP die Schuld geben – oder 32 Prozent – oder 19 Prozent.

Diese Umfragen wiederum geben dann wiederum der politischen Debatte den entsprechenden Spin. Bei einer tatsächlichen Neuwahl ist es nicht ausgeschlossen, dass die FDP darunter leiden wird, dass ihr nicht nur eine Mehrheit der Befragten die Schuld gibt, sondern Teile der übrigen Öffentlichkeit sich dieser Haltung anschließen könnten, die ihr ohne die Umfragen nicht bekannt geworden wäre. Insofern ist durchaus relevant, wie solche Umfragen zustandekommen.

 

So deutet „Die Welt“ eine Mehrheit für eine ARD-ZDF-Fusion herbei

Die Mehrheit der Deutschen ist für eine Fusion von ARD und ZDF zu einem nationalen, öffentlich-rechtlichen Sender.

Das schreibt die Springer-Tageszeitung „Die Welt“ auf ihrer gemeinsamen Webseite mit dem Springer-Fernsehsender „N24“. Ich bezweifle, dass das tatsächlich so ist. Denn die Umfrage, die das Umfrageunternehmen Civey für die beiden Medien online durchgeführt hat, ist so vage, dass die Antworten nur falsch sein können.

Das lässt sich schon an der Fragestellung ablesen, die die Welt glücklicherweise mit veröffentlicht hat:

Bei diesem WELT-Trend lautete die Frage: „Sollten die Fernsehsender von ARD und ZDF zu einem einzigen bundesweiten, öffentlich-rechtlichen Sender fusioniert werden?“

Im Artikel, in dem diese Umfrage eingebettet war, wurde vorher sogar noch eine etwas längere Frage gestellt:

Wir wollen von Ihnen wissen: Wie sehen Sie die Zukunft der öffentlich-rechtlichen Rundfunkanstalten in Deutschland? Soll alles so bleiben, wie es ist, und beide weiterhin gemeinsam nebeneinander bestehen? Oder plädieren Sie dafür, dass die Fernsehsender von ARD und ZDF zu einem einzigen bundesweiten öffentlich-rechtlichen Sender fusioniert werden?

Das sind streng genommen zwei verschiedene Fragen. Denn „beide“ gibt es so gar nicht. Gemeint sind wohl ARD und ZDF. Aber die ARD ist nur eine Arbeitsgemeinschaft, die aus neun verschiedenen Landesrundfunkanstalten und der Deutschen Welle besteht. Daneben gibt es noch das Deutschlandradio, somit also elf öffentlich-rechtliche Rundfunkanstalten in Deutschland (die Deutsche Welle wird nicht aus dem Rundfunkbeitrag finanziert, sondern aus Steuermitteln). In der zweiten Frage wird dann nach „Fernsehsendern von ARD und ZDF“ gefragt, womit schon mal alle Radioprogramme ausgenommen werden und beim Fernsehprogramm alles über einen Kamm geschert wird.

Die neun Landesrundfunkanstalten und das ZDF betreiben nämlich im Moment getrennt und gemeinsam insgesamt 21 Fernsehsender. Bei einer Fusion, nach der Civey gefragt hat, müssten also all diese 21 Sender zu einem verschmelzen. Die Zuschauer würden also nicht nur auf Das Erste und das ZDF in ihrer bisherigen Form verzichten müssen, sondern auch auf alle dritten Programme, 3sat, Kika, Phoenix, Arte, ARD alpha, tagesschau24, ARD one, ZDF info und ZDF neo. Programme, die von Millionen Menschen gesehen werden.

Nur als Beispiel: Das Erste hatte im September 2017 nach Zahlen der AGF Videoforschung einen Marktanteil von 11,2 Prozent, das ZDF 12,9 Prozent. Alle anderen genannten öffentlich-rechtlichen Programme kamen zusammen auf 21,7 Prozent. Das ist ein so diversifiziertes Programm und damit auch Publikum, das man auf keinen Fall mit einem einzigen gemeinsamen öffentlich-rechtlichen Programm zufriedenstellen könnte. Was im Umkehrschluss bedeutet, dass ein mehr oder weniger großer Teil der bisherigen Zuschauer das zentrale Programm nicht mehr einschalten würde.

Plädieren also tatsächlich 54 Prozent der Teilnehmer an der WELT-Umfrage für nur noch ein einziges Programm? Also mehr Programmeinfalt, um damit mehr Zuschauer gleichzeitig erreichen zu müssen? Warum sollten sie auf etwas verzichten wollen, das sie so intensiv nutzen?

Ich glaube, dass die meisten Teilnehmer der Umfrage die gestellte Frage gar nicht verstanden haben, weil sie viel zu unspezifisch formuliert wurde. Für viele ist ARD immer noch das erste Fernsehprogramm, auch wenn das offiziell „Das Erste“ heißt. Für viele ist ZDF das zweite Fernsehprogramm (wie der Name schon sagt), nicht aber deren Ableger Info und Neo. Und vor allem sind es nicht die gemeinsam veranstalteten Programme wie Arte und 3sat.

Hätten Welt und Civey nur nach den beiden Sendern „Das Erste“ und ZDF fragen wollen, wäre so eine Frage zielgenauer gewesen:

Sollten das erste und zweite Fernsehprogramm zu einem einzigen Sender zusammengelegt werden?

So aber kann WeltN24 das Ergebnis der missverstandenen Frage wieder auf die Anstalten an sich zurückdeuten und dann titeln:

(Screenshot: https://www.welt.de/kultur/medien/article169891258/Mehrheit-der-Deutschen-fuer-Fusion-von-ARD-und-ZDF.html)
(Screenshot: https://www.welt.de/kultur/medien/article169891258/Mehrheit-der-Deutschen-fuer-Fusion-von-ARD-und-ZDF.html)

Eine Frage missverständlich zu stellen und die Ergebnisse dann als scheinbar eindeutig auszugeben ist jedenfalls kein seriöser Umgang mit einer Umfrage.

Dass es der Springer-Vorstandsvorsitzende Matthias Döpfner war, der in seiner Funktion, aber auch als Präsident des Bundesverbandes Deutscher Zeitungsverleger immer wieder gegen die öffentlich-rechtlichen Sender polemisiert, sei nur zum Schluss kurz erwähnt.

Eine Studie, die Angst macht

(Quelle: R+V Versicherung)
(Quelle: R+V Versicherung)

Schon Anfang September hat die R+V Versicherung wieder ihre jährliche Umfrage über die „Ängste der Deutschen“ vorgestellt. Sie schreibt darüber selbst:

Terroranschläge, verheerende Unwetter oder Zuwanderung: Wie stark beeinflussen aktuelle Themen die Ängste der Deutschen? Das Infocenter der R+V Versicherung hat zum 26. Mal rund 2.400 Menschen nach ihren größten Sorgen rund um Politik, Wirtschaft, Umwelt, Familie und Gesundheit befragt. 2017 jagen Sicherheitsprobleme den Bürgern am meisten Angst ein.

„Langzeitstudie“ nennt die Versicherung ihre Erhebung, dabei ist es eigentlich nicht mehr als eine Umfrage. Erhoben werden also nicht objektive Daten, sondern persönliche Einschätzungen der Befragten.

Insofern unterscheidet sich diese Umfrage nicht von hunderten bis tausenden anderen, die jedes Jahr durchgeführt und von Lobbyverbänden und Unternehmen veröffentlicht werden. Die Angst-Umfrage dient der Versicherung dabei gleichermaßen als PR-Instrument als vermutlich auch als Datenschatz, in welchem Bereich sich möglicherweise weitere Versicherungen verkaufen ließen.

An der Umfrage lässt sich viel Kritik äußern – aber die diesmal genauer als sonst bei Studien. Denn die Versicherung hat die Daten zur Erhebung genau dokumentiert. Die Ergebnisse leider nicht, aber dazu später.

Umfragedesign ist transparent

Bei der Erhebung heißt es zum Beispiel, dass die Menschen persönlich befragt wurden – in „strukturierten persönlichen Interviews mit geschlossenen Fragen“. Geschlossene Fragen heißt, es wurde eine Reihe von möglichen Ängsten abgefragt, die Befragten konnten also nicht selbst nennen, was sie gerade besonders ängstigt. Felicitas Kock fragt deshalb in der Süddeutschen Zeitung zurecht, ob es da nicht konkretere Ängste gebe als ausgerechnet die vor Terror:

Die Angst, dass ausgerechnet dem Menschen etwas zustößt, der einem auf der Welt am nächsten ist, zum Beispiel. Oder die Angst, morgens vom Auto überfahren zu werden, weil es statt eines Fahrradwegs nur einen schlecht markierten Seitenstreifen gibt.

Doch danach wird gar nicht gefragt. Ängste sind sehr individuell. Sie auf ein paar mögliche einzugrenzen und anschließend zu behaupten, das seien „Die Ängste der Deutschen“, greift doch sehr kurz. Man müsste eher sagen: „Die Ängste der Deutschen unter denen, nach denen wir sie gefragt haben“. Als da wären:

Ich habe gar keine Angst … sehr große Angst davor, dass

  • ich schwer erkranke
  • ich von Arbeitslosigkeit betroffen werde
  • ich im Alter meinen Lebensstandard nicht halten kann
  • meine Partnerschaft zerbricht
  • meine Kinder drogen- und / oder alkoholabhängig werden
  • Nahrungsmittel immer stärker mit Schadstoffen belastet sind
  • die Anzahl an Naturkatastrophen zunimmt
  • die Arbeitslosigkeit in Deutschland weiter steigt
  • die Lebenshaltungskosten stark steigen
  • sich die Wirtschaftslage in Deutschland verschlechtert
  • sich der politische Extremismus ausbreitet
  • ich Opfer einer Straftat werde
  • das Zusammenleben zwischen Deutschen und den hier lebenden Ausländern durch einen weiteren Zuzug von Ausländern / Asylanten beeinträchtigt wird
  • Deutschland mit kriegerischen Auseinandersetzungen konfrontiert wird
  • terroristische Vereinigungen Anschläge verüben
  • die Politiker von ihren Aufgaben überfordert sind
  • die Schuldenkrise einiger EU-Staaten den Euro gefährdet
  • die Schuldenkrise einiger EU-Staaten für den deutschen Steuerzahler teuer wird
  • die große Zahl der Flüchtlinge die Deutschen und ihre Behörden überfordert

Natürlich kann man das so abfragen. Aber mit mancher Nennung aktiviert man möglicherweise erst eine Angst, die überhaupt nicht vorhanden oder nicht bewusst ist. Angst vor Krieg? Was, muss ich die denn haben? (So einen merkwürdigen Versuch startete neulich auch #DeineWahl2017 zum YouTube-Interview mit der Bundeskanzlerin).

Den Befragten wurde vorab diese Basisfrage gestellt:

Es gibt viele Risiken und Gefahren im Leben. Einige davon haben wir zusammengestellt. Uns interessiert nun, inwieweit Sie sich davon bedroht fühlen. Bitte geben Sie uns – rein aus dem Gefühl – eine Bewertung, die aussagt, für wie bedrohlich Sie dieses Ereignis halten. Eine „1“ drückt aus, dass Sie keine Angst davor haben. Mit einer „7“ geben Sie zum Ausdruck, dass Sie sehr große Angst davor haben. Denken Sie aber bitte auch an die Zwischenstufen von „2“ bis „6“.

Arno Orzessek bemängelt zurecht in der WDR5-Sendung „Politikum“:

Dabei ist es zweifelhaft, ob jemand bei der Befragung jene Angst verspürt, deren Größe er bewerten soll. Noch zweifelhafter ist das Insistieren auf einer rein gefühlsmäßigen, unreflektierten Antwort.

Kock bringt den Aspekt des Unreflektierten klarer zum Ausdruck, wenn sie schreibt:

Die Teilnehmer sollten angeben „für wie bedrohlich“ sie ein Ereignis halten. Wobei auch die Frage offen bleibt, ob man vor einem Ereignis, das man mit 7 bewertet, nun sehr viel Angst hat – oder ob man nur für sehr wahrscheinlich hält, dass es eintritt.

Jeder Befragte hat als möglicherweise auf andere Rahmenbedingungen der Frage Bezug genommen.

Auswertung ist weitgehend geheim

Die Auswertung ist dagegen nicht so transparent wie das Umfragedesign. Die Skala umfasst sieben Stufen; die Versicherung fasst in der Auswertung aber gleich drei davon, nämlich 5, 6 und 7, unter dem Stichwort „große Angst“ zusammen. Sie gibt aber nicht die Daten heraus, wie viele Befragte im Einzelnen jeweils die Skalastufen 5, 6 und 7 genannt haben. Das ist relativ großzügig und berücksichtigt die von den Befragten gemachten Abstufungen meiner Meinung nach nicht angemessen.

Angenommen, die Versicherung nennt 100 Menschen, die entweder Stufe 5, 6 oder 7 genannt haben, so bleibt doch offen, ob alle 100 Stufe 5 oder alle 100 Stufe 7 genannt haben. Das macht aber bei der Einschätzung der Antwort einen Unterschied.

Wie genau die Verteilung war, will die Versicherung auch auf meine Nachfrage nicht herausgeben – und macht damit die eigene Umfrage größtenteils unbrauchbar.

Hinzu kommt der Erhebungszeitraum. Erhoben wurde vom 23. Juni bis 28. Juli 2017. Das ist mit fünf Wochen ein relativ langer Befragungszeitraum. Vier Tage vor Beginn hatte es einen Anschlag auf eine Moschee in London gegeben. Am 14. Juli wurden zwei Deutsche bei einer Messerattacke in Hurghada getötet. Am 28. Juli tötete ein Mann in einem Supermarkt in Hamburg einen Menschen. Es wäre nicht verwunderlich, hätten die am Anfang und Ende Befragten aufgrund der aktuellen Vorfälle größere Angst geäußert als diejenigen, die relativ lange nach einem Anschlag befragt wurden. Hätte man die Umfrage nach dem 17. August durchgeführt, den Anschlägen von Barcelona und Cambrils, hätte man sicher wiederum andere Ergebnisse bekommen. Arno Orzessek kommentiert:

Und dass etwa Terror, je nach Datum und Opferzahl der jeweils jüngsten Anschläge mehr oder weniger große Ängste auslöst, ist eine Banalität. Terrortote haben noch nie Sorglosigkeit gefördert.

Fazit

So bleibt am Ende die ernüchternde Erkenntnis, dass trotz aller Transparenz, was die Erhebung der Umfrage angeht, diese bei den Ergebnissen fehlt. Was freilich Journalisten nicht daran hindert, die Ergebnisse und damit auch Werbung für die Versicherung in die Berichterstattung zu heben.

Vom Wahllokal zum Wahlergebnis: Wie Prognosen und Hochrechnungen entstehen

Am Sonntag ist der neue Bundestag gewählt worden. Umfragen sind am Wahlabend prägend für die Berichterstattung und geben schon recht früh Informationen über den voraussichtlichen Wahlausgang. Und: Sie sind häufig überraschend zuverlässig. Darüber habe ich am vergangenen Donnerstag für das DLF-Medienmagazin @mediasres und am Samstag für das WDR5-Medienmagazin „Töne, Texte, Bilder“ berichtet.

Eine Umfrage ist eine Umfrage ist eine Umfrage

Normalerweise weisen Demoskopen es barsch zurück, wenn ihre Sonntagsfragen als Prognose des Wahlergebnisses gesehen werden. Die Meinungsumfragen dazu, welche Partei man wählen würde, wäre am kommenden Sonntag Bundestagswahl, geben immer nur die momentane politische Stimmung wieder, sind aber keine Projektion des Ergebnisses.

Das Online-Umfrageunternehmen YouGov hat sich dieses Jahr jedoch mit einer neuen Methode nach vorne getraut, die sie sechs Tage vor der Wahl vorgestellt hat. Es hat tatsächlich eine Prognose abgegeben, wollte also möglichst genau sagen, wie die Wahl ausgeht.

„Wir sind uns bewusst, dass wir uns mit unserem neuen MRP-Modell noch aus dem Fenster lehnen“, sagte Holger Geißler, Forschungsleiter und Sprecher von YouGov Deutschland, laut der Pressemitteilung des Unternehmens. „Gleichzeitig wissen wir alle spätestens seit der Trump-Wahl und dem Brexit, dass die klassische Meinungsforschung vor großen Herausforderungen steht.“

Diese Herausforderung hat YouGov nicht abgeräumt, denn die Prognose war in mehreren Punkten falsch. So sah sie aus:

In unserer letzten Aktualisierung des Modells am heutigen Freitag, errechnen wir einen Stimmanteil von 36% für die CDU / CSU (mit einem Konfidenzintervall von 33% zu 39%). Das würde bedeuten, dass die CDU / CSU zwischen 239 und 274 Sitze im nächsten Bundestag erhält (mit 256 als Mittelwert). Wir schätzen, dass die SPD 25% der Stimmen erhalten wird (Intervall von 22% zu 28%) und sich damit 176 Sitze (155-199) sichern kann. Bzgl. der drittstärksten Partei erwartet das Modell entweder die AfD oder die Linke. Unsere Berechnungen sehen die AfD aktuell mit 12% (10%-14%) etwas vor der Linken mit 10% (9%-12%). Etwas schwächer werden nach unseren Schätzungen die FDP mit 7% (6%-9%) und die Grünen mit 7% (5% -8%) abschneiden.

(Quelle: https://yougov.de/wahlmodell/)
(Quelle: https://yougov.de/wahlmodell/)

Das vorläufige amtliche Endergebnis zeigt, wo YouGov falsch lag.

Die Union erreichte mit 33 % gerade noch das untere Ende des Konfidenzintervalls. Die SPD erreichte dagegen lediglich 20,5 % und war damit sowohl vom Mittelwert 25 % als auch vom unteren Ende des Konfidenzintervalls von 22 % entfernt. Bei AfD und Linke lag YouGov richtig, bei der FDP wiederum nicht. Die leg mit 10,7 % weg vom Konfidenzintervall 6 bis 9 %. Auch bei den Grünen lag die Vorhersage außerhalb des Intervalls.

Bei drei von sechs Werten lag die Vorhersage also daneben. Das sieht mir nach einem Problem für die Qualität der Prognose aus. Mal davon abgesehen, dass solch eine Umfrage Rückwirkungen auf die Entscheidung einiger Wähler haben kann und damit genau jenes Eintreten der Vorhersage vereitelt, kann YouGov mögliches mangelndes Vertrauen in die Qualität seiner Arbeit hiermit nicht unbedingt wiederherstellen.

Was können Umfragen im Wahlkampf-Endspurt noch aussagen?

Schulz-SPD rutscht ab auf 20 Prozent

titelt tagesschau.de gestern Abend.

Zehn Tage vor der Bundestagswahl geht es für die SPD weiter bergab. Im ARD-DeutschlandTrend erreicht die Partei von Martin Schulz noch 20 Prozent. Die AfD bleibt auf Platz drei. Knapp die Hälfte der Wähler ist noch unentschlossen.

Sogar als Eilmeldung hat die Tagesschau das Ergebnis der jüngsten Sonntagsfrage von Infratest Dimap verschickt.

Es ist übrigens die letzte Umfrage, die Infratest vor der Bundestagswahl veröffentlicht; das Unternehmen hält sich vorbildlich zurück, noch in den letzten Tagen vor der Wahl neue Umfrageergebnisse zu veröffentlichen, die die Wahl noch mehr beeinflussen könnten als diese es vermutlich ohnehin schon tun.

Es ist ein zwiespältiger Artikel von Ellen Ehni. Denn sie schreibt einerseits sehr ausführlich darüber, wie aussagekräftig die Umfragedaten sind, etwa so:

Bei dieser Umfrage handelt es sich ausdrücklich um keine Prognose, sondern um die politische Stimmung in der laufenden Woche.

(Außerdem wird unter dem Artikel ausführlich das Untersuchungsdesign abgedruckt, wie es auch vom Pressekodex gefordert wird.)

Der Alarmismus der Überschrift und die Eilbedürftigkeit der Meldung wird damit jedoch ein wenig konterkariert. Angesichts der Tatsache, dass die jüngste Veränderung bei der SPD innerhalb der Fehlertoleranz liegt und damit lediglich ein Messfehler sein kann, finde ich diese Zuspitzung nicht sonderlich hilfreich.

(Screenshot: http://www.tagesschau.de/multimedia/bilder/crbilderstrecke-423.html)
(Screenshot: http://www.tagesschau.de/multimedia/bilder/crbilderstrecke-423.html)

Zumal die Forschungsgruppe Wahlen für das ZDF zu anderen Daten kommt, die sie nur einen Tag später, nämlich heute, veröffentlich hat. Demnach hat die SPD bei ihr sogar um einen Prozentpunkt zugelegt und kommt auf 23 Prozent – deutlich höher als bei Infratest Dimap mit 20 Prozent. Aber auch dieser Anstieg ist freilich innerhalb der Fehlertoleranz.

(Screenshot: http://www.heute.de/politbarometer-cducsu-verlieren-weiter-an-zustimmung-vorsprung-merkels-vor-schulz-bleibt-unveraendert-gross-47952050.html)
(Screenshot: http://www.heute.de/politbarometer-cducsu-verlieren-weiter-an-zustimmung-vorsprung-merkels-vor-schulz-bleibt-unveraendert-gross-47952050.html)

Außerdem hat in dieser Umfrage die Union leicht verloren, was fast zur gegenläufigen Überschrift bei heute.de führt:

Union verliert weiter an Zustimmung

Aber auch dabei liegt die Veränderung innerhalb der Fehlertoleranz.

Problematisch finde ich solche Zahlen vor allem, weil sie möglicherweise demobilisierende Wirkung haben können. Das findet sich auch immer wieder in der journalistischen Behandlung der Umfragen, indem Journalisten sinngemäß behaupten, die Wahl sei bereits entschieden. Das blendet zum einen ganz offensichtlich aus, dass die Wahl erst am 24. September ist und jeder Wähler seine Stimme erst noch abgeben muss – vor allem aber verlässt es sich auf die Daten der Sonntagsfrage, die jedoch längst nicht so zuverlässig sind wie es Überschriften und Artikel oft behaupten. Schließlich werden darin auch die relativ vielen unentschlossenen Wähler jeweils Parteien zugeschlagen, wenngleich man über deren Wahlentscheidung oder auch Wahlenthaltung in der Zeit zunehmend volatilerer Parteienbindungen immer weniger sagen kann.

In einem kleinen Rant habe ich mich dazu am Mittwoch bei Twitter ausgelassen:

Dabei habe ich folgendes geschrieben – redaktionell heute nicht mehr verändert:

Ich werde zunehmend sauer, je mehr Politik nur noch als Wettrennen betrachtet wird.

Es geht nur noch um Gewinnen und Verlieren, nicht mehr um den demokratischen Austausch von Argumenten und Positionen.

Jetzt wird Martin Schulz dafür geschmäht, er wolle auch mal ein TV-Duell gewinnen. Dabei kann niemand so ein Duell gewinnen.

Es gibt nämlich keine Zielmarke, die ein Teilnehmer zuerst erreichen kann. Und keinen Schiedsrichter.

Politik ist kein Rennen. Deswegen nutzen auch die angeblichen Zwischenstände in Form von Umfragen nichts. Sie sagen nämlich nichts aus.

Die Fixierung darauf suggerieren, die eigentliche Wahl sei nur eine weitere Sonntagsfrage in der Abfolge hunderter Umfragen.

Und wer zufällig am Wahlsonntag vorne liegt, darf die nächsten vier Jahre regieren. Die eigentliche Wahl wird damit heruntergespielt.

Und von vielen Journalisten und Politikern als bereits entschieden abgestempelt: Zeigen ja angeblich die Umfragen. Wozu also noch wählen?

Daraus spricht eine Verachtung der Wahl und auch der Wähler, die davon abgehalten werden, überhaupt noch wählen zu gehen.

Wieso sollte ein CDU-Wähler hingehen, wenn die CDU doch angeblich vorne liegt? Wie kann ein SPD-Wähler der Partei noch helfen?

Warum Grüne wählen, wenn die Stimme „verschwendet“ sein könnte? Warum die FDP helfen, wenn sie mit der CDU eh keine Mehrheit hat?

All das verhindert, dass die Wähler sich nach ihrer Überzeugung richten und wählen, wen sie für richtig halten.

Stattdessen werden sie verleitet, taktisch zu denken, weil ihre Stimme verfallen könnte oder angeblich ohnehin nicht hilft.

Das verzerrt den eigentlichen Wählerwillen. Das Wahlergebnis ist das Abbild taktischer Überlegungen und nicht innerer Überzeugungen.

Es gibt genug Beispiele, in denen Demoskopen falsch lagen, zuletzt bei der LTW Saarland, ganz enorm bei der BTW 2005.

Aber auch Beispiel Brexit: Demoskopen legten sich auf Remain fest, viele gingen nicht wählen – und standen am Ende dumm da.

Wir haben die Wahl. Wir sollten sie uns nicht von Politikern, Journalisten, Demoskopen nehmen lassen.

Welchen Einfluss haben Umfragen auf das Wahlverhalten?

Das TV-Duell steht nicht für sich. Die eigentliche Botschaft wird anschließend formuliert – durch Umfrageergebnisse und den Spin, den ihr Beobachter, auch die befangenen aus den jeweils eigenen Reihen, geben.

Dabei können die Umfrageergebnisse durchaus eine Rolle spielen. Der Deutschlandfunk hat deswegen gestern um 22.40 Uhr noch mal meine Hintergrund-Sendung zum Thema Demoskopie vom 5. Juli wiederholt.

Die begrenzte Aussagekraft von Blitzumfragen

Ziemlich schnell nach dem TV-Duell zwischen CDU-Chefin Angela Merkel und SPD-Chef Martin Schulz gab es schon neue Umfragewerte.

Die ARD hat Infratest Dimap, das ZDF die Forschungsgruppe Wahlen gebeten, möglichst schnell Wähler anzurufen, die hoffentlich auch Zuschauer waren, und nach ihrer Einschätzung des Duells zu befragen. Außerdem hat Civey Nutzer online befragt.

Wie wertvoll diese Daten sind, zeigen die Ergebnisse. Bei Infratest Dimap:

(Screenshot: tagesschau.de)
(Screenshot: tagesschau.de)

Bei der Forschungsgruppe Wahlen:

(Screenshot: zdf.de)
(Screenshot: zdf.de)

 

Beide Fragen ähneln sich zwar, sind aber nicht gleich. Dennoch werden sie vom jeweiligen Sender als das Gesamtergebnis ausgegeben.

Schon der Unterschied in der Fragestellung kann für die verschiedenen Ergebnisse ausschlaggebend sein, aber auch die zusätzliche Möglichkeit des ZDF, mit „kein Unterschied“ zu antworten, während die Befragten bei Infratest wohl gezwungen war, eine klarere Entscheidung zu treffen oder aktiv „weiß nicht“ zu antworten (die fehlenden 10 Prozent).

Ich hoffe, Infratest bzw. ARD liefern die fehlenden Metadaten dazu noch nach.

Schon solche kleinen Unterschiede bei Frage und Antwortmöglichkeiten scheinen größere Unterschiede bei den Ergebnissen auszumachen. Noch deutlicher aber wird es, wenn man die zwei Umfragen mit fast derselben Fragestellung, aber verschiedenen Erhebungsmethoden nebeneinanderlegt. Dazu vergleiche man die Zahlen der Forschungsgruppe Wahlen mit denen von Civey (Ergebnisse gibt es nach Teilnahme).

Stand Montag um 10 Uhr kam Angela Merkel auf 44,9 Prozent, Martin Schulz auf 32,2 Prozent, „Beide gleich gut“ sagten 15,3 Prozent, „Weiß nicht“ 7,6 Prozent der Befragten. Weil die Umfrage noch läuft, ist eine Rückwirkung der anderen Umfragen und des sonstigen Spinning zu vermuten, dass also die Teilnehmer an der Civey-Umfrage nicht nur nach eigener Einschätzung urteilen, sondern auch die anderer einfließt.

Ein gutes Beispiel für die begrenzte Aussagekraft solcher Umfragen.

Danke an Sebastian Pertsch für den Hinweis.

 

Nachtrag, 4. September, 0.25 Uhr: Den Umfragen von ARD und ZDF habe ich noch Civey hinzugefügt.

Nachtrag, 4. September, 10.00 Uhr: Ich habe einen Zwischenstand bei Civey eingefügt – zum einen, weil sich das Ergebnis noch ändern kann, zum anderen, weil nicht alle Nutzer im eingebundenen Widget sofort das Ergebnis sehen können.

Nachtrag, 4. September, 13.40 Uhr: Die Umfrage bei Civey ist mittlerweile beendet. Die Werte haben sich nicht mehr verändert.

Was Umfragen aussagen: ZEIT online ändert Berichterstattung

Wie aussagekräftig Umfragen sind, verstecken manche Journalisten bei der Berichterstattung darüber gerne mal. Schließlich könnte man den eigenen Bericht kaputtmachen, wenn man die tatsächliche Aussagekraft der Daten zu deutlich kennzeichnet. Darüber habe ich ganz allgemein neulich bereits für den Deutschlandfunk berichtet.

Einige Medien machen es seit ein paar Monaten trotzdem. Spiegel online und die Süddeutsche Zeitung online zum Beispiel geben jetzt bei den Ergebnissen der Sonntagsfrage immer auch die Fehlertoleranz mit an. Statt eines festen Werts wie etwa 34 Prozent für die CDU nennen sie die statistische Schwankungsbreite, die in diesem Fall ungefähr zwischen 31 und 37 Prozent liegt. Über diese neuen Darstellungen im Speziellen habe ich ebenfalls neulich für den DLF berichtet.

So deutlich wie jetzt bei Zeit online habe ich es aber noch nicht gesehen, dass Journalisten genau sagen, was so eine Umfrage aussagen kann und was nicht.

bildschirmfoto-2017-09-01-um-22-33-16Im gestrigen Artikel über die Ergebnisse einer Sonntagsfrage wird zwar mehrmals auf „die Deutschen“ verallgemeinert; weil die Umfrage repräsentativ, kann man das machen. Allerdings wird im Fließtext fast ausschließlich „die Befragten“ verwendet, wenn die einzelnen Werte für die Parteien genannt werden. Das macht durchgehend deutlich, dass es sich um eine Umfrage handelt.

In der dazugehörigen Grafik sind außerdem keine dünnen Linien für die Parteien eingezeichnet, sondern dicke. Auch hier wird also die Schwankungsbreite mit angegeben. Außerdem kann man unterhalb der Grafik zwischen den Ergebnissen verschiedener Umfrageunternehmen hin- und herspringen – und sich auch ein gewichtetes Mittel dieser Umfragen anzeigen lassen.

bildschirmfoto-2017-09-01-um-22-35-57
Grafik: ZEIT online / Screenshot

Dadurch wird ziemlich gut sichtbar, dass zwischen Anfang Februar und Anfang April unklar wer, ob CDU/CSU oder SPD bei einer anstehenden Wahl vorne gelegen hätten, selbst wenn die festen Zahlenwerte womöglich die Führung einer der beiden Seiten angezeigt hätte.

Am besten aber finde ich den Disclaimer am Ende des Artikels. Im letzten Absatz heißt es, konkret auf die berichtete Umfrage bezogen:

Die Fragen zu Koalitionswünschen, der FDP und den Grünen stellte Infratest dimap von Montag bis Mittwoch an 1.013 Wahlberechtigte.

Und im darunterstehenden Kasten wird sehr gut erläutert, welche Aussagekraft Umfragedaten überhaupt haben. So steht dort unter anderem völlig ohne jedes Demoskopendeutsch:

Die Ergebnisse basieren immer auf Stichprobenbefragungen. Diese decken in der Regel nur spezielle Teile der Bevölkerung ab (z.B. Menschen mit Festnetz-Telefonanschluss oder Internetnutzer). Einige potenzielle Teilnehmer sind ablehnend und wollen erst gar nicht befragt werden. Fragen werden mitunter auch falsch verstanden und nicht immer aufrichtig beantwortet. Zum Beispiel auch in Reaktion auf vorangegangene Umfragen.

Das ist mehr als vorbildlich und geht weit über die in Artikel 2.1 des Pressekodex geforderten Angaben hinaus. Dort heißt es lediglich:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.

Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.

In einem längeren Text im ZEIT-Online-Blog „Glashaus“ erläutern Sascha Venohr und Andreas Loos, wie sie künftig mit Umfragen umgehen wollen. Dort beziehen sie sich zum Beispiel auf die Fehlertoleranz, die meistens größer ist als die Veränderung der Parteiwerte von der einen zur anderen Umfrage. Sie ziehen daraus den einzig vernünftigen Schluss:

Die vermeintliche Nachricht, wonach Partei X einen oder zwei Prozentpunkte hinzugewonnen habe, werden Sie bei uns nicht mehr finden. (…)

Erst wenn sich ein Trend für eine Partei über einen längeren Zeitraum bei einem Institut bestätigt, berichten wir darüber.

Wenn sich alle Journalisten bei ZEIT online tatsächlich an diese Vereinbarung halten, könnte die Seite bald die seriöseste sein, was die Berichterstattung über Umfragen angeht.