Keine eindeutige Mehrheit für CSU-Politik – Spiegel online interpretiert das aber anders

Die Überschrift ist natürlich ein Eyecatcher:

Mehrheit will CSU-Politik – aber mit Merkel als Kanzlerin

titelt Spiegel online. Der Text gibt das aber gar nicht her. Warum nicht?

Die Überschrift suggeriert, es gebe eine Mehrheit, die die CSU-Politik will und gleichzeitig Merkel als Kanzlerin. Darin liegt natürlich ein Widerspruch angesichts des derzeitigen Streits zwischen CDU und CSU, in dem ja ausgerechnet die CDU-Politikerin Angela Merkel die Position der CSU in der Migrationspolitik ablehnt.

Darin liegen aber zwei Fehldeutungen: Zum einen wurde gar nicht explizit nach der CSU-Politik gefragt, sondern nach verschiedenen Aspekten, die durchaus unterschiedlich beurteilt wurden. Zum anderen handelt es sich nicht um eine deckungsgleiche Mehrheit von Menschen, die beides gleichzeitig wollen, sondern um eine Mehrheit für die CSU-Politik einerseits und um eine Mehrheit für die Kanzlerin andererseits.

Zahlen geben keine Mehrheit für CSU-Politik her

Erst mal zu Punkt 1: Die Redaktion leitet ihre Zusammenfassung, was CSU-Politik ist, aus Antworten zu verschiedenen Fragen ab: einmal 57 Prozent, die für einen erschwerten Zugang von Flüchtlingen nach Deutschland sind, einmal 61 Prozent, die genau wie die CSU Flüchtlingen an der Grenze zurückweisen wollen, die schon in einem anderen EU-Land registriert wurden. Wichtiges Element der CSU-Politik ist aber auch die Frage, ob Deutschland versuchen sollte, die Flüchtlingsproblematik eher auf nationaler Ebene oder gemeinsam mit den EU-Partnern zu lösen. Da teilen nur 25 Prozent die CSU-Linie, die Frage solle national gelöst werden; 68 Prozent sagen, dass dies nur auf europäischer Ebene möglich ist – was wiederum die Position Angela Merkels ist.

In zwei von drei Aspekten der CSU-Politik gibt es also eine Mehrheit, bei einem wichtigen Aspekt aber nicht. Daraus schlusszufolgern, eine Mehrheit sei für die CSU-Politik, wo es zumindest Widersprüche gibt, finde ich nicht zulässig.

Mehrheit für CSU-Politik und Merkel ist nicht deckungsgleich

Jetzt zum anderen Aspekt: Auf die Frage, ob Merkel Bundeskanzlerin bleiben soll, antworten 58 Prozent mit Ja – also in derselben Bandbreite wie bei den ersten beiden Fragen. Da liegt es nahe, zu denken, dass das fast dieselbe Gruppe sei wie die, die die CSU-Positionen unterstützen.

Das muss aber nicht so sein und lässt sich zumindest an dem veröffentlichten Zahlenmaterial nicht ablesen: Von den 58 Prozent für Merkel können rechnerisch 43 Prozentpunkte gegen einen erschwerten Zuzug sein – dann wären nur die übrigen 15 Prozentpunkte sowohl für eine CSU-Position als auch für Merkel. Der Widerspruch wäre also längst nicht so groß wie von Spiegel online suggeriert.

Interessant in dem Zusammenhang ist die Reihenfolge, in der Spiegel online die Ergebnisse präsentiert: zunächst die beiden Mehrheiten für CSU-Positionen, dann die Mehrheit für Merkel, dann eine Mehrheit gegen eine CSU-Position. Hätte man die Ergebnisse zu CSU-Positionen zusammen präsentiert, wäre der Widerspruch aufgefallen – aber die Überschrift nicht mehr möglich gewesen.

Umfragedesign transparent gemacht

Um zum Schluss zu loben: Spiegel online hat transparent (und ohne Nachfrage) das Umfragedesign offengelegt, also mitgeteilt, wann wie viele Leute befragt wurden, ob die Umfrage repräsentativ ist und wie Fragestellung und Antwortmöglichkeiten lauteten. Ohne diese Angaben, die größtenteils vom Pressekodex gefordert werden, hätte ich die Aussagekraft dieser Umfrage nämlich gar nicht auf diese Weise einschätzen können.

t-online stellt Umfrageergebnisse vorbildlich dar

Vorgestern habe ich hier eine Umfrage zu den öffentlich-rechtlichen Sendern kritisiert, weil die Frage dazu einem Teil der Teilnehmer suggestiv gestellt worden war. Civey hat damals auf dem Twitter-Account reagiert, was ich grundsätzlich gut finde, auch wenn die Antworten nicht ganz zufriedenstellend waren.

Was ich bei Civey auch gerne lobe, ist die Tatsache, dass die Fragestellung immer transparent ist. Während viele Umfragen, wenn sie veröffentlicht werden, eher aus Interpretation bestehen, wird bei Civey auch dort, wo die Ergebnisse vorgestellt werden, fast immer deutlich, welches die Fragestellung war. Warum die so wichtig ist, habe ich ebenfalls hier erläutert. Das ist auch der Grund, warum der Pressekodex fordert, dass die Fragestellung genannt wird, wenn Ergebnisse präsentiert werden:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit.

Bei einer Umfrage, die t-online.de gestern veröffentlichte, fehlte in der ersten Textfassung zu den Ergebnissen genau diese Fragestellung.

Diese hat Chefredakteur Florian Harms jedoch nach einer Nachfrage dankenswerterweise ergänzt. Jetzt heißt es dort:

In der Studie sollten die Befragten angeben, inwiefern sie den politischen gesellschaftlichen und politischen Institutionen „ganz allgemein vertrauen oder nicht vertrauen.“ Dabei konnten sie zwischen den Antwortmöglichkeiten „Sehr großes Vertrauen“, „Eher großes Vertrauen“, „Eher geringes Vertrauen“ und „Überhaupt kein Vertrauen“ wählen.

Womöglich hat das zu einem Sinneswandel in der Redaktion geführt. In einer weiteren Umfrage, die t-online heute veröffentlicht, heißt es jetzt sogar noch ausdrücklicher:

Die gestellte Frage lautete: Wie bewerten Sie, dass sich die deutschen Nationalspieler Özil und Gündogan mit dem türkischen Präsidenten Erdogan getroffen haben? 

Diese Umfrage wurde von Civey durchgeführt, die dabei auch wieder die Antwortmöglichkeiten angeben:

  • völlig akzeptabel
  • eher akzeptabel
  • unentschieden
  • eher inakzeptabel
  • völlig inakzeptabel

Das ist auch eine vernünftige Skalierung, die nicht zulasten einer Seite ausschlägt. Auch das Ergebnis lässt sich differenziert anzeigen – alternativ zusammenfassend für „akzeptabel“ bzw. „nicht akzeptabel“ (die ersten beiden bzw. letzten beiden Antwortmöglichkeiten).

Unabhängig vom Thema und meiner üblichen Kritik an Umfragen im Allgemeinen kommt die Redaktion hier ihrer Verpflichtung laut Pressekodex nach und geht mit den Antwortmöglichkeiten sogar darüber hinaus. Das ist vorbildlich, weil es ermöglicht, ohne größeren Aufwand über die Plausbilität und die Aussagekraft der Umfrage zu diskutieren. So sollte es sein.

Eine Umfrage, die nichts aussagt, aber Stimmung macht

Wenn Sie abstimmen müssten, ob sie lieber einen Apfel oder eine Banane haben wollen, wie würden Sie sich entscheiden?

Stellen Sie sich vor, ich sage Ihnen, dass die Banane relativ viel Zucker enthält und leicht zu Verstopfung führen kann, während der Apfel wenige Kalorien hat und sehr gesund ist: Wie würden Sie sich jetzt entscheiden?

Die Fragestellung bei einer Umfrage ist enorm entscheidend für das Ergebnis. Die Kognitionsforscherin Elisabeth Wehling beschreibt es so:

Umfragen nutzen oft die falschen Wörter. Wörter nämlich, die im Gehirn des Antwortenden ideologisch selektive Deutungsmuster aufrufen. Wörter, die damit seine Positionierung zu einem Thema entscheidend mit vorgeben. Befragt man Bürger zur Migrationsbewegung, so sprechen sie sich eher dafür aus – spricht man sie aber auf die Migrationswelle an, sind sie stärker dagegen. Und zwar bei identischer Faktenlage!

Wichtig ist aber auch der Kontext der Umfrage: Welche Informationen gebe ich, bevor ich meine Frage stelle? Gerd Bosbach, Professor für Empirische Wirtschafts- und Sozialforschung an der Hochschule Koblenz, sagte mir für ein Interview:

Wenn ich eine Stimmung abfrage und versetze Sie über die Fragen vorher in eine nette Atmosphäre – ich frag Sie über Urlaub – dann sind Sie in einer guten Stimmung. Wenn Sie dann eine Stimmungsfrage bekommen zum Beispiel zu einer Regierung bekommen, dann werden Sie sich wahrscheinlich anders verhalten, als wenn ich sie vorher in schlechte Stimmung – wieviel Steuern zahlen Sie, wie ist das in der letzten Zeit gewachsen, wieviel Geld fehlt Ihnen? In dem Augenblick sind Sie nachher sauer, und wenn Sie sauer sind, werden Sie auf eine Stimmungsfrage ganz anders reagieren.

Ich habe hier schon öfter gezeigt, wie suggestiv die Fragestellung bei Umfragen sein kann. Neulich geriet mir aber eine besonders voreingenommene Fragestellung ins Postfach.

Das Umfrageunternehmen Civey fragte, wieviel die Leute bereit wären, für öffentlich-rechtlichen Rundfunk zu bezahlen, und leitet das mit diesen Vorbemerkungen ein:

Also zusammengefasst: „unabhängig von der Nutzung“, „Kritik“, „Klagen“, „Verfassungsbeschwerden“, „unrechtmäßig“, „verstößt gegen Gleichheitssatz“. Ausschließlich Argumente gegen den öffentlich-rechtlichen Rundfunk. Und jetzt sagen Sie mal bitte, wie viel Sie monatlich zahlen würden?

Zum Stand der Veröffentlichung dieses Blogbeitrags sagten 40,4 Prozent, sie würden „nichts“ bezahlen wollen, 13,7 % zwischen 1 und 5 Euro, 18,7 % zwischen 6 und 10 Euro.

Überrascht Sie das Ergebnis?

Mit der Kritik konfrontiert, verweist Civey auf Hintergrundinformationen, wie sie statistische Unsicherheiten vermeiden:

Das heißt: die Stimmen, die wir über unseren Newsletter generieren, werden für die Frage, die wir im Newsletter versenden, kaum berücksichtigt, damit wir eine suggestive Beeinflussung durch den Kontext vermeiden. Wichtig sind die Stimmen auf „empfohlene Umfragen“.

Wenn Sie die Umfrageergebnisse verfolgen, werden Sie daher sehen, dass der statistische Fehler noch sehr hoch bleibt, solange vor allem Direkt-Votes auf der Umfrage sind. Daher sind manche unserer Umfragen, selbst mit mehreren tausend Abstimmungen, noch nicht repräsentativ.

Das heißt: Nutzer werden per Newsletter dazu aufgerufen, an einer Umfrage teilzunehmen, deren Stimmen werden dann aber kaum berücksichtigt? Das erscheint mir nicht sonderlich plausibel. Civey schreibt dazu (nachzulesen im obigen Twitter-Thread):

Mit dem Newsletter präsentieren wir unserem Panel in der Regel ein tagesaktuelles Thema, zu dem wir eine neue Umfrage erstellt haben. Auch beim Newsletter gilt allerdings: für das System wichtig sind vor allem die Stimmen, die die Nutzer auf weitere Umfragen tätigen. (1/2)

So wird die Frage, die wir im Newsletter ausspielen, auch auf den anderen der rund 25.000 Webseiten ausgespielt, die unsere Umfragen täglich einbinden. Durch diese Votes wird sie dann schließlich repräsentativ. (2/2)

Der Newsletter lässt meist leider (auch aufgrund der gebotenen Kürze) keine umfassende Betrachtung eines Themas zu. Wir bemühen uns aber in der Regel um eine nicht allzu einseitige Formulierung und werden uns dies auch in Zukunft zu Herzen nehmen. Danke für das Feedback!

Und selbst wenn der Großteil der Stimmen in einem kontextfreien Umfeld erhoben wurde, kommen mir die als repräsentativ ausgewiesenen Ergebnisse nicht sonderlich plausibel vor. Etwa wegen der Fragestellung:

Wie viel würden Sie monatlich pro Haushalt für den öffentlich-rechtlichen Rundfunk bezahlen, wenn Sie selbst entscheiden könnten?

Bedeutet die Antwort „Nichts“, dass die Antwortenden gerne einen öffentlich-rechtlichen Rundfunk hätten, dafür aber nichts bezahlen wollen? Das wäre nicht realisierbar. Oder bedeutet das, dass die Antwortenden überhaupt keinen öffentlich-rechtlichen Rundfunk möchten, wenn sie dafür bezahlen müssten? Das widerspricht wiederum andere Umfragen, nach denen es eine Mehrheit für den Erhalt des Systems gibt. Oder würden sie für weniger Geld auch weniger Programm akzeptieren?

Ein verwertbares Ergebnis bringt diese Umfrage also nicht. Das hätte man sich aufgrund der Fragestellung, der Kontextualisierung und der Antwortoptionen aber vorher denken können. So bleibt die Frage offen, welchen Zweck die Umfrage überhaupt noch hat. Mir fallen nur zwei mögliche Antworten ein: Entweder wurde sie gedankenlos erstellt, oder man wollte damit Stimmung machen.

 

Anmerkung: In Vorbereitung auf die Datenschutzgrundverordnung habe ich Widgets, die sich ursprünglich im Text befanden, entfernt und sie durch Links ersetzt.

Welt online feiert unbegründet „Jahrestief“ der Union

Und schon wieder sind Journalisten leichtsinnig mit den Ergebnissen einer Umfrage umgegangen. In diesem Fall offenbar Journalisten der Nachrichtenagentur Reuters, deren Meldung Welt online übernommen und nur leicht redaktionell bearbeitet hat. Die mangelnde Aussagekraft dieser Bewegung, die in der Überschrift steht, kann dadurch aber auch nicht wettgemacht werden. Dort heißt es:

Union sinkt in Wählerumfrage auf Jahrestief

Tatsächlich heißt es im Text:

Im „Sonntagstrend“,den das Meinungsforschungsinstitut Emnid  wöchentlich für die Zeitung „Bild am Sonntag“ erhebt, verlieren CDU/CSU einen Prozentpunkt auf 32 Prozent.

Dieser eine Prozentpunkt ist Anlass für die Überschrift. Das Problem ist, dass dieser eine Prozentpunkt so präzise gar nicht messbar ist.

Umfragen kommen immer mit einer gewissen Unschärfe daher. Die Werte liegen also nicht fest, sondern geben die Mitte einer Schwankungsbreite an. Bei etwa 30 Prozent liegt sie bei rund 2,5 Prozentpunkten. Das heißt, wir reden nicht von 32 Prozent, sondern von einem Bereich zwischen 29,5 und 34,5 Prozent.

Und auch die werden nur mit 95-prozentiger Wahrscheinlichkeit erreicht. Das heißt: Würde die Umfrage 20-mal unter denselben Bedingungen durchgeführt, könnte die Abweichungen in einem Fall sogar größer sein. (Mal davon abgesehen, dass dieselben Bedingungen nicht reproduzierbar sind, denn jeder Befragte würde bei jeder weiteren Umfrage zu einem anderen Zeitpunkt, in anderen Umständen, mit womöglich anderem Wissen und einer anderen Meinung angetroffen werden).

Wenn der ermittelte Wert also beim letzten Mal bei 33 Prozent lag und dieses Mal bei 32 Prozent, hätte er beim letzten Mal auch bei 30,5 Prozent liegen können und dieses Mal bei 34,5 Prozent. Dann wäre das sogar eine Verbesserung und alles andere als ein „Jahrestief“. Oder im umgekehrten Extrem lag er beim letzten Mal bei 35,5 Prozent und dieses Mal bei 29,5 Prozent. Dann wäre das eine wirkliche Verschlechterung gewesen.

Messen kann man die aber nicht, deswegen ist jede Schlagzeile wie die von Welt online, die Rekordwerte suggeriert, nicht ausreichend von Fakten gedeckt.

Die Meldung stellt darüber hinaus noch unzulässig einen Zusammenhang her, den es nicht gibt. So heißt es:

Nach der Wahl von Andrea Nahles zur neuen Parteichefin verharrt die SPD bei 18 Prozent.

Das klingt so, als sei Nahles zum Zeitpunkt der Befragung bereits SPD-Chefin gewesen. War sie aber nur bei einem Teil der Befragten, denn weiter heißt es im Text:

Befragt wurden den Angaben zufolge zwischen dem 19. und 25. April 2350 repräsentativ ausgewählte Personen.

Gewählt wurde Nahles aber erst am 22. April. Wer also vorher befragt wurde, konnte nicht auf die Wahl reagieren – wer danach befragt wurde, schon.

 

Anmerkung: In Vorbereitung auf die Datenschutzgrundverordnung habe ich Widgets, die sich ursprünglich im Text befanden, entfernt und sie teilweise durch Links ersetzt.

Presserat beanstandet Online-Umfrage

Umfragen sind äußerst beliebt bei Journalisten. Viele Redaktionen starten gerne eigene im Internet. Besonders aussagekräftig sind die Ergebnisse aber nicht und gefährden damit die journalistische Glaubwürdigkeit. Der Presserat hat jetzt eine manipulierbare Online-Umfrage des Münchner Merkurs beanstandet, wie ich für @mediasres im Deutschlandfunk berichtet habe.

Die unseriösesten Umfragewerte der Woche

WDR2 hat die richtige Antwort gefunden auf die Flut von Umfragen, die vorgaukeln, abzubilden, was „die Deutschen“ denken und wollen. Tom Beinlich von Infam, dem Institut für angewandte Meinungsmache, präsentiert jeden Mittwoch „die unseriösesten Umfragewerte der Woche“ – in der „Meinung am Mittwoch“. Wenngleich ich mir noch unseriösere Werte vorstellen kann…

Spiegel online fragt nach Zweifeln am Journalismus und liefert gleich Anlass

Lügenpresse, Entfremdung, Elfenbeinturm: Die Zweifel an der journalistischen Arbeit sind immer noch hoch.

Schreibt Spiegel online. Und liefert sofort einen Grund, warum das wohl so sein könnte. Nämlich eine selbst durchgeführte Online-Umfrage, die keinerlei verlässliches Ergebnis hat und genau den Zweifel an der journalistischen Arbeit aufkommen lässt, den man eigentlich abfragen will.

DER SPIEGEL möchte wissen, was Sie denken: Über die deutschen Medien, über die Arbeit von Journalisten und die Berichterstattung des SPIEGEL. Was ärgert Sie, was finden Sie gut? Was vermissen Sie? Was müssen wir verbessern?

Die Nutzer werden dazu aufgerufen, bei zwei Fragen abzustimmen. Die erste Frage lautet:

Wie ist Ihre Haltung zu deutschen Medien?

  • Ich vertraue ihnen weitgehend.
  • Ich misstraue ihnen eher.

Problematisch ist der unbestimmte Medienbegriff in der Frage. Denn bei vielen Umfragen zum Vertrauen in Medien hat sich gezeigt, wie breit der Medienbegriff der Nutzer ist. Viele verstehen darunter nämlich nicht nur redaktionelle Medien, sondern auch soziale, in die man zurecht weniger Vertrauen haben sollte. Das zeigt sich daran, dass ihr Vertrauen in „die Medien“ insgesamt viel geringer ist als wenn man sie nach konkreten Mediengattungen oder Marken fragt, etwa nach Zeitungen, öffentlich-rechtlichen Fernsehsendern oder etwa der „Tagesschau“.

Beispielhaft dafür nur mal eine Infratest-Dimap-Umfrage für den WDR (pdf) im Januar 2017. Gefragt nach der „Glaubwürdigkeit der Informationen in den deutschen Medien“ nannten sie 57 Prozent glaubwürdig.

(Screenshot: wdr.de)
(Screenshot: wdr.de)

Aufgegliedert nach Mediengattungen im weiteren Sinne sah das Bild aber anders aus.

(Screenshot: wdr.de)
(Screenshot: wdr.de)

Da liegen also bis auf Privatfernsehen und Privatradio alle seriösen Medien oberhalb des Durchschnittswertes – weil viele Befragte eben auch soziale Medien und das „Internet im Allgemeinen“ ebenfalls als Medien ansahen.

Insofern ist der Begriff, den Spiegel online verwendet, äußerst vage. Das Abstimmungsergebnis verwundert daher nicht.

(Screenshot: spiegel.de)
(Screenshot: spiegel.de)

Die Frage von Spiegel online ist allerdings noch viel schwammiger, weil dort sogar die nötige Trennschärfe zwischen den Antworten gar nicht gegeben ist. Dort lauten Frage und Antwortmöglichkeiten:

Wie informieren Sie sich?

  • Ich lese vor allem klassische, etablierte Medien.
  • Ich schaue und höre vor allem Öffentlich-Rechtlichen Rundfunk.
  • Ich informiere mich vor allem über alternative Medien.
  • Ich lese vor allem, was bei Social Media gepostet wird.

Darin finden sich gleich mehrere Überschneidungen:

  1. Unter klassischen, etablierten Medien werden offenbar lediglich lesbare verstanden. Dass auch Radio und Fernsehen mehr als 100 bzw. 60 Jahre nach ihrer Einführung dazuzählen sollten, ist wohl keine Frage.
  2. In Zeiten des sogenannten Internets sind zudem auch öffentlich-rechtliche Rundfunksender lesbar.
  3. Was alternative Medien sind, wird nicht erklärt. Die Unterscheidung muss also der Befragte treffen. Was der eine für alternativ hält, kommt dem anderen als Begriff nicht mal in den Sinn.
  4. Bei der Frage nach „Social Media“ verschwindet die Quelle dessen, was man liest, dann ja völlig im Dunkeln. Dort posten Nutzer originalen Unsinn, dort wird genauso auf diese ominösen alternativen Medien verwiesen wie auf seriöse. Mithin kann man durch einen Klick darauf gleichzeitig auch alle anderen Fragen mit Ja beantworten. Auswählen kann man aber nur eine Antwort.

So lässt sich das Ergebnis der Abstimmung jedenfalls nicht verwenden.

(Screenshot: spiegel.de)
(Screenshot: spiegel.de)

An den Umfragen haben offenbar zwischen 37.000 und 62.000 Nutzer teilgenommen (sicherlich mit Schnittmengen). Repräsentativ macht diese für Umfragen hohe Teilnehmerzahl diese aber auch nicht. Das schreibt Spiegel online zugegeben auch selbst:

SPIEGEL-ONLINE-Votes sind keine repräsentativen Umfragen. Sie geben lediglich ein Stimmungsbild derjenigen wieder, die bei den Votes mitmachen. Die Teilnahme ist unverbindlich und freiwillig.

Die Ergebnisse sind dann aber übrigens auch unverbindlich. Denn freilich ist die deutsche Bevölkerung darin nicht repräsentativ abgebildet. Aber nicht mal die aller Spiegel-online-Leser. Sondern nur die von denen, „die bei den Votes mitmachen“. Das zeigt dann noch mal sehr deutlich, wie wenig Aussagekraft diese Umfrage hat – nicht mehr als eine Voxpop-Umfrage für Radio und Fernsehen. Durch die hohe Teilnehmerzahl und die mit zwei Nachkommastellen scheinbar präzise ausgewiesenen Ergebnisse suggeriert sie aber Zuverlässigkeit. Welcher journalistische Mehrwert sich damit verbindet, erschließt sich mir nicht.

Begeisterung löst das aber freilich aus – die sollte aber nur für die Teilnehmerzahl gelten, nicht für die Ergebnisse.

Dass solche Umfragen leicht zu manipulieren ist, kommt noch als Gegenargument hinzu.

Und dann noch das hier: Spiegel online hat diese Frage im Anschluss an eine wissenschaftliche Studie zum Thema gestellt, über die es selbst berichtet hat – und stellt zwei Fragen aus dem Komplex dann noch mal schief bis falsch. Nach dem Motto: Hey, diese Ergebnisse kriegen wir mit unwissenschaftlichen Quatsch-Umfragen bestimmt zuverlässiger ermittelt.

Das schadet der Seriösität von Medien. Dass aber ausgerechnet die in dieser Umfrage abgefragt wird, ist die eigentliche Ironie der Geschichte.

Tagesschau feiert Rekord-Negativwert für SPD

16 Prozent – SPD fällt auf Rekordtief

So titelt tagesschau.de zu seinem neuen Deutschlandtrend vom 15. Februar und schreibt weiter:

Im ARD-DeutschlandTrend kommt die SPD bei der Sonntagsfrage nur noch auf 16 Prozent – ein neuer Negativrekord.

Der Wert liege noch zwei Prozentpunkte unterhalb der letzten Umfrage von Anfang Februar. Das rechtfertigt theoretisch, von einem Rekordtief zu sprechen. Allerdings unterschlägt diese Darstellung, dass die Werte Schwankungsbreiten haben (genaue Breite hier im PDF), also bei einer erneuten Umfrage unter denselben Bedingungen nicht exakt gleich ausfallen würde, sondern – im Fall des Niveaus der SPD – um rund zwei Prozentpunkte höher oder niedriger liegen könnte. Also in einer Schwankungsbreite von 14 bis 18 Prozent.

Moment mal, 18 Prozent? Das ist ja der Wert vom letzten Mal.

Stimmt. Es ist also durchaus möglich, dass sich der Wert der SPD gar nicht verändert hat. Genauso kann er aber auch massiv gefallen sein. Wenn er beim letzten Mal tatsächlich bei 20 Prozent lag und dieses Mal bei 14.

Entscheidend ist: So ganz genau kann man das nicht sagen. Es ist natürlich journalistisch reizvoll, auch kleinste Veränderungen bei Umfragewerten entsprechend auszuschlachten. Allerdings wird nur in einer Infobox unterhalb des längeren Textes auf die Unsicherheiten hingewiesen wird, während in Überschrift, Teaser und Text Gewissheiten verbreitet werden.

Wie schuldig ist die FDP am Jamaika-Aus? Warum sich drei Umfragen widersprechen

Na, wer trägt denn nun die Schuld daran, dass die Sondierungsgespräche zwischen CDU, CSU, FDP und Grünen in der Nacht zu Montag gescheitert sind?

Mal davon abgesehen, dass das rein faktisch schwer zu sagen ist, hatten sich in mehreren Blitzumfragen unterschiedlich viele Befragte auf die FDP festgelegt. In einer Umfrage für die Tagesschau hieß es, 32 Prozent gäben der FDP die Schuld. Im ZDF waren es 55 Prozent. Bei RTL und n-tv 19 Prozent. Das klingt widersprüchlich. Wie kommen diese unterschiedlichen Werte zustande? Gestern habe ich das in @mediasres im Deutschlandfunk erklärt – hier jetzt noch mal etwas ausführlicher.

Es geht um diese drei Umfragen:

Dass die Werte so stark voneinander abweichen, hat vor allem zwei Ursachen. Zum einen gab es bei den Umfragen unterschiedliche Fragestellungen, zum anderen unterschiedliche Antwortmöglichkeiten.

(Quelle: https://twitter.com/tagesschau/status/932691402802253824)

Die Fragestellung

Infratest Dimap hat zum Beispiel für die Tagesschau die Frage gestellt:

Die Gespräche zwischen CDU, CSU, FDP und Grünen zur Bildung der nächsten Bundesregierung sind gestern Abend gescheitert. Welche der verhandelnden Parteien trägt Ihrer Meinung nach in erster Linie die Verantwortung hierfür: die CDU, die CSU, die FDP oder die Grünen?

Forsa stellte wiederum diese Frage:

Wer ist für das Scheitern der Jamaika-Verhandlungen verantwortlich?

Die Forschungsgruppe Wahlen hat für das ZDF gefragt:

Wer ist Ihrer Meinung nach hauptsächlich Schuld daran, dass jetzt die Bildung einer „Jamaika“-Koalition gescheitert ist, …
– die CDU,
– die CSU,
– die FDP oder
– die Grünen?

Man sieht schon an der Fragestellung, dass diese unterschiedlich akzentuiert ist. Während Forsa relativ allgemein fragte, fragten Infratest und die Forschungsgruppe nach einer herausgehobenen Verantwortung eines (oder mehrerer) Beteiligter („in erster Linie“, „hauptsächlich“). Es ist nur eine Kleinigkeit in der Akzentuierung, die allerdings schon zu leicht unterschiedlichen Aussagen führen kann.

Die Antwortmöglichkeiten

Bei jeder der drei Umfragen gab es unterschiedliche Antwortmöglichkeiten. Während Infratest die Befragten zwang, sich auf eine Partei festzulegen, bot Forsa zusätzlich an, alle vier Parteien gemeinsam zu benennen. Bei der Forschungsgruppe wiederum wies der Interviewer darauf hin, dass Mehrfachnennungen möglich waren. Dadurch gab es hier nicht nur vier oder fünf, sondern sogar 15 verschiedenen Antwortmöglichkeiten – indem entweder eine Partei genannt wurde, zwei oder drei (in unterschiedlichen Kombinationen) oder alle vier.

Je größer die Auswahl ist, desto besser werden sich die Antworten verteilen. Dass bei Forsa die Werte für die einzelnen Parteien geringer sind, ist deswegen genausowenig verwunderlich wie die Tatsache, dass sie bei der Forschungsgruppe Wahlen für jede einzelne Partei wiederum höher ist.

Die Frage nach den Neuwahlen

Dieselben Ursachen haben auch die Abweichungen bei der Frage nach Neuwahlen.

(Quelle: https://twitter.com/tagesschau/status/932691779262001152)

Während Infratest eine Zustimmung von 63 Prozent ermittelte, kam die Forschungsgruppe Wahlen auf 51 Prozent und Forsa auf 45 Prozent. Auch hier liegen die Unterschiede in verschiedenen Fragen und unterschiedlichen Antwortmöglichkeiten begründet.

Infratest stellte folgende Frage:

Angenommen, eine Neuauflage der großen Koalition aus CDU/CSU und SPD kommt nicht zustande. Wie sollte es Ihrer Meinung nach dann weitergehen? Sollten CDU und CSU eine Minderheitsregierung bilden oder sollte es Neuwahlen geben?

Eine Große Koalition wurde also schon in der Fragestellung ausgeschlossen, antworten konnten die Befragten nur mit Minderheitsregierung oder Neuwahlen. Kein Wunder, dass sich die Werte nur auf diese zwei Antworten verteilen.

Forsa nahm diese Option ausdrücklich mit auf, dementsprechend verteilten sich auch die Antworten stärker. Den Tweet mit entsprechendem Video findet Ihr hier.

Die Forschungsgruppe Wahlen ging dagegen ungewöhnlich vor. Sie stellte nicht eine einzige Frage, sondern gleich drei, auf die die Befragten separat antworten mussten.

Es gibt verschiedene Möglichkeiten, wie es jetzt weiter geht. Im Gespräch sind Neuwahlen, eine Minderheitsregierung oder die Bildung einer großen Koalition.

  1. a) Wenn es jetzt zu Neuwahlen käme, fänden Sie das …
    – gut    oder
    – schlecht?
  1. b) Eine weitere Möglichkeit wäre eine Minderheitsregierung unter Führung der CDU/CSU, also eine Regierung, die im Bundestag keine eigenständige Mehrheit hat und deshalb bei Abstimmungen auf die Unterstützung anderer Parteien angewiesen ist. Fänden Sie eine solche Minderheitsregierung unter Führung der CDU/CSU …
    – gut    oder
    – schlecht?
  1. c) Eine weitere Möglichkeit wäre die Bildung einer großen Koalition aus CDU/CSU und SPD, obwohl die SPD eine solche Koalition unter Führung der CDU/CSU ausgeschlossen hat. Wenn es trotzdem zu einer großen Koalition käme, fänden Sie das …
    – gut  oder
    – schlecht?

Das erklärt, warum die Zustimmung für Neuwahlen bei 51 Prozent liegt und die für eine Große Koalition bei 48 Prozent. Nur eine Minderheitsregierung wird mit 30 Prozent ähnlich schwach befürwortet wie bei Infratest.

Wie aussagekräftig sind die Umfragen?

Jeweils für sich besitzt jede Umfrage genug Aussagekraft – wenn man Fragestellung und Antwortmöglichkeiten berücksichtigt. Diese transparent zu machen versäumen die Sender jedoch oft, die sie in Auftrag gegeben haben. In diesem Fall musste ich alle drei Sender ausdrücklich danach fragen, obwohl der Pressekodex verlangt, diese mit zu veröffentlichen.

Alle drei Umfragen sind im Prinzip repräsentativ, unter anderem weil jeweils mehr als tausend wahlberechtigte Menschen in Deutschland befragt wurden, bei der Forschungsgruppe Wahlen mehr als 1.300, bei Forsa sogar mehr als 1.700.

Allerdings stellt sich die Frage, wie informiert die Befragten zum Zeitpunkt der Umfrage sind. Während Forsa für RTL schon ab 9.00 und bis 17.00 Uhr per Online-Panel gefragt hat, ließ die Tagesschau erst zwischen 15.00 und 19.15 Uhr telefonisch befragen und das ZDF zwischen 16.30 und 20.45 Uhr. Gerade an einem ereignisreichen Tag wie dem nach dem Abbruch der Sondierungsverhandlungen ist allerdings nicht nur der Sachstand der Informationen zum Zeitpunkt der Abstimmung entscheidend als auch der Spin, den Parteien und Medien dem Ereignis geben und der sich im Laufe des Tages durchaus ändern kann. Das bedeutet, dass morgens wahrscheinlich auf anderer Informationsgrundlage abgestimmt wurde als am Nachmittag.

All diese Faktoren haben Einfluss auf das Ergebnis. All diese Faktoren teilen die Sender aber in der Regel nicht mit. Am Ende bleiben dann vielleicht höchstens noch die Werte hängen: dass 55 Prozent „der Deutschen“ der FDP die Schuld geben – oder 32 Prozent – oder 19 Prozent.

Diese Umfragen wiederum geben dann wiederum der politischen Debatte den entsprechenden Spin. Bei einer tatsächlichen Neuwahl ist es nicht ausgeschlossen, dass die FDP darunter leiden wird, dass ihr nicht nur eine Mehrheit der Befragten die Schuld gibt, sondern Teile der übrigen Öffentlichkeit sich dieser Haltung anschließen könnten, die ihr ohne die Umfragen nicht bekannt geworden wäre. Insofern ist durchaus relevant, wie solche Umfragen zustandekommen.

 

Anmerkung (20.05.2018): Wegen der Datenschutzgrundverordnung habe ich Widgets, die sich ursprünglich im Text befanden, entfernt und sie teilweise durch Links ersetzt.

So deutet „Die Welt“ eine Mehrheit für eine ARD-ZDF-Fusion herbei

Die Mehrheit der Deutschen ist für eine Fusion von ARD und ZDF zu einem nationalen, öffentlich-rechtlichen Sender.

Das schreibt die Springer-Tageszeitung „Die Welt“ auf ihrer gemeinsamen Webseite mit dem Springer-Fernsehsender „N24“. Ich bezweifle, dass das tatsächlich so ist. Denn die Umfrage, die das Umfrageunternehmen Civey für die beiden Medien online durchgeführt hat, ist so vage, dass die Antworten nur falsch sein können.

Das lässt sich schon an der Fragestellung ablesen, die die Welt glücklicherweise mit veröffentlicht hat:

Bei diesem WELT-Trend lautete die Frage: „Sollten die Fernsehsender von ARD und ZDF zu einem einzigen bundesweiten, öffentlich-rechtlichen Sender fusioniert werden?“

Im Artikel, in dem diese Umfrage eingebettet war, wurde vorher sogar noch eine etwas längere Frage gestellt:

Wir wollen von Ihnen wissen: Wie sehen Sie die Zukunft der öffentlich-rechtlichen Rundfunkanstalten in Deutschland? Soll alles so bleiben, wie es ist, und beide weiterhin gemeinsam nebeneinander bestehen? Oder plädieren Sie dafür, dass die Fernsehsender von ARD und ZDF zu einem einzigen bundesweiten öffentlich-rechtlichen Sender fusioniert werden?

Das sind streng genommen zwei verschiedene Fragen. Denn „beide“ gibt es so gar nicht. Gemeint sind wohl ARD und ZDF. Aber die ARD ist nur eine Arbeitsgemeinschaft, die aus neun verschiedenen Landesrundfunkanstalten und der Deutschen Welle besteht. Daneben gibt es noch das Deutschlandradio, somit also elf öffentlich-rechtliche Rundfunkanstalten in Deutschland (die Deutsche Welle wird nicht aus dem Rundfunkbeitrag finanziert, sondern aus Steuermitteln). In der zweiten Frage wird dann nach „Fernsehsendern von ARD und ZDF“ gefragt, womit schon mal alle Radioprogramme ausgenommen werden und beim Fernsehprogramm alles über einen Kamm geschert wird.

Die neun Landesrundfunkanstalten und das ZDF betreiben nämlich im Moment getrennt und gemeinsam insgesamt 21 Fernsehsender. Bei einer Fusion, nach der Civey gefragt hat, müssten also all diese 21 Sender zu einem verschmelzen. Die Zuschauer würden also nicht nur auf Das Erste und das ZDF in ihrer bisherigen Form verzichten müssen, sondern auch auf alle dritten Programme, 3sat, Kika, Phoenix, Arte, ARD alpha, tagesschau24, ARD one, ZDF info und ZDF neo. Programme, die von Millionen Menschen gesehen werden.

Nur als Beispiel: Das Erste hatte im September 2017 nach Zahlen der AGF Videoforschung einen Marktanteil von 11,2 Prozent, das ZDF 12,9 Prozent. Alle anderen genannten öffentlich-rechtlichen Programme kamen zusammen auf 21,7 Prozent. Das ist ein so diversifiziertes Programm und damit auch Publikum, das man auf keinen Fall mit einem einzigen gemeinsamen öffentlich-rechtlichen Programm zufriedenstellen könnte. Was im Umkehrschluss bedeutet, dass ein mehr oder weniger großer Teil der bisherigen Zuschauer das zentrale Programm nicht mehr einschalten würde.

Plädieren also tatsächlich 54 Prozent der Teilnehmer an der WELT-Umfrage für nur noch ein einziges Programm? Also mehr Programmeinfalt, um damit mehr Zuschauer gleichzeitig erreichen zu müssen? Warum sollten sie auf etwas verzichten wollen, das sie so intensiv nutzen?

Ich glaube, dass die meisten Teilnehmer der Umfrage die gestellte Frage gar nicht verstanden haben, weil sie viel zu unspezifisch formuliert wurde. Für viele ist ARD immer noch das erste Fernsehprogramm, auch wenn das offiziell „Das Erste“ heißt. Für viele ist ZDF das zweite Fernsehprogramm (wie der Name schon sagt), nicht aber deren Ableger Info und Neo. Und vor allem sind es nicht die gemeinsam veranstalteten Programme wie Arte und 3sat.

Hätten Welt und Civey nur nach den beiden Sendern „Das Erste“ und ZDF fragen wollen, wäre so eine Frage zielgenauer gewesen:

Sollten das erste und zweite Fernsehprogramm zu einem einzigen Sender zusammengelegt werden?

So aber kann WeltN24 das Ergebnis der missverstandenen Frage wieder auf die Anstalten an sich zurückdeuten und dann titeln:

(Screenshot: https://www.welt.de/kultur/medien/article169891258/Mehrheit-der-Deutschen-fuer-Fusion-von-ARD-und-ZDF.html)
(Screenshot: https://www.welt.de/kultur/medien/article169891258/Mehrheit-der-Deutschen-fuer-Fusion-von-ARD-und-ZDF.html)

Eine Frage missverständlich zu stellen und die Ergebnisse dann als scheinbar eindeutig auszugeben ist jedenfalls kein seriöser Umgang mit einer Umfrage.

Dass es der Springer-Vorstandsvorsitzende Matthias Döpfner war, der in seiner Funktion, aber auch als Präsident des Bundesverbandes Deutscher Zeitungsverleger immer wieder gegen die öffentlich-rechtlichen Sender polemisiert, sei nur zum Schluss kurz erwähnt.