Eine Studie, die Angst macht

(Quelle: R+V Versicherung)
(Quelle: R+V Versicherung)

Schon Anfang September hat die R+V Versicherung wieder ihre jährliche Umfrage über die „Ängste der Deutschen“ vorgestellt. Sie schreibt darüber selbst:

Terroranschläge, verheerende Unwetter oder Zuwanderung: Wie stark beeinflussen aktuelle Themen die Ängste der Deutschen? Das Infocenter der R+V Versicherung hat zum 26. Mal rund 2.400 Menschen nach ihren größten Sorgen rund um Politik, Wirtschaft, Umwelt, Familie und Gesundheit befragt. 2017 jagen Sicherheitsprobleme den Bürgern am meisten Angst ein.

„Langzeitstudie“ nennt die Versicherung ihre Erhebung, dabei ist es eigentlich nicht mehr als eine Umfrage. Erhoben werden also nicht objektive Daten, sondern persönliche Einschätzungen der Befragten.

Insofern unterscheidet sich diese Umfrage nicht von hunderten bis tausenden anderen, die jedes Jahr durchgeführt und von Lobbyverbänden und Unternehmen veröffentlicht werden. Die Angst-Umfrage dient der Versicherung dabei gleichermaßen als PR-Instrument als vermutlich auch als Datenschatz, in welchem Bereich sich möglicherweise weitere Versicherungen verkaufen ließen.

An der Umfrage lässt sich viel Kritik äußern – aber die diesmal genauer als sonst bei Studien. Denn die Versicherung hat die Daten zur Erhebung genau dokumentiert. Die Ergebnisse leider nicht, aber dazu später.

Umfragedesign ist transparent

Bei der Erhebung heißt es zum Beispiel, dass die Menschen persönlich befragt wurden – in „strukturierten persönlichen Interviews mit geschlossenen Fragen“. Geschlossene Fragen heißt, es wurde eine Reihe von möglichen Ängsten abgefragt, die Befragten konnten also nicht selbst nennen, was sie gerade besonders ängstigt. Felicitas Kock fragt deshalb in der Süddeutschen Zeitung zurecht, ob es da nicht konkretere Ängste gebe als ausgerechnet die vor Terror:

Die Angst, dass ausgerechnet dem Menschen etwas zustößt, der einem auf der Welt am nächsten ist, zum Beispiel. Oder die Angst, morgens vom Auto überfahren zu werden, weil es statt eines Fahrradwegs nur einen schlecht markierten Seitenstreifen gibt.

Doch danach wird gar nicht gefragt. Ängste sind sehr individuell. Sie auf ein paar mögliche einzugrenzen und anschließend zu behaupten, das seien „Die Ängste der Deutschen“, greift doch sehr kurz. Man müsste eher sagen: „Die Ängste der Deutschen unter denen, nach denen wir sie gefragt haben“. Als da wären:

Ich habe gar keine Angst … sehr große Angst davor, dass

  • ich schwer erkranke
  • ich von Arbeitslosigkeit betroffen werde
  • ich im Alter meinen Lebensstandard nicht halten kann
  • meine Partnerschaft zerbricht
  • meine Kinder drogen- und / oder alkoholabhängig werden
  • Nahrungsmittel immer stärker mit Schadstoffen belastet sind
  • die Anzahl an Naturkatastrophen zunimmt
  • die Arbeitslosigkeit in Deutschland weiter steigt
  • die Lebenshaltungskosten stark steigen
  • sich die Wirtschaftslage in Deutschland verschlechtert
  • sich der politische Extremismus ausbreitet
  • ich Opfer einer Straftat werde
  • das Zusammenleben zwischen Deutschen und den hier lebenden Ausländern durch einen weiteren Zuzug von Ausländern / Asylanten beeinträchtigt wird
  • Deutschland mit kriegerischen Auseinandersetzungen konfrontiert wird
  • terroristische Vereinigungen Anschläge verüben
  • die Politiker von ihren Aufgaben überfordert sind
  • die Schuldenkrise einiger EU-Staaten den Euro gefährdet
  • die Schuldenkrise einiger EU-Staaten für den deutschen Steuerzahler teuer wird
  • die große Zahl der Flüchtlinge die Deutschen und ihre Behörden überfordert

Natürlich kann man das so abfragen. Aber mit mancher Nennung aktiviert man möglicherweise erst eine Angst, die überhaupt nicht vorhanden oder nicht bewusst ist. Angst vor Krieg? Was, muss ich die denn haben? (So einen merkwürdigen Versuch startete neulich auch #DeineWahl2017 zum YouTube-Interview mit der Bundeskanzlerin).

Den Befragten wurde vorab diese Basisfrage gestellt:

Es gibt viele Risiken und Gefahren im Leben. Einige davon haben wir zusammengestellt. Uns interessiert nun, inwieweit Sie sich davon bedroht fühlen. Bitte geben Sie uns – rein aus dem Gefühl – eine Bewertung, die aussagt, für wie bedrohlich Sie dieses Ereignis halten. Eine „1“ drückt aus, dass Sie keine Angst davor haben. Mit einer „7“ geben Sie zum Ausdruck, dass Sie sehr große Angst davor haben. Denken Sie aber bitte auch an die Zwischenstufen von „2“ bis „6“.

Arno Orzessek bemängelt zurecht in der WDR5-Sendung „Politikum“:

Dabei ist es zweifelhaft, ob jemand bei der Befragung jene Angst verspürt, deren Größe er bewerten soll. Noch zweifelhafter ist das Insistieren auf einer rein gefühlsmäßigen, unreflektierten Antwort.

Kock bringt den Aspekt des Unreflektierten klarer zum Ausdruck, wenn sie schreibt:

Die Teilnehmer sollten angeben „für wie bedrohlich“ sie ein Ereignis halten. Wobei auch die Frage offen bleibt, ob man vor einem Ereignis, das man mit 7 bewertet, nun sehr viel Angst hat – oder ob man nur für sehr wahrscheinlich hält, dass es eintritt.

Jeder Befragte hat als möglicherweise auf andere Rahmenbedingungen der Frage Bezug genommen.

Auswertung ist weitgehend geheim

Die Auswertung ist dagegen nicht so transparent wie das Umfragedesign. Die Skala umfasst sieben Stufen; die Versicherung fasst in der Auswertung aber gleich drei davon, nämlich 5, 6 und 7, unter dem Stichwort „große Angst“ zusammen. Sie gibt aber nicht die Daten heraus, wie viele Befragte im Einzelnen jeweils die Skalastufen 5, 6 und 7 genannt haben. Das ist relativ großzügig und berücksichtigt die von den Befragten gemachten Abstufungen meiner Meinung nach nicht angemessen.

Angenommen, die Versicherung nennt 100 Menschen, die entweder Stufe 5, 6 oder 7 genannt haben, so bleibt doch offen, ob alle 100 Stufe 5 oder alle 100 Stufe 7 genannt haben. Das macht aber bei der Einschätzung der Antwort einen Unterschied.

Wie genau die Verteilung war, will die Versicherung auch auf meine Nachfrage nicht herausgeben – und macht damit die eigene Umfrage größtenteils unbrauchbar.

Hinzu kommt der Erhebungszeitraum. Erhoben wurde vom 23. Juni bis 28. Juli 2017. Das ist mit fünf Wochen ein relativ langer Befragungszeitraum. Vier Tage vor Beginn hatte es einen Anschlag auf eine Moschee in London gegeben. Am 14. Juli wurden zwei Deutsche bei einer Messerattacke in Hurghada getötet. Am 28. Juli tötete ein Mann in einem Supermarkt in Hamburg einen Menschen. Es wäre nicht verwunderlich, hätten die am Anfang und Ende Befragten aufgrund der aktuellen Vorfälle größere Angst geäußert als diejenigen, die relativ lange nach einem Anschlag befragt wurden. Hätte man die Umfrage nach dem 17. August durchgeführt, den Anschlägen von Barcelona und Cambrils, hätte man sicher wiederum andere Ergebnisse bekommen. Arno Orzessek kommentiert:

Und dass etwa Terror, je nach Datum und Opferzahl der jeweils jüngsten Anschläge mehr oder weniger große Ängste auslöst, ist eine Banalität. Terrortote haben noch nie Sorglosigkeit gefördert.

Fazit

So bleibt am Ende die ernüchternde Erkenntnis, dass trotz aller Transparenz, was die Erhebung der Umfrage angeht, diese bei den Ergebnissen fehlt. Was freilich Journalisten nicht daran hindert, die Ergebnisse und damit auch Werbung für die Versicherung in die Berichterstattung zu heben.

Vom Wahllokal zum Wahlergebnis: Wie Prognosen und Hochrechnungen entstehen

Am Sonntag ist der neue Bundestag gewählt worden. Umfragen sind am Wahlabend prägend für die Berichterstattung und geben schon recht früh Informationen über den voraussichtlichen Wahlausgang. Und: Sie sind häufig überraschend zuverlässig. Darüber habe ich am vergangenen Donnerstag für das DLF-Medienmagazin @mediasres und am Samstag für das WDR5-Medienmagazin „Töne, Texte, Bilder“ berichtet.

Eine Umfrage ist eine Umfrage ist eine Umfrage

Normalerweise weisen Demoskopen es barsch zurück, wenn ihre Sonntagsfragen als Prognose des Wahlergebnisses gesehen werden. Die Meinungsumfragen dazu, welche Partei man wählen würde, wäre am kommenden Sonntag Bundestagswahl, geben immer nur die momentane politische Stimmung wieder, sind aber keine Projektion des Ergebnisses.

Das Online-Umfrageunternehmen YouGov hat sich dieses Jahr jedoch mit einer neuen Methode nach vorne getraut, die sie sechs Tage vor der Wahl vorgestellt hat. Es hat tatsächlich eine Prognose abgegeben, wollte also möglichst genau sagen, wie die Wahl ausgeht.

„Wir sind uns bewusst, dass wir uns mit unserem neuen MRP-Modell noch aus dem Fenster lehnen“, sagte Holger Geißler, Forschungsleiter und Sprecher von YouGov Deutschland, laut der Pressemitteilung des Unternehmens. „Gleichzeitig wissen wir alle spätestens seit der Trump-Wahl und dem Brexit, dass die klassische Meinungsforschung vor großen Herausforderungen steht.“

Diese Herausforderung hat YouGov nicht abgeräumt, denn die Prognose war in mehreren Punkten falsch. So sah sie aus:

In unserer letzten Aktualisierung des Modells am heutigen Freitag, errechnen wir einen Stimmanteil von 36% für die CDU / CSU (mit einem Konfidenzintervall von 33% zu 39%). Das würde bedeuten, dass die CDU / CSU zwischen 239 und 274 Sitze im nächsten Bundestag erhält (mit 256 als Mittelwert). Wir schätzen, dass die SPD 25% der Stimmen erhalten wird (Intervall von 22% zu 28%) und sich damit 176 Sitze (155-199) sichern kann. Bzgl. der drittstärksten Partei erwartet das Modell entweder die AfD oder die Linke. Unsere Berechnungen sehen die AfD aktuell mit 12% (10%-14%) etwas vor der Linken mit 10% (9%-12%). Etwas schwächer werden nach unseren Schätzungen die FDP mit 7% (6%-9%) und die Grünen mit 7% (5% -8%) abschneiden.

(Quelle: https://yougov.de/wahlmodell/)
(Quelle: https://yougov.de/wahlmodell/)

Das vorläufige amtliche Endergebnis zeigt, wo YouGov falsch lag.

Die Union erreichte mit 33 % gerade noch das untere Ende des Konfidenzintervalls. Die SPD erreichte dagegen lediglich 20,5 % und war damit sowohl vom Mittelwert 25 % als auch vom unteren Ende des Konfidenzintervalls von 22 % entfernt. Bei AfD und Linke lag YouGov richtig, bei der FDP wiederum nicht. Die leg mit 10,7 % weg vom Konfidenzintervall 6 bis 9 %. Auch bei den Grünen lag die Vorhersage außerhalb des Intervalls.

Bei drei von sechs Werten lag die Vorhersage also daneben. Das sieht mir nach einem Problem für die Qualität der Prognose aus. Mal davon abgesehen, dass solch eine Umfrage Rückwirkungen auf die Entscheidung einiger Wähler haben kann und damit genau jenes Eintreten der Vorhersage vereitelt, kann YouGov mögliches mangelndes Vertrauen in die Qualität seiner Arbeit hiermit nicht unbedingt wiederherstellen.

Was können Umfragen im Wahlkampf-Endspurt noch aussagen?

Schulz-SPD rutscht ab auf 20 Prozent

titelt tagesschau.de gestern Abend.

Zehn Tage vor der Bundestagswahl geht es für die SPD weiter bergab. Im ARD-DeutschlandTrend erreicht die Partei von Martin Schulz noch 20 Prozent. Die AfD bleibt auf Platz drei. Knapp die Hälfte der Wähler ist noch unentschlossen.

Sogar als Eilmeldung hat die Tagesschau das Ergebnis der jüngsten Sonntagsfrage von Infratest Dimap verschickt.

Es ist übrigens die letzte Umfrage, die Infratest vor der Bundestagswahl veröffentlicht; das Unternehmen hält sich vorbildlich zurück, noch in den letzten Tagen vor der Wahl neue Umfrageergebnisse zu veröffentlichen, die die Wahl noch mehr beeinflussen könnten als diese es vermutlich ohnehin schon tun.

Es ist ein zwiespältiger Artikel von Ellen Ehni. Denn sie schreibt einerseits sehr ausführlich darüber, wie aussagekräftig die Umfragedaten sind, etwa so:

Bei dieser Umfrage handelt es sich ausdrücklich um keine Prognose, sondern um die politische Stimmung in der laufenden Woche.

(Außerdem wird unter dem Artikel ausführlich das Untersuchungsdesign abgedruckt, wie es auch vom Pressekodex gefordert wird.)

Der Alarmismus der Überschrift und die Eilbedürftigkeit der Meldung wird damit jedoch ein wenig konterkariert. Angesichts der Tatsache, dass die jüngste Veränderung bei der SPD innerhalb der Fehlertoleranz liegt und damit lediglich ein Messfehler sein kann, finde ich diese Zuspitzung nicht sonderlich hilfreich.

(Screenshot: http://www.tagesschau.de/multimedia/bilder/crbilderstrecke-423.html)
(Screenshot: http://www.tagesschau.de/multimedia/bilder/crbilderstrecke-423.html)

Zumal die Forschungsgruppe Wahlen für das ZDF zu anderen Daten kommt, die sie nur einen Tag später, nämlich heute, veröffentlich hat. Demnach hat die SPD bei ihr sogar um einen Prozentpunkt zugelegt und kommt auf 23 Prozent – deutlich höher als bei Infratest Dimap mit 20 Prozent. Aber auch dieser Anstieg ist freilich innerhalb der Fehlertoleranz.

(Screenshot: http://www.heute.de/politbarometer-cducsu-verlieren-weiter-an-zustimmung-vorsprung-merkels-vor-schulz-bleibt-unveraendert-gross-47952050.html)
(Screenshot: http://www.heute.de/politbarometer-cducsu-verlieren-weiter-an-zustimmung-vorsprung-merkels-vor-schulz-bleibt-unveraendert-gross-47952050.html)

Außerdem hat in dieser Umfrage die Union leicht verloren, was fast zur gegenläufigen Überschrift bei heute.de führt:

Union verliert weiter an Zustimmung

Aber auch dabei liegt die Veränderung innerhalb der Fehlertoleranz.

Problematisch finde ich solche Zahlen vor allem, weil sie möglicherweise demobilisierende Wirkung haben können. Das findet sich auch immer wieder in der journalistischen Behandlung der Umfragen, indem Journalisten sinngemäß behaupten, die Wahl sei bereits entschieden. Das blendet zum einen ganz offensichtlich aus, dass die Wahl erst am 24. September ist und jeder Wähler seine Stimme erst noch abgeben muss – vor allem aber verlässt es sich auf die Daten der Sonntagsfrage, die jedoch längst nicht so zuverlässig sind wie es Überschriften und Artikel oft behaupten. Schließlich werden darin auch die relativ vielen unentschlossenen Wähler jeweils Parteien zugeschlagen, wenngleich man über deren Wahlentscheidung oder auch Wahlenthaltung in der Zeit zunehmend volatilerer Parteienbindungen immer weniger sagen kann.

In einem kleinen Rant habe ich mich dazu am Mittwoch bei Twitter ausgelassen:

Dabei habe ich folgendes geschrieben – redaktionell heute nicht mehr verändert:

Ich werde zunehmend sauer, je mehr Politik nur noch als Wettrennen betrachtet wird.

Es geht nur noch um Gewinnen und Verlieren, nicht mehr um den demokratischen Austausch von Argumenten und Positionen.

Jetzt wird Martin Schulz dafür geschmäht, er wolle auch mal ein TV-Duell gewinnen. Dabei kann niemand so ein Duell gewinnen.

Es gibt nämlich keine Zielmarke, die ein Teilnehmer zuerst erreichen kann. Und keinen Schiedsrichter.

Politik ist kein Rennen. Deswegen nutzen auch die angeblichen Zwischenstände in Form von Umfragen nichts. Sie sagen nämlich nichts aus.

Die Fixierung darauf suggerieren, die eigentliche Wahl sei nur eine weitere Sonntagsfrage in der Abfolge hunderter Umfragen.

Und wer zufällig am Wahlsonntag vorne liegt, darf die nächsten vier Jahre regieren. Die eigentliche Wahl wird damit heruntergespielt.

Und von vielen Journalisten und Politikern als bereits entschieden abgestempelt: Zeigen ja angeblich die Umfragen. Wozu also noch wählen?

Daraus spricht eine Verachtung der Wahl und auch der Wähler, die davon abgehalten werden, überhaupt noch wählen zu gehen.

Wieso sollte ein CDU-Wähler hingehen, wenn die CDU doch angeblich vorne liegt? Wie kann ein SPD-Wähler der Partei noch helfen?

Warum Grüne wählen, wenn die Stimme „verschwendet“ sein könnte? Warum die FDP helfen, wenn sie mit der CDU eh keine Mehrheit hat?

All das verhindert, dass die Wähler sich nach ihrer Überzeugung richten und wählen, wen sie für richtig halten.

Stattdessen werden sie verleitet, taktisch zu denken, weil ihre Stimme verfallen könnte oder angeblich ohnehin nicht hilft.

Das verzerrt den eigentlichen Wählerwillen. Das Wahlergebnis ist das Abbild taktischer Überlegungen und nicht innerer Überzeugungen.

Es gibt genug Beispiele, in denen Demoskopen falsch lagen, zuletzt bei der LTW Saarland, ganz enorm bei der BTW 2005.

Aber auch Beispiel Brexit: Demoskopen legten sich auf Remain fest, viele gingen nicht wählen – und standen am Ende dumm da.

Wir haben die Wahl. Wir sollten sie uns nicht von Politikern, Journalisten, Demoskopen nehmen lassen.

Welchen Einfluss haben Umfragen auf das Wahlverhalten?

Das TV-Duell steht nicht für sich. Die eigentliche Botschaft wird anschließend formuliert – durch Umfrageergebnisse und den Spin, den ihr Beobachter, auch die befangenen aus den jeweils eigenen Reihen, geben.

Dabei können die Umfrageergebnisse durchaus eine Rolle spielen. Der Deutschlandfunk hat deswegen gestern um 22.40 Uhr noch mal meine Hintergrund-Sendung zum Thema Demoskopie vom 5. Juli wiederholt.

Die begrenzte Aussagekraft von Blitzumfragen

Ziemlich schnell nach dem TV-Duell zwischen CDU-Chefin Angela Merkel und SPD-Chef Martin Schulz gab es schon neue Umfragewerte.

Die ARD hat Infratest Dimap, das ZDF die Forschungsgruppe Wahlen gebeten, möglichst schnell Wähler anzurufen, die hoffentlich auch Zuschauer waren, und nach ihrer Einschätzung des Duells zu befragen. Außerdem hat Civey Nutzer online befragt.

Wie wertvoll diese Daten sind, zeigen die Ergebnisse. Bei Infratest Dimap:

(Screenshot: tagesschau.de)
(Screenshot: tagesschau.de)

Bei der Forschungsgruppe Wahlen:

(Screenshot: zdf.de)
(Screenshot: zdf.de)

 

Beide Fragen ähneln sich zwar, sind aber nicht gleich. Dennoch werden sie vom jeweiligen Sender als das Gesamtergebnis ausgegeben.

Schon der Unterschied in der Fragestellung kann für die verschiedenen Ergebnisse ausschlaggebend sein, aber auch die zusätzliche Möglichkeit des ZDF, mit „kein Unterschied“ zu antworten, während die Befragten bei Infratest wohl gezwungen war, eine klarere Entscheidung zu treffen oder aktiv „weiß nicht“ zu antworten (die fehlenden 10 Prozent).

Ich hoffe, Infratest bzw. ARD liefern die fehlenden Metadaten dazu noch nach.

Schon solche kleinen Unterschiede bei Frage und Antwortmöglichkeiten scheinen größere Unterschiede bei den Ergebnissen auszumachen. Noch deutlicher aber wird es, wenn man die zwei Umfragen mit fast derselben Fragestellung, aber verschiedenen Erhebungsmethoden nebeneinanderlegt. Dazu vergleiche man die Zahlen der Forschungsgruppe Wahlen mit denen von Civey (Ergebnisse gibt es nach Teilnahme).

Stand Montag um 10 Uhr kam Angela Merkel auf 44,9 Prozent, Martin Schulz auf 32,2 Prozent, „Beide gleich gut“ sagten 15,3 Prozent, „Weiß nicht“ 7,6 Prozent der Befragten. Weil die Umfrage noch läuft, ist eine Rückwirkung der anderen Umfragen und des sonstigen Spinning zu vermuten, dass also die Teilnehmer an der Civey-Umfrage nicht nur nach eigener Einschätzung urteilen, sondern auch die anderer einfließt.

Ein gutes Beispiel für die begrenzte Aussagekraft solcher Umfragen.

Danke an Sebastian Pertsch für den Hinweis.

 

Nachtrag, 4. September, 0.25 Uhr: Den Umfragen von ARD und ZDF habe ich noch Civey hinzugefügt.

Nachtrag, 4. September, 10.00 Uhr: Ich habe einen Zwischenstand bei Civey eingefügt – zum einen, weil sich das Ergebnis noch ändern kann, zum anderen, weil nicht alle Nutzer im eingebundenen Widget sofort das Ergebnis sehen können.

Nachtrag, 4. September, 13.40 Uhr: Die Umfrage bei Civey ist mittlerweile beendet. Die Werte haben sich nicht mehr verändert.

Was Umfragen aussagen: ZEIT online ändert Berichterstattung

Wie aussagekräftig Umfragen sind, verstecken manche Journalisten bei der Berichterstattung darüber gerne mal. Schließlich könnte man den eigenen Bericht kaputtmachen, wenn man die tatsächliche Aussagekraft der Daten zu deutlich kennzeichnet. Darüber habe ich ganz allgemein neulich bereits für den Deutschlandfunk berichtet.

Einige Medien machen es seit ein paar Monaten trotzdem. Spiegel online und die Süddeutsche Zeitung online zum Beispiel geben jetzt bei den Ergebnissen der Sonntagsfrage immer auch die Fehlertoleranz mit an. Statt eines festen Werts wie etwa 34 Prozent für die CDU nennen sie die statistische Schwankungsbreite, die in diesem Fall ungefähr zwischen 31 und 37 Prozent liegt. Über diese neuen Darstellungen im Speziellen habe ich ebenfalls neulich für den DLF berichtet.

So deutlich wie jetzt bei Zeit online habe ich es aber noch nicht gesehen, dass Journalisten genau sagen, was so eine Umfrage aussagen kann und was nicht.

bildschirmfoto-2017-09-01-um-22-33-16Im gestrigen Artikel über die Ergebnisse einer Sonntagsfrage wird zwar mehrmals auf „die Deutschen“ verallgemeinert; weil die Umfrage repräsentativ, kann man das machen. Allerdings wird im Fließtext fast ausschließlich „die Befragten“ verwendet, wenn die einzelnen Werte für die Parteien genannt werden. Das macht durchgehend deutlich, dass es sich um eine Umfrage handelt.

In der dazugehörigen Grafik sind außerdem keine dünnen Linien für die Parteien eingezeichnet, sondern dicke. Auch hier wird also die Schwankungsbreite mit angegeben. Außerdem kann man unterhalb der Grafik zwischen den Ergebnissen verschiedener Umfrageunternehmen hin- und herspringen – und sich auch ein gewichtetes Mittel dieser Umfragen anzeigen lassen.

bildschirmfoto-2017-09-01-um-22-35-57
Grafik: ZEIT online / Screenshot

Dadurch wird ziemlich gut sichtbar, dass zwischen Anfang Februar und Anfang April unklar wer, ob CDU/CSU oder SPD bei einer anstehenden Wahl vorne gelegen hätten, selbst wenn die festen Zahlenwerte womöglich die Führung einer der beiden Seiten angezeigt hätte.

Am besten aber finde ich den Disclaimer am Ende des Artikels. Im letzten Absatz heißt es, konkret auf die berichtete Umfrage bezogen:

Die Fragen zu Koalitionswünschen, der FDP und den Grünen stellte Infratest dimap von Montag bis Mittwoch an 1.013 Wahlberechtigte.

Und im darunterstehenden Kasten wird sehr gut erläutert, welche Aussagekraft Umfragedaten überhaupt haben. So steht dort unter anderem völlig ohne jedes Demoskopendeutsch:

Die Ergebnisse basieren immer auf Stichprobenbefragungen. Diese decken in der Regel nur spezielle Teile der Bevölkerung ab (z.B. Menschen mit Festnetz-Telefonanschluss oder Internetnutzer). Einige potenzielle Teilnehmer sind ablehnend und wollen erst gar nicht befragt werden. Fragen werden mitunter auch falsch verstanden und nicht immer aufrichtig beantwortet. Zum Beispiel auch in Reaktion auf vorangegangene Umfragen.

Das ist mehr als vorbildlich und geht weit über die in Artikel 2.1 des Pressekodex geforderten Angaben hinaus. Dort heißt es lediglich:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.

Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.

In einem längeren Text im ZEIT-Online-Blog „Glashaus“ erläutern Sascha Venohr und Andreas Loos, wie sie künftig mit Umfragen umgehen wollen. Dort beziehen sie sich zum Beispiel auf die Fehlertoleranz, die meistens größer ist als die Veränderung der Parteiwerte von der einen zur anderen Umfrage. Sie ziehen daraus den einzig vernünftigen Schluss:

Die vermeintliche Nachricht, wonach Partei X einen oder zwei Prozentpunkte hinzugewonnen habe, werden Sie bei uns nicht mehr finden. (…)

Erst wenn sich ein Trend für eine Partei über einen längeren Zeitraum bei einem Institut bestätigt, berichten wir darüber.

Wenn sich alle Journalisten bei ZEIT online tatsächlich an diese Vereinbarung halten, könnte die Seite bald die seriöseste sein, was die Berichterstattung über Umfragen angeht.

Habt Ihr Angst vor einem Krieg? Bitte ankreuzen: Ja, nein, vielleicht.

Ich hab mal drei Freunde gefragt, ob sie Angst vor einem Krieg haben. Zwei haben gesagt: Ja. Einer sagte: Nein.

66 % haben also Angst vor Krieg.

Angela Merkel, was sagen Sie dazu?

Klingt weit hergeholt? Mitnichten.

Diese Frage wurde im Rahmen des YouTube-Interviews mit Merkel tatsächlich so gestellt. Da weiß ich gar nicht, wo ich anfangen soll, diesen Unsinn zu kritisieren. Fangen wir mal so an:

1. Die Umfrage ist nicht repräsentativ.

Das heißt, sie hat keinerlei Aussagekraft. Jedenfalls keine größere als meine eingangs zitierte Umfrage unter Freunden. Denn es wurde eine nicht repräsentative Gruppe befragt. 554 Accounts haben mitgemacht.

Selbst um eine Umfrage repräsentativ zu machen, befragen Umfrageunternehmen in der Regel etwa eintausend Personen – und gewichten die Antworten dann noch. Seriöse Demoskopen könnten mit dieser Befragung gar nichts anfangen.

Selbst wenn alle Follower mitgemacht hätten, wäre nichts Besseres dabei herumgekommen: Stand 18.48 Uhr hatte der Account @DeineWahl2017 1.207 Follower, zum Zeitpunkt der Befragung wahrscheinlich weniger.

(Screenshot: https://twitter.com/DeineWahl2017)
(Screenshot: https://twitter.com/DeineWahl2017)

Dass diese Gruppe zufällig repräsentativ ist, lässt sich praktisch ausschließen – zum einen ist es die junge Zielgruppe der vier YouTuber nicht, zum anderen auch nicht die Inhaber eines Twitter-Accounts: Nur 4 Prozent der deutschen Onliner haben einen Twitter-Account und könnten sich damit an der Umfrage beteiligen. Selbst wenn man die mehr als 80 Retweets mitzählt, wird keinerlei Repräsentativität erreicht.

Dieses eine Argument reicht eigentlich schon. Trotzdem will ich noch auf drei Punkte hinweisen:

2. Die Antworten sind verzerrt.

Als die Umfrage gestartet wurde, befragte im YouTube-Interview Mirko Drotschmann Angela Merkel gerade zum Thema (hier der Link, ab 1:17:35, Video lässt sich nicht einbetten):

„Wo wir gerade beim Thema Konflikt sind (er bezieht sich auf die Türkei, SF): Viele meiner Zuschauer machen sich Sorgen. Nordkorea ist ein Stichwort, es gibt andere Konflikte auf der Welt. Und eine Frage, die tatsächlich immer wieder auftaucht – wirkt vielleicht zuerst mal so ein bisschen banal oder lächerlich – aber die kommt immer wieder von jungen Menschen: Müssen wir Angst haben vor einem Dritten Weltkrieg?“

Wie viele antworteten bei der Frage also unter Bezugnahme auf einen Weltkrieg oder auf die Türkei, über deren Konflikt mit westlichen Ländern gerade ausführlich gesprochen wurde?

Und was ebenfalls zeigt:

3. Die Frage ist viel zu unspezifisch.

Ich habe Angst vor Krieg. Ich wäre ungerne in einem Krieg. Wie wahrscheinlich jeder. Aber ich halte es gerade nicht für sehr wahrscheinlich, dass einer ausbricht – jedenfalls nicht da, wo ich bin.

So genau wurde aber gar nicht gefragt. Darauf weist Twitter-Nutzer Dominik Deobald hin:

Die Twitter-Antworten zeigen, wie unterschiedlich die Nutzer die Frage interpretieren: 3. Weltkrieg, Krieg in Deutschland, zwischen Nordkorea und den USA, mit Russland, China?

Vor was haben die Nutzer also Angst? Wir wissen es nicht.

Die Umfrage kann zudem nur wenige Minuten gelaufen sein – zwischen 14.14 Uhr und dem Endergebnis, das um kurz vor 14.30 Uhr präsentiert wurde. Ein kurzer Erhebungszeitraum ist eigentlich gut, aber wegen der beschriebenen Unsicherheiten macht der die Ergebnisse auch nicht zuverlässiger.

Ich will die Angst an sich nicht kleinreden. Etwa 271 Nutzer haben eine solche Angst artikuliert – aber vor was genau, wissen wir eben nicht. Dennoch wird die Umfrage von den Tweet-Zitatoren nach dem Merkel-Interview implizit als verlässlich dargestellt, wenn sie sagen:

„Quasi die Hälfte, (…) 51 Prozent haben gesagt: Nein, die Angst ist nicht da. Also weniger als die Hälfte hat hier zugestimmt.“

Und das zeigt auch:

4. Die Fehlertoleranz wird ignoriert

Wenn die Umfrage nicht repräsentativ ist, ist der Hinweis auf die Fehlertoleranz natürlich eigentlich sinnlos. Diese gibt normalerweise an, in welcher Bandbreite sich die Ergebnisse bewegen, wenn eine repräsentative Umfrage unter denselben Bedingungen wiederholt wird. Bei der Sonntagsfrage sind das zwischen 1,5 und 3 Prozentpunkten. Das heißt aber, dass bei einem solchen Ergebnis die Verteilung auch ebenso gut andersherum sein könnte.

Merkel sagt dazu: „Ich muss das sehr ernst nehmen.“ Was soll sie auch sagen?

Die Umfrage ist unverantwortlich

Die Umfrage gaukelt vor, die Meinung von Nutzern auf statistische und somit verlässliche Weise sichtbar zu machen, zeigt aber nur einen vagen Ausschnitt der Wirklichkeit. Indem sie suggeriert, die Hälfte der Befragten habe Angst vor einem Krieg, bekräftigt sie die eine Seite in ihrer Meinung und bringt die andere zum Zweifeln. Eine solche Umfrage auf diese Weise öffentlich zu präsentieren ist unverantwortlich.

Das alles zeigt zweierlei:

Erstens mangelt es den YouTube-Machern an Professionalität und Seriösität – eine solche Umfrage vor allem zu diesem Thema zu verbreiten schürt genau die Angst, die man eigentlich einfangen wollte – vor allem durch die Bekräftigung Merkels, auch wenn sie zuvor eine solche Angst als unbegründet bezeichnet hat.

Zweitens ist Verständnis über die Aussagekraft solcher Umfragen nicht mal bei demjenigen vorhanden, der sie vorstellt – wie soll dann der normale Nutzer sie verstehen. Manche Antwort zeigt das auch:

Die „verunsicherte Hälfte“ kann eine Hälfte sein; diese Umfrage belegt das aber nicht. Und selbst eine erneuter Hinweis auf die fehlende Repräsentativität hilft nicht unbedingt:

DOCH. GENAU DAS.

(Natürlich kann auch ich nicht von diesem einen Nutzer auf alle schließen, aber schon die Unfähigkeit, eine solche Umfrage richtig durchzuführen und zu präsentieren, zeigt, wie weit verbreitet die Unkenntnis über dieses Instrument ist.)

Ich habe übrigens auch Angst vor Krieg. Im Allgemeinen. Ich wäre ungerne in einem Krieg. Aber ich halte ihn für nicht sehr wahrscheinlich.

100 Prozent der Autoren dieses Blogs kriegen bei solchen Umfragen zuviel.

Befragte: 1. Erhebungszeitraum: 16.08.2017, 20.04 Uhr. Fragestellung: „Kriegen Sie bei solchen Umfragen zuviel?“ Ergebnis ist nicht repräsentativ.

 

Nachtrag, 21.15 Uhr: Ich habe ein paar Sätze am Anfang von Punkt 3 klarer formuliert.

Knapp daneben ist gar nicht so sehr vorbei

Erinnern Sie sich noch daran, wie die Brexit-Gegner das Referendum gewonnen haben? Oder wie Hillary Clinton US-Präsidentin wurde? Oder wie im Saarland Annegret Kramp-Karrenbauer als Ministerpräsidentin abgewählt wurde? Nein?

Aber vor der Wahl waren sich ziemlich viele von uns sicher, dass es so kommen würde. Wir haben uns auf Zahlen von Demoskopen verlassen. Oder vielmehr darauf, was Journalisten darüber geschrieben haben. Einige von ihnen haben inzwischen daraus gelernt – und wollen künftig anders über Umfragen berichten. Mein Beitrag für das WDR5-Medienmagazin „Töne, Texte, Bilder“.