Umfragen sind äußerst beliebt bei Journalisten. Viele Redaktionen starten gerne eigene im Internet. Besonders aussagekräftig sind die Ergebnisse aber nicht und gefährden damit die journalistische Glaubwürdigkeit. Der Presserat hat jetzt eine manipulierbare Online-Umfrage des Münchner Merkurs beanstandet, wie ich für @mediasres im Deutschlandfunk berichtet habe.
Kategorie: Demoskopie
Die unseriösesten Umfragewerte der Woche
WDR2 hat die richtige Antwort gefunden auf die Flut von Umfragen, die vorgaukeln, abzubilden, was „die Deutschen“ denken und wollen. Tom Beinlich von Infam, dem Institut für angewandte Meinungsmache, präsentiert jeden Mittwoch „die unseriösesten Umfragewerte der Woche“ – in der „Meinung am Mittwoch“. Wenngleich ich mir noch unseriösere Werte vorstellen kann…
Spiegel online fragt nach Zweifeln am Journalismus und liefert gleich Anlass
Lügenpresse, Entfremdung, Elfenbeinturm: Die Zweifel an der journalistischen Arbeit sind immer noch hoch.
Schreibt Spiegel online. Und liefert sofort einen Grund, warum das wohl so sein könnte. Nämlich eine selbst durchgeführte Online-Umfrage, die keinerlei verlässliches Ergebnis hat und genau den Zweifel an der journalistischen Arbeit aufkommen lässt, den man eigentlich abfragen will.
DER SPIEGEL möchte wissen, was Sie denken: Über die deutschen Medien, über die Arbeit von Journalisten und die Berichterstattung des SPIEGEL. Was ärgert Sie, was finden Sie gut? Was vermissen Sie? Was müssen wir verbessern?
Die Nutzer werden dazu aufgerufen, bei zwei Fragen abzustimmen. Die erste Frage lautet:
Wie ist Ihre Haltung zu deutschen Medien?
- Ich vertraue ihnen weitgehend.
- Ich misstraue ihnen eher.
Problematisch ist der unbestimmte Medienbegriff in der Frage. Denn bei vielen Umfragen zum Vertrauen in Medien hat sich gezeigt, wie breit der Medienbegriff der Nutzer ist. Viele verstehen darunter nämlich nicht nur redaktionelle Medien, sondern auch soziale, in die man zurecht weniger Vertrauen haben sollte. Das zeigt sich daran, dass ihr Vertrauen in „die Medien“ insgesamt viel geringer ist als wenn man sie nach konkreten Mediengattungen oder Marken fragt, etwa nach Zeitungen, öffentlich-rechtlichen Fernsehsendern oder etwa der „Tagesschau“.
Beispielhaft dafür nur mal eine Infratest-Dimap-Umfrage für den WDR (pdf) im Januar 2017. Gefragt nach der „Glaubwürdigkeit der Informationen in den deutschen Medien“ nannten sie 57 Prozent glaubwürdig.
Aufgegliedert nach Mediengattungen im weiteren Sinne sah das Bild aber anders aus.
Da liegen also bis auf Privatfernsehen und Privatradio alle seriösen Medien oberhalb des Durchschnittswertes – weil viele Befragte eben auch soziale Medien und das „Internet im Allgemeinen“ ebenfalls als Medien ansahen.
Insofern ist der Begriff, den Spiegel online verwendet, äußerst vage. Das Abstimmungsergebnis verwundert daher nicht.
Die Frage von Spiegel online ist allerdings noch viel schwammiger, weil dort sogar die nötige Trennschärfe zwischen den Antworten gar nicht gegeben ist. Dort lauten Frage und Antwortmöglichkeiten:
Wie informieren Sie sich?
- Ich lese vor allem klassische, etablierte Medien.
- Ich schaue und höre vor allem Öffentlich-Rechtlichen Rundfunk.
- Ich informiere mich vor allem über alternative Medien.
- Ich lese vor allem, was bei Social Media gepostet wird.
Darin finden sich gleich mehrere Überschneidungen:
- Unter klassischen, etablierten Medien werden offenbar lediglich lesbare verstanden. Dass auch Radio und Fernsehen mehr als 100 bzw. 60 Jahre nach ihrer Einführung dazuzählen sollten, ist wohl keine Frage.
- In Zeiten des sogenannten Internets sind zudem auch öffentlich-rechtliche Rundfunksender lesbar.
- Was alternative Medien sind, wird nicht erklärt. Die Unterscheidung muss also der Befragte treffen. Was der eine für alternativ hält, kommt dem anderen als Begriff nicht mal in den Sinn.
- Bei der Frage nach „Social Media“ verschwindet die Quelle dessen, was man liest, dann ja völlig im Dunkeln. Dort posten Nutzer originalen Unsinn, dort wird genauso auf diese ominösen alternativen Medien verwiesen wie auf seriöse. Mithin kann man durch einen Klick darauf gleichzeitig auch alle anderen Fragen mit Ja beantworten. Auswählen kann man aber nur eine Antwort.
So lässt sich das Ergebnis der Abstimmung jedenfalls nicht verwenden.
An den Umfragen haben offenbar zwischen 37.000 und 62.000 Nutzer teilgenommen (sicherlich mit Schnittmengen). Repräsentativ macht diese für Umfragen hohe Teilnehmerzahl diese aber auch nicht. Das schreibt Spiegel online zugegeben auch selbst:
SPIEGEL-ONLINE-Votes sind keine repräsentativen Umfragen. Sie geben lediglich ein Stimmungsbild derjenigen wieder, die bei den Votes mitmachen. Die Teilnahme ist unverbindlich und freiwillig.
Die Ergebnisse sind dann aber übrigens auch unverbindlich. Denn freilich ist die deutsche Bevölkerung darin nicht repräsentativ abgebildet. Aber nicht mal die aller Spiegel-online-Leser. Sondern nur die von denen, „die bei den Votes mitmachen“. Das zeigt dann noch mal sehr deutlich, wie wenig Aussagekraft diese Umfrage hat – nicht mehr als eine Voxpop-Umfrage für Radio und Fernsehen. Durch die hohe Teilnehmerzahl und die mit zwei Nachkommastellen scheinbar präzise ausgewiesenen Ergebnisse suggeriert sie aber Zuverlässigkeit. Welcher journalistische Mehrwert sich damit verbindet, erschließt sich mir nicht.
Begeisterung löst das aber freilich aus – die sollte aber nur für die Teilnehmerzahl gelten, nicht für die Ergebnisse.
Dass solche Umfragen leicht zu manipulieren ist, kommt noch als Gegenargument hinzu.
Und dann noch das hier: Spiegel online hat diese Frage im Anschluss an eine wissenschaftliche Studie zum Thema gestellt, über die es selbst berichtet hat – und stellt zwei Fragen aus dem Komplex dann noch mal schief bis falsch. Nach dem Motto: Hey, diese Ergebnisse kriegen wir mit unwissenschaftlichen Quatsch-Umfragen bestimmt zuverlässiger ermittelt.
Das schadet der Seriösität von Medien. Dass aber ausgerechnet die in dieser Umfrage abgefragt wird, ist die eigentliche Ironie der Geschichte.
Tagesschau feiert Rekord-Negativwert für SPD
16 Prozent – SPD fällt auf Rekordtief
So titelt tagesschau.de zu seinem neuen Deutschlandtrend vom 15. Februar und schreibt weiter:
Im ARD-DeutschlandTrend kommt die SPD bei der Sonntagsfrage nur noch auf 16 Prozent – ein neuer Negativrekord.
Der Wert liege noch zwei Prozentpunkte unterhalb der letzten Umfrage von Anfang Februar. Das rechtfertigt theoretisch, von einem Rekordtief zu sprechen. Allerdings unterschlägt diese Darstellung, dass die Werte Schwankungsbreiten haben (genaue Breite hier im PDF), also bei einer erneuten Umfrage unter denselben Bedingungen nicht exakt gleich ausfallen würde, sondern – im Fall des Niveaus der SPD – um rund zwei Prozentpunkte höher oder niedriger liegen könnte. Also in einer Schwankungsbreite von 14 bis 18 Prozent.
Moment mal, 18 Prozent? Das ist ja der Wert vom letzten Mal.
Stimmt. Es ist also durchaus möglich, dass sich der Wert der SPD gar nicht verändert hat. Genauso kann er aber auch massiv gefallen sein. Wenn er beim letzten Mal tatsächlich bei 20 Prozent lag und dieses Mal bei 14.
Entscheidend ist: So ganz genau kann man das nicht sagen. Es ist natürlich journalistisch reizvoll, auch kleinste Veränderungen bei Umfragewerten entsprechend auszuschlachten. Allerdings wird nur in einer Infobox unterhalb des längeren Textes auf die Unsicherheiten hingewiesen wird, während in Überschrift, Teaser und Text Gewissheiten verbreitet werden.
Wie schuldig ist die FDP am Jamaika-Aus? Warum sich drei Umfragen widersprechen
Na, wer trägt denn nun die Schuld daran, dass die Sondierungsgespräche zwischen CDU, CSU, FDP und Grünen in der Nacht zu Montag gescheitert sind?
Mal davon abgesehen, dass das rein faktisch schwer zu sagen ist, hatten sich in mehreren Blitzumfragen unterschiedlich viele Befragte auf die FDP festgelegt. In einer Umfrage für die Tagesschau hieß es, 32 Prozent gäben der FDP die Schuld. Im ZDF waren es 55 Prozent. Bei RTL und n-tv 19 Prozent. Das klingt widersprüchlich. Wie kommen diese unterschiedlichen Werte zustande? Gestern habe ich das in @mediasres im Deutschlandfunk erklärt – hier jetzt noch mal etwas ausführlicher.
Es geht um diese drei Umfragen:
- Infratest Dimap hat für die ARD-Tagesschau per Telefon gefragt
- die ZDF-Forschungsgruppe Wahlen hat für das ZDF ebenfalls per Telefon gefragt
- Forsa hat für die RTL-Mediengruppe über ihr Online-Panel gefragt.
Dass die Werte so stark voneinander abweichen, hat vor allem zwei Ursachen. Zum einen gab es bei den Umfragen unterschiedliche Fragestellungen, zum anderen unterschiedliche Antwortmöglichkeiten.
Die Fragestellung
Infratest Dimap hat zum Beispiel für die Tagesschau die Frage gestellt:
Die Gespräche zwischen CDU, CSU, FDP und Grünen zur Bildung der nächsten Bundesregierung sind gestern Abend gescheitert. Welche der verhandelnden Parteien trägt Ihrer Meinung nach in erster Linie die Verantwortung hierfür: die CDU, die CSU, die FDP oder die Grünen?
Forsa stellte wiederum diese Frage:
Wer ist für das Scheitern der Jamaika-Verhandlungen verantwortlich?
Die Forschungsgruppe Wahlen hat für das ZDF gefragt:
Wer ist Ihrer Meinung nach hauptsächlich Schuld daran, dass jetzt die Bildung einer „Jamaika“-Koalition gescheitert ist, …
– die CDU,
– die CSU,
– die FDP oder
– die Grünen?
Man sieht schon an der Fragestellung, dass diese unterschiedlich akzentuiert ist. Während Forsa relativ allgemein fragte, fragten Infratest und die Forschungsgruppe nach einer herausgehobenen Verantwortung eines (oder mehrerer) Beteiligter („in erster Linie“, „hauptsächlich“). Es ist nur eine Kleinigkeit in der Akzentuierung, die allerdings schon zu leicht unterschiedlichen Aussagen führen kann.
Die Antwortmöglichkeiten
Bei jeder der drei Umfragen gab es unterschiedliche Antwortmöglichkeiten. Während Infratest die Befragten zwang, sich auf eine Partei festzulegen, bot Forsa zusätzlich an, alle vier Parteien gemeinsam zu benennen. Bei der Forschungsgruppe wiederum wies der Interviewer darauf hin, dass Mehrfachnennungen möglich waren. Dadurch gab es hier nicht nur vier oder fünf, sondern sogar 15 verschiedenen Antwortmöglichkeiten – indem entweder eine Partei genannt wurde, zwei oder drei (in unterschiedlichen Kombinationen) oder alle vier.
Je größer die Auswahl ist, desto besser werden sich die Antworten verteilen. Dass bei Forsa die Werte für die einzelnen Parteien geringer sind, ist deswegen genausowenig verwunderlich wie die Tatsache, dass sie bei der Forschungsgruppe Wahlen für jede einzelne Partei wiederum höher ist.
Die Frage nach den Neuwahlen
Dieselben Ursachen haben auch die Abweichungen bei der Frage nach Neuwahlen.
Während Infratest eine Zustimmung von 63 Prozent ermittelte, kam die Forschungsgruppe Wahlen auf 51 Prozent und Forsa auf 45 Prozent. Auch hier liegen die Unterschiede in verschiedenen Fragen und unterschiedlichen Antwortmöglichkeiten begründet.
Infratest stellte folgende Frage:
Angenommen, eine Neuauflage der großen Koalition aus CDU/CSU und SPD kommt nicht zustande. Wie sollte es Ihrer Meinung nach dann weitergehen? Sollten CDU und CSU eine Minderheitsregierung bilden oder sollte es Neuwahlen geben?
Eine Große Koalition wurde also schon in der Fragestellung ausgeschlossen, antworten konnten die Befragten nur mit Minderheitsregierung oder Neuwahlen. Kein Wunder, dass sich die Werte nur auf diese zwei Antworten verteilen.
Forsa nahm diese Option ausdrücklich mit auf, dementsprechend verteilten sich auch die Antworten stärker. Den Tweet mit entsprechendem Video findet Ihr hier.
Die Forschungsgruppe Wahlen ging dagegen ungewöhnlich vor. Sie stellte nicht eine einzige Frage, sondern gleich drei, auf die die Befragten separat antworten mussten.
Es gibt verschiedene Möglichkeiten, wie es jetzt weiter geht. Im Gespräch sind Neuwahlen, eine Minderheitsregierung oder die Bildung einer großen Koalition.
- a) Wenn es jetzt zu Neuwahlen käme, fänden Sie das …
– gut oder
– schlecht?
- b) Eine weitere Möglichkeit wäre eine Minderheitsregierung unter Führung der CDU/CSU, also eine Regierung, die im Bundestag keine eigenständige Mehrheit hat und deshalb bei Abstimmungen auf die Unterstützung anderer Parteien angewiesen ist. Fänden Sie eine solche Minderheitsregierung unter Führung der CDU/CSU …
– gut oder
– schlecht?
- c) Eine weitere Möglichkeit wäre die Bildung einer großen Koalition aus CDU/CSU und SPD, obwohl die SPD eine solche Koalition unter Führung der CDU/CSU ausgeschlossen hat. Wenn es trotzdem zu einer großen Koalition käme, fänden Sie das …
– gut oder
– schlecht?
Das erklärt, warum die Zustimmung für Neuwahlen bei 51 Prozent liegt und die für eine Große Koalition bei 48 Prozent. Nur eine Minderheitsregierung wird mit 30 Prozent ähnlich schwach befürwortet wie bei Infratest.
Wie aussagekräftig sind die Umfragen?
Jeweils für sich besitzt jede Umfrage genug Aussagekraft – wenn man Fragestellung und Antwortmöglichkeiten berücksichtigt. Diese transparent zu machen versäumen die Sender jedoch oft, die sie in Auftrag gegeben haben. In diesem Fall musste ich alle drei Sender ausdrücklich danach fragen, obwohl der Pressekodex verlangt, diese mit zu veröffentlichen.
Alle drei Umfragen sind im Prinzip repräsentativ, unter anderem weil jeweils mehr als tausend wahlberechtigte Menschen in Deutschland befragt wurden, bei der Forschungsgruppe Wahlen mehr als 1.300, bei Forsa sogar mehr als 1.700.
Allerdings stellt sich die Frage, wie informiert die Befragten zum Zeitpunkt der Umfrage sind. Während Forsa für RTL schon ab 9.00 und bis 17.00 Uhr per Online-Panel gefragt hat, ließ die Tagesschau erst zwischen 15.00 und 19.15 Uhr telefonisch befragen und das ZDF zwischen 16.30 und 20.45 Uhr. Gerade an einem ereignisreichen Tag wie dem nach dem Abbruch der Sondierungsverhandlungen ist allerdings nicht nur der Sachstand der Informationen zum Zeitpunkt der Abstimmung entscheidend als auch der Spin, den Parteien und Medien dem Ereignis geben und der sich im Laufe des Tages durchaus ändern kann. Das bedeutet, dass morgens wahrscheinlich auf anderer Informationsgrundlage abgestimmt wurde als am Nachmittag.
All diese Faktoren haben Einfluss auf das Ergebnis. All diese Faktoren teilen die Sender aber in der Regel nicht mit. Am Ende bleiben dann vielleicht höchstens noch die Werte hängen: dass 55 Prozent „der Deutschen“ der FDP die Schuld geben – oder 32 Prozent – oder 19 Prozent.
Diese Umfragen wiederum geben dann wiederum der politischen Debatte den entsprechenden Spin. Bei einer tatsächlichen Neuwahl ist es nicht ausgeschlossen, dass die FDP darunter leiden wird, dass ihr nicht nur eine Mehrheit der Befragten die Schuld gibt, sondern Teile der übrigen Öffentlichkeit sich dieser Haltung anschließen könnten, die ihr ohne die Umfragen nicht bekannt geworden wäre. Insofern ist durchaus relevant, wie solche Umfragen zustandekommen.
Anmerkung (20.05.2018): Wegen der Datenschutzgrundverordnung habe ich Widgets, die sich ursprünglich im Text befanden, entfernt und sie teilweise durch Links ersetzt.
So deutet „Die Welt“ eine Mehrheit für eine ARD-ZDF-Fusion herbei
Die Mehrheit der Deutschen ist für eine Fusion von ARD und ZDF zu einem nationalen, öffentlich-rechtlichen Sender.
Das schreibt die Springer-Tageszeitung „Die Welt“ auf ihrer gemeinsamen Webseite mit dem Springer-Fernsehsender „N24“. Ich bezweifle, dass das tatsächlich so ist. Denn die Umfrage, die das Umfrageunternehmen Civey für die beiden Medien online durchgeführt hat, ist so vage, dass die Antworten nur falsch sein können.
Das lässt sich schon an der Fragestellung ablesen, die die Welt glücklicherweise mit veröffentlicht hat:
Bei diesem WELT-Trend lautete die Frage: „Sollten die Fernsehsender von ARD und ZDF zu einem einzigen bundesweiten, öffentlich-rechtlichen Sender fusioniert werden?“
Im Artikel, in dem diese Umfrage eingebettet war, wurde vorher sogar noch eine etwas längere Frage gestellt:
Wir wollen von Ihnen wissen: Wie sehen Sie die Zukunft der öffentlich-rechtlichen Rundfunkanstalten in Deutschland? Soll alles so bleiben, wie es ist, und beide weiterhin gemeinsam nebeneinander bestehen? Oder plädieren Sie dafür, dass die Fernsehsender von ARD und ZDF zu einem einzigen bundesweiten öffentlich-rechtlichen Sender fusioniert werden?
Das sind streng genommen zwei verschiedene Fragen. Denn „beide“ gibt es so gar nicht. Gemeint sind wohl ARD und ZDF. Aber die ARD ist nur eine Arbeitsgemeinschaft, die aus neun verschiedenen Landesrundfunkanstalten und der Deutschen Welle besteht. Daneben gibt es noch das Deutschlandradio, somit also elf öffentlich-rechtliche Rundfunkanstalten in Deutschland (die Deutsche Welle wird nicht aus dem Rundfunkbeitrag finanziert, sondern aus Steuermitteln). In der zweiten Frage wird dann nach „Fernsehsendern von ARD und ZDF“ gefragt, womit schon mal alle Radioprogramme ausgenommen werden und beim Fernsehprogramm alles über einen Kamm geschert wird.
Die neun Landesrundfunkanstalten und das ZDF betreiben nämlich im Moment getrennt und gemeinsam insgesamt 21 Fernsehsender. Bei einer Fusion, nach der Civey gefragt hat, müssten also all diese 21 Sender zu einem verschmelzen. Die Zuschauer würden also nicht nur auf Das Erste und das ZDF in ihrer bisherigen Form verzichten müssen, sondern auch auf alle dritten Programme, 3sat, Kika, Phoenix, Arte, ARD alpha, tagesschau24, ARD one, ZDF info und ZDF neo. Programme, die von Millionen Menschen gesehen werden.
Nur als Beispiel: Das Erste hatte im September 2017 nach Zahlen der AGF Videoforschung einen Marktanteil von 11,2 Prozent, das ZDF 12,9 Prozent. Alle anderen genannten öffentlich-rechtlichen Programme kamen zusammen auf 21,7 Prozent. Das ist ein so diversifiziertes Programm und damit auch Publikum, das man auf keinen Fall mit einem einzigen gemeinsamen öffentlich-rechtlichen Programm zufriedenstellen könnte. Was im Umkehrschluss bedeutet, dass ein mehr oder weniger großer Teil der bisherigen Zuschauer das zentrale Programm nicht mehr einschalten würde.
Plädieren also tatsächlich 54 Prozent der Teilnehmer an der WELT-Umfrage für nur noch ein einziges Programm? Also mehr Programmeinfalt, um damit mehr Zuschauer gleichzeitig erreichen zu müssen? Warum sollten sie auf etwas verzichten wollen, das sie so intensiv nutzen?
Ich glaube, dass die meisten Teilnehmer der Umfrage die gestellte Frage gar nicht verstanden haben, weil sie viel zu unspezifisch formuliert wurde. Für viele ist ARD immer noch das erste Fernsehprogramm, auch wenn das offiziell „Das Erste“ heißt. Für viele ist ZDF das zweite Fernsehprogramm (wie der Name schon sagt), nicht aber deren Ableger Info und Neo. Und vor allem sind es nicht die gemeinsam veranstalteten Programme wie Arte und 3sat.
Hätten Welt und Civey nur nach den beiden Sendern „Das Erste“ und ZDF fragen wollen, wäre so eine Frage zielgenauer gewesen:
Sollten das erste und zweite Fernsehprogramm zu einem einzigen Sender zusammengelegt werden?
So aber kann WeltN24 das Ergebnis der missverstandenen Frage wieder auf die Anstalten an sich zurückdeuten und dann titeln:
Eine Frage missverständlich zu stellen und die Ergebnisse dann als scheinbar eindeutig auszugeben ist jedenfalls kein seriöser Umgang mit einer Umfrage.
Dass es der Springer-Vorstandsvorsitzende Matthias Döpfner war, der in seiner Funktion, aber auch als Präsident des Bundesverbandes Deutscher Zeitungsverleger immer wieder gegen die öffentlich-rechtlichen Sender polemisiert, sei nur zum Schluss kurz erwähnt.
Eine Studie, die Angst macht
Schon Anfang September hat die R+V Versicherung wieder ihre jährliche Umfrage über die „Ängste der Deutschen“ vorgestellt. Sie schreibt darüber selbst:
Terroranschläge, verheerende Unwetter oder Zuwanderung: Wie stark beeinflussen aktuelle Themen die Ängste der Deutschen? Das Infocenter der R+V Versicherung hat zum 26. Mal rund 2.400 Menschen nach ihren größten Sorgen rund um Politik, Wirtschaft, Umwelt, Familie und Gesundheit befragt. 2017 jagen Sicherheitsprobleme den Bürgern am meisten Angst ein.
„Langzeitstudie“ nennt die Versicherung ihre Erhebung, dabei ist es eigentlich nicht mehr als eine Umfrage. Erhoben werden also nicht objektive Daten, sondern persönliche Einschätzungen der Befragten.
Insofern unterscheidet sich diese Umfrage nicht von hunderten bis tausenden anderen, die jedes Jahr durchgeführt und von Lobbyverbänden und Unternehmen veröffentlicht werden. Die Angst-Umfrage dient der Versicherung dabei gleichermaßen als PR-Instrument als vermutlich auch als Datenschatz, in welchem Bereich sich möglicherweise weitere Versicherungen verkaufen ließen.
An der Umfrage lässt sich viel Kritik äußern – aber die diesmal genauer als sonst bei Studien. Denn die Versicherung hat die Daten zur Erhebung genau dokumentiert. Die Ergebnisse leider nicht, aber dazu später.
Umfragedesign ist transparent
Bei der Erhebung heißt es zum Beispiel, dass die Menschen persönlich befragt wurden – in „strukturierten persönlichen Interviews mit geschlossenen Fragen“. Geschlossene Fragen heißt, es wurde eine Reihe von möglichen Ängsten abgefragt, die Befragten konnten also nicht selbst nennen, was sie gerade besonders ängstigt. Felicitas Kock fragt deshalb in der Süddeutschen Zeitung zurecht, ob es da nicht konkretere Ängste gebe als ausgerechnet die vor Terror:
Die Angst, dass ausgerechnet dem Menschen etwas zustößt, der einem auf der Welt am nächsten ist, zum Beispiel. Oder die Angst, morgens vom Auto überfahren zu werden, weil es statt eines Fahrradwegs nur einen schlecht markierten Seitenstreifen gibt.
Doch danach wird gar nicht gefragt. Ängste sind sehr individuell. Sie auf ein paar mögliche einzugrenzen und anschließend zu behaupten, das seien „Die Ängste der Deutschen“, greift doch sehr kurz. Man müsste eher sagen: „Die Ängste der Deutschen unter denen, nach denen wir sie gefragt haben“. Als da wären:
Ich habe gar keine Angst … sehr große Angst davor, dass
- ich schwer erkranke
- ich von Arbeitslosigkeit betroffen werde
- ich im Alter meinen Lebensstandard nicht halten kann
- meine Partnerschaft zerbricht
- meine Kinder drogen- und / oder alkoholabhängig werden
- Nahrungsmittel immer stärker mit Schadstoffen belastet sind
- die Anzahl an Naturkatastrophen zunimmt
- die Arbeitslosigkeit in Deutschland weiter steigt
- die Lebenshaltungskosten stark steigen
- sich die Wirtschaftslage in Deutschland verschlechtert
- sich der politische Extremismus ausbreitet
- ich Opfer einer Straftat werde
- das Zusammenleben zwischen Deutschen und den hier lebenden Ausländern durch einen weiteren Zuzug von Ausländern / Asylanten beeinträchtigt wird
- Deutschland mit kriegerischen Auseinandersetzungen konfrontiert wird
- terroristische Vereinigungen Anschläge verüben
- die Politiker von ihren Aufgaben überfordert sind
- die Schuldenkrise einiger EU-Staaten den Euro gefährdet
- die Schuldenkrise einiger EU-Staaten für den deutschen Steuerzahler teuer wird
- die große Zahl der Flüchtlinge die Deutschen und ihre Behörden überfordert
Natürlich kann man das so abfragen. Aber mit mancher Nennung aktiviert man möglicherweise erst eine Angst, die überhaupt nicht vorhanden oder nicht bewusst ist. Angst vor Krieg? Was, muss ich die denn haben? (So einen merkwürdigen Versuch startete neulich auch #DeineWahl2017 zum YouTube-Interview mit der Bundeskanzlerin).
Den Befragten wurde vorab diese Basisfrage gestellt:
Es gibt viele Risiken und Gefahren im Leben. Einige davon haben wir zusammengestellt. Uns interessiert nun, inwieweit Sie sich davon bedroht fühlen. Bitte geben Sie uns – rein aus dem Gefühl – eine Bewertung, die aussagt, für wie bedrohlich Sie dieses Ereignis halten. Eine „1“ drückt aus, dass Sie keine Angst davor haben. Mit einer „7“ geben Sie zum Ausdruck, dass Sie sehr große Angst davor haben. Denken Sie aber bitte auch an die Zwischenstufen von „2“ bis „6“.
Arno Orzessek bemängelt zurecht in der WDR5-Sendung „Politikum“:
Dabei ist es zweifelhaft, ob jemand bei der Befragung jene Angst verspürt, deren Größe er bewerten soll. Noch zweifelhafter ist das Insistieren auf einer rein gefühlsmäßigen, unreflektierten Antwort.
Kock bringt den Aspekt des Unreflektierten klarer zum Ausdruck, wenn sie schreibt:
Die Teilnehmer sollten angeben „für wie bedrohlich“ sie ein Ereignis halten. Wobei auch die Frage offen bleibt, ob man vor einem Ereignis, das man mit 7 bewertet, nun sehr viel Angst hat – oder ob man nur für sehr wahrscheinlich hält, dass es eintritt.
Jeder Befragte hat als möglicherweise auf andere Rahmenbedingungen der Frage Bezug genommen.
Auswertung ist weitgehend geheim
Die Auswertung ist dagegen nicht so transparent wie das Umfragedesign. Die Skala umfasst sieben Stufen; die Versicherung fasst in der Auswertung aber gleich drei davon, nämlich 5, 6 und 7, unter dem Stichwort „große Angst“ zusammen. Sie gibt aber nicht die Daten heraus, wie viele Befragte im Einzelnen jeweils die Skalastufen 5, 6 und 7 genannt haben. Das ist relativ großzügig und berücksichtigt die von den Befragten gemachten Abstufungen meiner Meinung nach nicht angemessen.
Angenommen, die Versicherung nennt 100 Menschen, die entweder Stufe 5, 6 oder 7 genannt haben, so bleibt doch offen, ob alle 100 Stufe 5 oder alle 100 Stufe 7 genannt haben. Das macht aber bei der Einschätzung der Antwort einen Unterschied.
Wie genau die Verteilung war, will die Versicherung auch auf meine Nachfrage nicht herausgeben – und macht damit die eigene Umfrage größtenteils unbrauchbar.
Hinzu kommt der Erhebungszeitraum. Erhoben wurde vom 23. Juni bis 28. Juli 2017. Das ist mit fünf Wochen ein relativ langer Befragungszeitraum. Vier Tage vor Beginn hatte es einen Anschlag auf eine Moschee in London gegeben. Am 14. Juli wurden zwei Deutsche bei einer Messerattacke in Hurghada getötet. Am 28. Juli tötete ein Mann in einem Supermarkt in Hamburg einen Menschen. Es wäre nicht verwunderlich, hätten die am Anfang und Ende Befragten aufgrund der aktuellen Vorfälle größere Angst geäußert als diejenigen, die relativ lange nach einem Anschlag befragt wurden. Hätte man die Umfrage nach dem 17. August durchgeführt, den Anschlägen von Barcelona und Cambrils, hätte man sicher wiederum andere Ergebnisse bekommen. Arno Orzessek kommentiert:
Und dass etwa Terror, je nach Datum und Opferzahl der jeweils jüngsten Anschläge mehr oder weniger große Ängste auslöst, ist eine Banalität. Terrortote haben noch nie Sorglosigkeit gefördert.
Fazit
So bleibt am Ende die ernüchternde Erkenntnis, dass trotz aller Transparenz, was die Erhebung der Umfrage angeht, diese bei den Ergebnissen fehlt. Was freilich Journalisten nicht daran hindert, die Ergebnisse und damit auch Werbung für die Versicherung in die Berichterstattung zu heben.
Vom Wahllokal zum Wahlergebnis: Wie Prognosen und Hochrechnungen entstehen
Am Sonntag ist der neue Bundestag gewählt worden. Umfragen sind am Wahlabend prägend für die Berichterstattung und geben schon recht früh Informationen über den voraussichtlichen Wahlausgang. Und: Sie sind häufig überraschend zuverlässig. Darüber habe ich am vergangenen Donnerstag für das DLF-Medienmagazin @mediasres und am Samstag für das WDR5-Medienmagazin „Töne, Texte, Bilder“ berichtet.
Eine Umfrage ist eine Umfrage ist eine Umfrage
Normalerweise weisen Demoskopen es barsch zurück, wenn ihre Sonntagsfragen als Prognose des Wahlergebnisses gesehen werden. Die Meinungsumfragen dazu, welche Partei man wählen würde, wäre am kommenden Sonntag Bundestagswahl, geben immer nur die momentane politische Stimmung wieder, sind aber keine Projektion des Ergebnisses.
Das Online-Umfrageunternehmen YouGov hat sich dieses Jahr jedoch mit einer neuen Methode nach vorne getraut, die sie sechs Tage vor der Wahl vorgestellt hat. Es hat tatsächlich eine Prognose abgegeben, wollte also möglichst genau sagen, wie die Wahl ausgeht.
„Wir sind uns bewusst, dass wir uns mit unserem neuen MRP-Modell noch aus dem Fenster lehnen“, sagte Holger Geißler, Forschungsleiter und Sprecher von YouGov Deutschland, laut der Pressemitteilung des Unternehmens. „Gleichzeitig wissen wir alle spätestens seit der Trump-Wahl und dem Brexit, dass die klassische Meinungsforschung vor großen Herausforderungen steht.“
Diese Herausforderung hat YouGov nicht abgeräumt, denn die Prognose war in mehreren Punkten falsch. So sah sie aus:
In unserer letzten Aktualisierung des Modells am heutigen Freitag, errechnen wir einen Stimmanteil von 36% für die CDU / CSU (mit einem Konfidenzintervall von 33% zu 39%). Das würde bedeuten, dass die CDU / CSU zwischen 239 und 274 Sitze im nächsten Bundestag erhält (mit 256 als Mittelwert). Wir schätzen, dass die SPD 25% der Stimmen erhalten wird (Intervall von 22% zu 28%) und sich damit 176 Sitze (155-199) sichern kann. Bzgl. der drittstärksten Partei erwartet das Modell entweder die AfD oder die Linke. Unsere Berechnungen sehen die AfD aktuell mit 12% (10%-14%) etwas vor der Linken mit 10% (9%-12%). Etwas schwächer werden nach unseren Schätzungen die FDP mit 7% (6%-9%) und die Grünen mit 7% (5% -8%) abschneiden.
Das vorläufige amtliche Endergebnis zeigt, wo YouGov falsch lag.
Das amtliche Endergebnis – so hat Deutschland gewählt. #BTW17 pic.twitter.com/3B2Nz942eQ
— tagesschau (@tagesschau) September 25, 2017
Die Union erreichte mit 33 % gerade noch das untere Ende des Konfidenzintervalls. Die SPD erreichte dagegen lediglich 20,5 % und war damit sowohl vom Mittelwert 25 % als auch vom unteren Ende des Konfidenzintervalls von 22 % entfernt. Bei AfD und Linke lag YouGov richtig, bei der FDP wiederum nicht. Die leg mit 10,7 % weg vom Konfidenzintervall 6 bis 9 %. Auch bei den Grünen lag die Vorhersage außerhalb des Intervalls.
Bei drei von sechs Werten lag die Vorhersage also daneben. Das sieht mir nach einem Problem für die Qualität der Prognose aus. Mal davon abgesehen, dass solch eine Umfrage Rückwirkungen auf die Entscheidung einiger Wähler haben kann und damit genau jenes Eintreten der Vorhersage vereitelt, kann YouGov mögliches mangelndes Vertrauen in die Qualität seiner Arbeit hiermit nicht unbedingt wiederherstellen.
Was können Umfragen im Wahlkampf-Endspurt noch aussagen?
Schulz-SPD rutscht ab auf 20 Prozent
titelt tagesschau.de gestern Abend.
Zehn Tage vor der Bundestagswahl geht es für die SPD weiter bergab. Im ARD-DeutschlandTrend erreicht die Partei von Martin Schulz noch 20 Prozent. Die AfD bleibt auf Platz drei. Knapp die Hälfte der Wähler ist noch unentschlossen.
Sogar als Eilmeldung hat die Tagesschau das Ergebnis der jüngsten Sonntagsfrage von Infratest Dimap verschickt.
ARD-DeutschlandTrend: SPD rutscht ab auf 20 Prozent, AfD auf Platz drei https://t.co/3qvbo3Cibh
— tagesschau Eil (@tagesschau_eil) September 14, 2017
Es ist übrigens die letzte Umfrage, die Infratest vor der Bundestagswahl veröffentlicht; das Unternehmen hält sich vorbildlich zurück, noch in den letzten Tagen vor der Wahl neue Umfrageergebnisse zu veröffentlichen, die die Wahl noch mehr beeinflussen könnten als diese es vermutlich ohnehin schon tun.
Es ist ein zwiespältiger Artikel von Ellen Ehni. Denn sie schreibt einerseits sehr ausführlich darüber, wie aussagekräftig die Umfragedaten sind, etwa so:
Bei dieser Umfrage handelt es sich ausdrücklich um keine Prognose, sondern um die politische Stimmung in der laufenden Woche.
(Außerdem wird unter dem Artikel ausführlich das Untersuchungsdesign abgedruckt, wie es auch vom Pressekodex gefordert wird.)
Der Alarmismus der Überschrift und die Eilbedürftigkeit der Meldung wird damit jedoch ein wenig konterkariert. Angesichts der Tatsache, dass die jüngste Veränderung bei der SPD innerhalb der Fehlertoleranz liegt und damit lediglich ein Messfehler sein kann, finde ich diese Zuspitzung nicht sonderlich hilfreich.
Zumal die Forschungsgruppe Wahlen für das ZDF zu anderen Daten kommt, die sie nur einen Tag später, nämlich heute, veröffentlich hat. Demnach hat die SPD bei ihr sogar um einen Prozentpunkt zugelegt und kommt auf 23 Prozent – deutlich höher als bei Infratest Dimap mit 20 Prozent. Aber auch dieser Anstieg ist freilich innerhalb der Fehlertoleranz.
Außerdem hat in dieser Umfrage die Union leicht verloren, was fast zur gegenläufigen Überschrift bei heute.de führt:
Union verliert weiter an Zustimmung
Aber auch dabei liegt die Veränderung innerhalb der Fehlertoleranz.
Problematisch finde ich solche Zahlen vor allem, weil sie möglicherweise demobilisierende Wirkung haben können. Das findet sich auch immer wieder in der journalistischen Behandlung der Umfragen, indem Journalisten sinngemäß behaupten, die Wahl sei bereits entschieden. Das blendet zum einen ganz offensichtlich aus, dass die Wahl erst am 24. September ist und jeder Wähler seine Stimme erst noch abgeben muss – vor allem aber verlässt es sich auf die Daten der Sonntagsfrage, die jedoch längst nicht so zuverlässig sind wie es Überschriften und Artikel oft behaupten. Schließlich werden darin auch die relativ vielen unentschlossenen Wähler jeweils Parteien zugeschlagen, wenngleich man über deren Wahlentscheidung oder auch Wahlenthaltung in der Zeit zunehmend volatilerer Parteienbindungen immer weniger sagen kann.
In einem kleinen Rant habe ich mich dazu am Mittwoch bei Twitter ausgelassen:
Ich werde zunehmend sauer, je mehr Politik nur noch als Wettrennen betrachtet wird.
— Stefan Fries (@stfries) September 13, 2017
Dabei habe ich folgendes geschrieben – redaktionell heute nicht mehr verändert:
Ich werde zunehmend sauer, je mehr Politik nur noch als Wettrennen betrachtet wird.
Es geht nur noch um Gewinnen und Verlieren, nicht mehr um den demokratischen Austausch von Argumenten und Positionen.
Jetzt wird Martin Schulz dafür geschmäht, er wolle auch mal ein TV-Duell gewinnen. Dabei kann niemand so ein Duell gewinnen.
Es gibt nämlich keine Zielmarke, die ein Teilnehmer zuerst erreichen kann. Und keinen Schiedsrichter.
Politik ist kein Rennen. Deswegen nutzen auch die angeblichen Zwischenstände in Form von Umfragen nichts. Sie sagen nämlich nichts aus.
Die Fixierung darauf suggerieren, die eigentliche Wahl sei nur eine weitere Sonntagsfrage in der Abfolge hunderter Umfragen.
Und wer zufällig am Wahlsonntag vorne liegt, darf die nächsten vier Jahre regieren. Die eigentliche Wahl wird damit heruntergespielt.
Und von vielen Journalisten und Politikern als bereits entschieden abgestempelt: Zeigen ja angeblich die Umfragen. Wozu also noch wählen?
Daraus spricht eine Verachtung der Wahl und auch der Wähler, die davon abgehalten werden, überhaupt noch wählen zu gehen.
Wieso sollte ein CDU-Wähler hingehen, wenn die CDU doch angeblich vorne liegt? Wie kann ein SPD-Wähler der Partei noch helfen?
Warum Grüne wählen, wenn die Stimme „verschwendet“ sein könnte? Warum die FDP helfen, wenn sie mit der CDU eh keine Mehrheit hat?
All das verhindert, dass die Wähler sich nach ihrer Überzeugung richten und wählen, wen sie für richtig halten.
Stattdessen werden sie verleitet, taktisch zu denken, weil ihre Stimme verfallen könnte oder angeblich ohnehin nicht hilft.
Das verzerrt den eigentlichen Wählerwillen. Das Wahlergebnis ist das Abbild taktischer Überlegungen und nicht innerer Überzeugungen.
Es gibt genug Beispiele, in denen Demoskopen falsch lagen, zuletzt bei der LTW Saarland, ganz enorm bei der BTW 2005.
Aber auch Beispiel Brexit: Demoskopen legten sich auf Remain fest, viele gingen nicht wählen – und standen am Ende dumm da.
Wir haben die Wahl. Wir sollten sie uns nicht von Politikern, Journalisten, Demoskopen nehmen lassen.