Stefan Fries

Schon Anfang September hat die R+V Versicherung wieder ihre jährliche Umfrage über die „Ängste der Deutschen“ vorgestellt. Sie schreibt darüber selbst:

Terroranschläge, verheerende Unwetter oder Zuwanderung: Wie stark beeinflussen aktuelle Themen die Ängste der Deutschen? Das Infocenter der R+V Versicherung hat zum 26. Mal rund 2.400 Menschen nach ihren größten Sorgen rund um Politik, Wirtschaft, Umwelt, Familie und Gesundheit befragt. 2017 jagen Sicherheitsprobleme den Bürgern am meisten Angst ein.

„Langzeitstudie“ nennt die Versicherung ihre Erhebung, dabei ist es eigentlich nicht mehr als eine Umfrage. Erhoben werden also nicht objektive Daten, sondern persönliche Einschätzungen der Befragten.

Insofern unterscheidet sich diese Umfrage nicht von hunderten bis tausenden anderen, die jedes Jahr durchgeführt und von Lobbyverbänden und Unternehmen veröffentlicht werden. Die Angst-Umfrage dient der Versicherung dabei gleichermaßen als PR-Instrument als vermutlich auch als Datenschatz, in welchem Bereich sich möglicherweise weitere Versicherungen verkaufen ließen.

An der Umfrage lässt sich viel Kritik äußern – aber die diesmal genauer als sonst bei Studien. Denn die Versicherung hat die Daten zur Erhebung genau dokumentiert. Die Ergebnisse leider nicht, aber dazu später.

Umfragedesign ist transparent

Bei der Erhebung heißt es zum Beispiel, dass die Menschen persönlich befragt wurden – in „strukturierten persönlichen Interviews mit geschlossenen Fragen“. Geschlossene Fragen heißt, es wurde eine Reihe von möglichen Ängsten abgefragt, die Befragten konnten also nicht selbst nennen, was sie gerade besonders ängstigt. Felicitas Kock fragt deshalb in der Süddeutschen Zeitung zurecht, ob es da nicht konkretere Ängste gebe als ausgerechnet die vor Terror:

Die Angst, dass ausgerechnet dem Menschen etwas zustößt, der einem auf der Welt am nächsten ist, zum Beispiel. Oder die Angst, morgens vom Auto überfahren zu werden, weil es statt eines Fahrradwegs nur einen schlecht markierten Seitenstreifen gibt.

Doch danach wird gar nicht gefragt. Ängste sind sehr individuell. Sie auf ein paar mögliche einzugrenzen und anschließend zu behaupten, das seien „Die Ängste der Deutschen“, greift doch sehr kurz. Man müsste eher sagen: „Die Ängste der Deutschen unter denen, nach denen wir sie gefragt haben“. Als da wären:

Ich habe gar keine Angst … sehr große Angst davor, dass

• ich schwer erkranke
• ich von Arbeitslosigkeit betroffen werde
• ich im Alter meinen Lebensstandard nicht halten kann
• meine Partnerschaft zerbricht
• meine Kinder drogen- und / oder alkoholabhängig werden
• Nahrungsmittel immer stärker mit Schadstoffen belastet sind
• die Anzahl an Naturkatastrophen zunimmt
• die Arbeitslosigkeit in Deutschland weiter steigt
• die Lebenshaltungskosten stark steigen
• sich die Wirtschaftslage in Deutschland verschlechtert
• sich der politische Extremismus ausbreitet
• ich Opfer einer Straftat werde
• das Zusammenleben zwischen Deutschen und den hier lebenden Ausländern durch einen weiteren Zuzug von Ausländern / Asylanten beeinträchtigt wird
• Deutschland mit kriegerischen Auseinandersetzungen konfrontiert wird
• terroristische Vereinigungen Anschläge verüben
• die Politiker von ihren Aufgaben überfordert sind
• die Schuldenkrise einiger EU-Staaten den Euro gefährdet
• die Schuldenkrise einiger EU-Staaten für den deutschen Steuerzahler teuer wird
• die große Zahl der Flüchtlinge die Deutschen und ihre Behörden überfordert

Natürlich kann man das so abfragen. Aber mit mancher Nennung aktiviert man möglicherweise erst eine Angst, die überhaupt nicht vorhanden oder nicht bewusst ist. Angst vor Krieg? Was, muss ich die denn haben? (So einen merkwürdigen Versuch startete neulich auch #DeineWahl2017 zum YouTube-Interview mit der Bundeskanzlerin).

Den Befragten wurde vorab diese Basisfrage gestellt:

Es gibt viele Risiken und Gefahren im Leben. Einige davon haben wir zusammengestellt. Uns interessiert nun, inwieweit Sie sich davon bedroht fühlen. Bitte geben Sie uns – rein aus dem Gefühl – eine Bewertung, die aussagt, für wie bedrohlich Sie dieses Ereignis halten. Eine „1“ drückt aus, dass Sie keine Angst davor haben. Mit einer „7“ geben Sie zum Ausdruck, dass Sie sehr große Angst davor haben. Denken Sie aber bitte auch an die Zwischenstufen von „2“ bis „6“.

Arno Orzessek bemängelt zurecht in der WDR5-Sendung „Politikum“:

Dabei ist es zweifelhaft, ob jemand bei der Befragung jene Angst verspürt, deren Größe er bewerten soll. Noch zweifelhafter ist das Insistieren auf einer rein gefühlsmäßigen, unreflektierten Antwort.

Kock bringt den Aspekt des Unreflektierten klarer zum Ausdruck, wenn sie schreibt:

Die Teilnehmer sollten angeben „für wie bedrohlich“ sie ein Ereignis halten. Wobei auch die Frage offen bleibt, ob man vor einem Ereignis, das man mit 7 bewertet, nun sehr viel Angst hat – oder ob man nur für sehr wahrscheinlich hält, dass es eintritt.

Jeder Befragte hat als möglicherweise auf andere Rahmenbedingungen der Frage Bezug genommen.

Auswertung ist weitgehend geheim

Die Auswertung ist dagegen nicht so transparent wie das Umfragedesign. Die Skala umfasst sieben Stufen; die Versicherung fasst in der Auswertung aber gleich drei davon, nämlich 5, 6 und 7, unter dem Stichwort „große Angst“ zusammen. Sie gibt aber nicht die Daten heraus, wie viele Befragte im Einzelnen jeweils die Skalastufen 5, 6 und 7 genannt haben. Das ist relativ großzügig und berücksichtigt die von den Befragten gemachten Abstufungen meiner Meinung nach nicht angemessen.

Angenommen, die Versicherung nennt 100 Menschen, die entweder Stufe 5, 6 oder 7 genannt haben, so bleibt doch offen, ob alle 100 Stufe 5 oder alle 100 Stufe 7 genannt haben. Das macht aber bei der Einschätzung der Antwort einen Unterschied.

Wie genau die Verteilung war, will die Versicherung auch auf meine Nachfrage nicht herausgeben – und macht damit die eigene Umfrage größtenteils unbrauchbar.

Hinzu kommt der Erhebungszeitraum. Erhoben wurde vom 23. Juni bis 28. Juli 2017. Das ist mit fünf Wochen ein relativ langer Befragungszeitraum. Vier Tage vor Beginn hatte es einen Anschlag auf eine Moschee in London gegeben. Am 14. Juli wurden zwei Deutsche bei einer Messerattacke in Hurghada getötet. Am 28. Juli tötete ein Mann in einem Supermarkt in Hamburg einen Menschen. Es wäre nicht verwunderlich, hätten die am Anfang und Ende Befragten aufgrund der aktuellen Vorfälle größere Angst geäußert als diejenigen, die relativ lange nach einem Anschlag befragt wurden. Hätte man die Umfrage nach dem 17. August durchgeführt, den Anschlägen von Barcelona und Cambrils, hätte man sicher wiederum andere Ergebnisse bekommen. Arno Orzessek kommentiert:

Und dass etwa Terror, je nach Datum und Opferzahl der jeweils jüngsten Anschläge mehr oder weniger große Ängste auslöst, ist eine Banalität. Terrortote haben noch nie Sorglosigkeit gefördert.

Fazit

So bleibt am Ende die ernüchternde Erkenntnis, dass trotz aller Transparenz, was die Erhebung der Umfrage angeht, diese bei den Ergebnissen fehlt. Was freilich Journalisten nicht daran hindert, die Ergebnisse und damit auch Werbung für die Versicherung in die Berichterstattung zu heben.

Normalerweise weisen Demoskopen es barsch zurück, wenn ihre Sonntagsfragen als Prognose des Wahlergebnisses gesehen werden. Die Meinungsumfragen dazu, welche Partei man wählen würde, wäre am kommenden Sonntag Bundestagswahl, geben immer nur die momentane politische Stimmung wieder, sind aber keine Projektion des Ergebnisses.

Das Online-Umfrageunternehmen YouGov hat sich dieses Jahr jedoch mit einer neuen Methode nach vorne getraut, die sie sechs Tage vor der Wahl vorgestellt hat. Es hat tatsächlich eine Prognose abgegeben, wollte also möglichst genau sagen, wie die Wahl ausgeht.

„Wir sind uns bewusst, dass wir uns mit unserem neuen MRP-Modell noch aus dem Fenster lehnen“, sagte Holger Geißler, Forschungsleiter und Sprecher von YouGov Deutschland, laut der Pressemitteilung des Unternehmens. „Gleichzeitig wissen wir alle spätestens seit der Trump-Wahl und dem Brexit, dass die klassische Meinungsforschung vor großen Herausforderungen steht.“

Diese Herausforderung hat YouGov nicht abgeräumt, denn die Prognose war in mehreren Punkten falsch. So sah sie aus:

In unserer letzten Aktualisierung des Modells am heutigen Freitag, errechnen wir einen Stimmanteil von 36% für die CDU / CSU (mit einem Konfidenzintervall von 33% zu 39%). Das würde bedeuten, dass die CDU / CSU zwischen 239 und 274 Sitze im nächsten Bundestag erhält (mit 256 als Mittelwert). Wir schätzen, dass die SPD 25% der Stimmen erhalten wird (Intervall von 22% zu 28%) und sich damit 176 Sitze (155-199) sichern kann. Bzgl. der drittstärksten Partei erwartet das Modell entweder die AfD oder die Linke. Unsere Berechnungen sehen die AfD aktuell mit 12% (10%-14%) etwas vor der Linken mit 10% (9%-12%). Etwas schwächer werden nach unseren Schätzungen die FDP mit 7% (6%-9%) und die Grünen mit 7% (5% -8%) abschneiden.

Das vorläufige amtliche Endergebnis zeigt, wo YouGov falsch lag.

Das amtliche Endergebnis – so hat Deutschland gewählt. #BTW17 pic.twitter.com/3B2Nz942eQ

— tagesschau (@tagesschau) September 25, 2017

Die Union erreichte mit 33 % gerade noch das untere Ende des Konfidenzintervalls. Die SPD erreichte dagegen lediglich 20,5 % und war damit sowohl vom Mittelwert 25 % als auch vom unteren Ende des Konfidenzintervalls von 22 % entfernt. Bei AfD und Linke lag YouGov richtig, bei der FDP wiederum nicht. Die leg mit 10,7 % weg vom Konfidenzintervall 6 bis 9 %. Auch bei den Grünen lag die Vorhersage außerhalb des Intervalls.

Bei drei von sechs Werten lag die Vorhersage also daneben. Das sieht mir nach einem Problem für die Qualität der Prognose aus. Mal davon abgesehen, dass solch eine Umfrage Rückwirkungen auf die Entscheidung einiger Wähler haben kann und damit genau jenes Eintreten der Vorhersage vereitelt, kann YouGov mögliches mangelndes Vertrauen in die Qualität seiner Arbeit hiermit nicht unbedingt wiederherstellen.