Kategorie: Demoskopie

YouGov stellt Angst vor Corona stärker dar als selbst ermittelt

Mit der Angst vor dem Corona-Virus lassen sich leicht Schlagzeilen machen. Auch das Umfrageunternehmen YouGov tut das. Es hat in zwei verschiedenen Zeiträumen im Abstand von einer Woche jeweils mehr als 2.000 Personen gefragt:

Welche der folgenden Aussagen beschreibt am besten Ihre Gefühle in Bezug auf eine Ansteckung mit dem Coronavirus (COVID-19)?

Die Fragestellung ist schon falsch: Denn COVID-19 ist kein Synonym für das Coronavirus, sondern die vom Virus ausgelöste Krankheit (siehe u.a. hier). Aber gehen wir mal davon aus, dass die meisten Befragten beides ebenfalls synonym benutzen, das wird die Antworten kaum verfälscht haben. Als Antwortmöglichkeiten gab YouGov vor:

  • Große Angst
  • Ziemliche Angst
  • Keine große Angst
  • Überhaupt keine Angst
  • Weiß nicht

(Quelle: yougov.de)

Mit „große Angst“ haben diese Woche (13. bis 16. März 2020) 9 Prozent geantwortet.* In der Darstellung von YouGov (abgerufen am 17. März 2020 um 11 Uhr) ist diese Zahl aber viel höher:

Mitte März sagen schon fast zwei von Fünf (37 Prozent), große Angst vor der Ansteckung mit dem Virus zu haben.

Auch im dazugehörigen Tweet steht das so:

Die Lösung: In dieser Darstellung wurden alle Antworten der Kategorie „ziemliche Angst“ der stärkeren Kategorie „große Angst“ einfach zugeschlagen und das Ergebnis damit verzerrt. Wieso sollte man differenziert antworten können, wenn YouGov diese Differenzierung am Ende sowieso planiert?

Dass Umfragen falsch dargestellt werden, ist keine Besonderheit. Aber dass ein Umfrageunternehmen selbst nicht in der Lage ist, seine eigenen Zahlen zu interpretieren, dann doch. Und es zeigt erneut, wie vorsichtig man mit diesen Ergebnissen umgehen muss.

 

* Ein Hinweis noch: Die Umfrage lief vom 13. bis 16. März, also an vier Tagen. In dieser Zeit war die Lage hochdynamisch, der Sachstand und die Empfehlungen des Bundes sowie Vorgaben von Ländern und Kommunen haben sich ständig verschärft. Wer am 13. März noch mit „keine Angst“ geantwortet hat, hätte am 16. März durchaus schon „ziemliche Angst“ haben können. Auch deshalb sind die Ergebnisse mit Vorsicht zu betrachten.

Bayerische Staatszeitung löscht mehr als 320 Online-Umfragen

Die Bayerische Staatszeitung hat jahrelang manipulierbare Online-Umfragen durchgeführt. Dabei konnte man zu einer Frage der Woche entweder auf Ja oder Nein klicken. Zunächst ging das nur einmal, aber wenn man das entsprechende Cookie im Browser gelöscht hat, konnte man erneut abstimmen.

Der Grünen-Politiker Dirk Wildt aus Passau hat auf diese Weise mehrere Umfragen manipuliert und mindestens einmal sogar das Stimmenverhältnis gekippt. Nachdem er die Redaktion darauf aufmerksam gemacht hatte, tat die erst mal wenig und führte sogar neue Umfragen durch. Daraufhin wandte er sich an den Deutschen Presserat.

Der entschied im Dezember, dass die Bayerische Staatszeitung gegen den Pressekodex verstoßen hat und sprach einen Hinweis aus – eine eher sanfte Sanktion. Zwischenzeitlich hatte die Redaktion ihre Online-Umfragen bereits gelöscht und will auch keine neuen durchführen.

Über den Fall habe ich gestern bei @mediasres im Deutschlandfunk berichtet.

Presserat billigt Civey-Umfrage

Jeden Tag erscheinen in Medien neue Umfragen – erstellt von klassischen Meinungsforschern und neuen Konkurrenten aus dem Netz. Aber müssen Redaktionen prüfen, wie deren Ergebnisse zustandekommen? Der Presserat hat sich im Falle einer Umfrage des Anbieters Civey nun dagegen entschieden. In meinem Beitrag für @mediasres im Deutschlandfunk habe ich die Entscheidung und den Fall noch mal kurz zusammengefasst.

Presserat sieht in Verwendung von Civey-Umfragen keinen Verstoß gegen den Pressekodex

Gestern habe ich für den Deutschlandfunk über die Beschwerde (mittelbar) gegen Civey vor dem Presserat berichtet. Es ging um die Frage, ob Focus online nach den Regeln des Pressekodex eine Civey-Umfrage als repräsentativ bezeichnen durfte. Jetzt hat der Beschwerdeausschuss entschieden (PDF): Civey-Umfragen dürfen von Redaktionen verwendet werden. Die Begründung dafür ist bemerkenswert:

Aus Sicht des Presserats gab es für die Redaktion keinen Anlass, an der Seriosität ihres Kooperationspartners Civey zu zweifeln. So lagen beispielsweise weder Wettbewerbsklagen noch Maßnahmen der Selbstkontrolle der Markt- und Sozialforschung vor. Vor diesem Hintergrund durfte die Redaktion der Aussagekraft der Ergebnisse vertrauen. Eine eigene wissenschaftliche Prüfung der Umfragemethodik von Civey ist der Redaktion hier nicht abzuverlangen.
Tatsächlich sind Forsa, Infas und die Forschungsgruppe Wahlen, die die Beschwerde angestrengt hatten, nicht beim zuständigen Rat der Deutschen Meinungs- und Sozialforschung gegen die Umfrage vorgegangen, sondern haben sich mit dem Presserat einen Nebenkriegsschauplatz gewählt. Auf diesem Schauplatz haben sie jetzt eine Niederlage erlitten. Mit anderen Worten: Hätten sie sich erst an den Rat der Meinungs- und Sozialforschung gewandt und wären dort erfolgreich gewesen, hätte der Presserat wohl auch ihrer Beschwerde stattgegeben.

Methodenstreit der Meinungsforschung: Was ist repräsentativ?

Die Zahl der Politik-Umfragen nimmt stetig zu – die Nachfrage von Medien und Politik ebenfalls. Doch die klassischen Meinungsforscher wehren sich gegen die wachsende Konkurrenz aus dem Netz: Die Methoden der Online-Umfrageinstitute seien nicht seriös – es werde teils gefährlich Stimmung gemacht. Jetzt ist der Streit vor dem Presserat.

Dort haben sich die klassischen Meinungsforschungsinstitute Forsa, Infas und die Forschungsgruppe Wahlen gegen eine Umfrage von „Focus online“ beschwert, die das Berliner Startup Civey erstellt hat. Heute wird vor dem Presserat verhandelt.

Worum es geht, habe ich gestern in der Deutschlandfunk-Sendung „Hintergrund“ erklärt.

Zielgenauere Umfrage macht Kramp-Karrenbauer zur Favoritin (zumindest vorübergehend)

Seit Angela Merkel ihren Rückzug als CDU-Chefin angekündigt hat und drei prominenten Kandidaten für ihre Nachfolge  bereitstehen, hat es mehrere Umfragen gegeben, wen „die Bürger“ als Nachfolger bevorzugen. Am Anfang war es oft Friedrich Merz, wahrscheinlich, weil ihn noch niemand kannte – im Gegensatz zu Annegret Kramp-Karrenbauer und Jens Spahn. Einige Umfragen widersprachen sich auch. Seitdem haben sich die Mehrheiten – wie erwartet – auch wieder verändert, was die ursprünglichen Umfragen etwas sinnlos erscheinen lässt.

Wer den Posten wirklich bekommt, konnte man aus den Daten ohnehin nicht schließen. Denn die Entscheidung treffen nicht die deutschen Wähler, nicht mal die CDU-Mitglieder, sondern lediglich 1.001 CDU-Delegierte beim Parteitag. Welche Präferenz soll man also aus solcherlei Umfragedaten ablesen können?

Für den ARD-Deutschlandtrend hat der WDR jetzt Infratest Dimap zum ersten Mal nicht „die Bürger“ befragen lassen, sondern nur CDU-Anhänger. Mal davon abgesehen, dass das eine Selbstbezeichnung der Befragten ist, die sich nicht überprüfen lässt* (es wurden nicht mal CDU-Wähler befragt, sondern lediglich Anhänger), kommt das der möglichen Stimmung innerhalb der Partei aber sicherlich schon näher. Und siehe da: Der angebliche Vorsprung von Merz ist gleich dahin.

Den Zahlen zufolge sind 46 Prozent für Kramp-Karrenbauer, 31 für Merz und 12 Prozent für Spahn. Die Frage ist nur, wieviele Leute dabei befragt wurden. Dem Umfragedesign zufolge wurden 1.006 Leute befragt. Wie viele davon ihre Parteipräferenz für die CDU ausgedrückt haben, ist unklar. Wenn es etwa die 26 Prozent sind, die sich bei der Sonntagsfrage zur Union (also auch zur CSU) bekannt haben, waren es höchstens rund 260 Befragte. Also auch das höchstens ein Stimmungbild ohne Anspruch auf Wahrhaftigkeit.

 

* Das ist natürlich ein gängiges Problem bei der Meinungsforschung.

 

Offenlegung: Ich arbeite als freier Mitarbeiter für den WDR.

Sinnlose Umfragen zum CDU-Vorsitz – die Fortsetzung

Es war ja zu erwarten. Für den Deutschlandfunk habe ich noch vor zwei Wochen über den Umfrage-Hype für Friedrich Merz, der CDU-Vorsitzender werden will, geschrieben:

Die Werte halten ohnehin nicht lang. Sie sind höchstens ein Blitzlicht, die die Thesen des Tages stützen, und werden sich verändern. Denn die Kandidaten werden sich öffentlich zu ihren Plänen äußern. Je mehr die Bürger über sie erfahren, desto stärker kann sich ihre Wahrnehmung ändern. Von Friedrich Merz haben die meisten seit über einem Jahrzehnt nichts mehr gehört. Dass sich im Moment also Mehrheiten für ihn aussprechen, kann auch bloß daran liegen, dass er ihnen nicht negativ aufgefallen ist.

Und schon ist es soweit: In einer neuen Umfrage liegt nicht mehr Merz vorne, sondern Annegret Kramp-Karrenbauer. Die FAZ schreibt dazu den absurden Satz:

32 Prozent der Befragten würden die CDU-Generalsekretärin zur Nachfolgerin von Angela Merkel wählen, berichtete die „Bild am Sonntag“ unter Berufung auf eine Umfrage des Emnid-Instituts.

Ja, und 98 Prozent „der Deutschen“ würden Micky Maus zum US-Präsidenten wählen. Dummerweise tritt weder Micky an noch dürfen die Deutschen den US-Präsidenten wählen. Aber man kann ja einfach mal fragen, auch wenn die Befragten überhaupt nicht wahlberechtigt sind – das sind nämlich nur die 1.001 CDU-Delegierten beim Parteitag.

Deswegen sagt es überhaupt nichts über die Chancen der Kandidaten aus, wie eine Gruppe von Befragten sie sieht, die überhaupt nicht wahlberechtigt ist. Und dass solche Umfragen uns als Bürger keinerlei Gefühl dafür geben können, wer Favorit bei den CDU-Mitgliedern ist, geschweige denn bei den CDU-Delegierten.

Nur ein Gedankenspiel: Wen würden denn, sagen wir mal, die Wähler der Linkspartei gerne als CDU-Chef sehen? Doch nicht unbedingt jemanden, den sie für fähig halten, ein guter CDU-Chef und möglicherweise auch Kanzler zu werden? Sondern doch eher jemanden, der ihnen als Linkspartei möglichst viele Wähler zutreibt.

Wieso sollte also so jemand einen Kandidaten nennen, den er gut findet – nennt er nicht vielmehr jemanden, den er für seine Partei für möglichst ungefährlich hält? Das zeigt, wie wichtig es ist, dass man die Gruppe der Befragten sinnvoll wählt. Ich frage ja auch nicht eine Gruppe von 1.000 Nichtrauchern nach ihren Lieblingszigaretten.

Es wird nicht die letzte Umfrage zum Thema CDU-Vorsitz gewesen sein. Und am Ende heulen dann wieder Journalisten, dass sie den Ausgang der Wahl nicht haben kommen sehen – so wie schon bei der von Ralph Brinkhaus zum CDU-Fraktionsvorsitzenden. Warum gab es dazu eigentlich keine Umfragen?

Merkwürdige Mehrheiten für Merz

Schon kurz nachdem Angela Merkel ihren Rückzug als CDU-Chefin ankündigte, schrieben viele Medien über den Kandidaten Friedrich Merz – noch bevor er überhaupt seine Bewerbung für den Parteivorsitz bestätigte. Umfragen sollen das öffentliche Interesse am Politiker belegen – doch es fehlt an Aussagekraft. Ich hab das noch mal für @mediasres im Deutschlandfunk aufgeschrieben.

Außerdem gab es in der Sendung danach ein sehr hörenswertes Interview mit dem Tübinger Medienwissenschaftler Bernhard Pörksen. Er sieht in der Debatte um die CDU-Führung eine Neigung zum Hype und zur Personalisierung. Einzelne Politiker würden „zu Erlösergestalten hochgeschrieben“, sagte er. Hier offenbare sich ein Sinnvakuum der gesellschaftlichen Mitte.

Handelsblatt reagiert auf Kritik an nichtssagender Umfrage

Der Quatsch mit Umfragen hält an. Heute war es das Handelsblatt auf Twitter, das eine Umfrage als seriösen Inhalt angepriesen hat. Gestern hatte die Redaktion diese Abstimmung gestartet:

Heute retweetete sie diesen Tweet mit dem Ergebnis.

Ich habe dann in einem Thread bei Twitter kritisiert, was das Problematische an dieser Umfrage ist.

Es begint damit, dass die Auswahl der Befragten nicht repräsentativ ist. Der Handelsblatt-Leser bzw. dessen Twitter-Follower entspricht in keiner Weise dem Durchschnitt der Bevölkerung. Dass sich Handelsblatt-Follower besonders für einen wirtschaftsfreundlichen Kandidaten wie Friedrich Merz einsetzen, verwundert auch nicht.

Außerdem nimmt nur teil, wer will. Die Zufallsauswahl ist also nicht gegeben. In der Regel engagieren sich vor allem ausdrückliche Gegner oder Befürworter einer Position.

Dass die Zahl der Nutzer exakt angegeben wird (1.061) soll offenbar Repräsentativität vortäuschen, für die ja i.d.R. rund tausend Leute befragt werden. Das heißt in diesem Zusammenhang aber auch nichts.

Außerdem weist das Handelsblatt nicht darauf hin, dass diese Umfrage nicht repräsentativ ist. Der Pressekodex schreibt in Ziffer 2.1 aber vor, welche Metadaten dazu geliefert werden müssen:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.

Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.

Das gilt ausdrücklich auch für Online-Umfragen, hat der Presserat im März entschieden (Pressemitteilung vom 22. März 2018):

Nicht-repräsentative Online-Umfragen müssen als solche gekennzeichnet sein. Das Plenum des Deutschen Presserats hat entschieden, dass derartige Votings ohne entsprechende Kennzeichnung die im Pressekodex definierte journalistische Sorgfaltspflicht verletzen.

Das Handelsblatt hat auf meine Kritik reagiert.

Die ursprüngliche Umfrage ist allerdings weiterhin online. Und das eigentliche Problem bleibt. Schon die Umfrage ist unseriös, sie würde nicht seriöser, würde die Redaktion dazuschreiben, dass sie nicht repräsentativ ist. Denn eine nicht repräsentative Umfrage hat praktisch keine Aussagekraft.

So bastelt man sich das gewünschte Umfrageergebnis

Stellen Sie sich vor, Sie wollen gute Nachrichten verkünden, arbeiten aber in einer Branche, in der das etwas schwierig ist. Sagen wir mal, in der Atomwirtschaft. Oder in der Dieselbranche. Oder bei einem Zeitungsverlag.

Wenn sie für den gute Zukunftsaussichten verkünden wollen, können sie Print natürlich in einer Pressemitteilung in hohen Tönen loben. Aber dass der Verlag sich selbst gut findet und will, dass das auch in Zukunft so ist, ist natürlich keine Nachricht. Also fragen Sie doch einfach ein paar Leute, was die so glauben. Eine Umfrage macht sich immer gut, klingt wissenschaftlich (wenn sie von einem sogenannte Umfrageinstitut kommt – schon der Name!) und ist leicht zu verdauender Content, den auch Nachrichtenagenturen gerne aufgreifen.

Jetzt überlegen Sie, was Sie fragen wollen. Sagen wir mal: Kaufen Sie Zeitungen? Nee, das ist blöd, das kann man ja an Auflagen und Verkaufszahlen feststellen. Dann besser: Kaufen Sie in zehn Jahren noch gerne Zeitungen? Nee, auch nicht gut, das will und kann heute sicher keiner sagen. Das Ergebnis stünde uns dann wohl nicht so gut zu Gesicht. Dann so: Haben Zeitungen Zukunft? Oder etwas plakativer: Sind Printmedien in zehn Jahren tot? Und das lassen wir dann bewerten.

Das hat den Vorteil, dass die Leute Prognosen abgeben müssen, obwohl sie keinerlei Kenntnis des Marktes haben – das kann nur gut für uns sein. Und sie müssen die Zeitung nicht mal selber kaufen – es reicht, dass sie glauben, das genug andere das tun. Sehr gut, das nehmen wir.

Ein Blick in die Glaskugel

Und als Antwortmöglichkeiten? „Weiß nicht“ ist blöd, das würden zu viele sagen, das lassen wir mal weg. „Ja“ und „Nein“ ist vielleicht etwas simpel, zumal die Leute ja nicht vom Fach sind – am Ende legen sie sich auf das falsche fest. Also nehmen wir

  • trifft voll und ganz zu
  • trifft eher zu
  • trifft eher nicht zu
  • trifft ganz und gar nicht zu.

Dann können wir am Ende jeweils zwei Blocks zusammenrechnen und kriegen trotzdem unser Ja oder Nein. Sehr gut. Dann also mal los.

Keine Ahnung, ob sich „Next Media Hamburg“, die „Standortinitiative der Hamburger Digital- und Medienwirtschaft“, ihre Umfrage so ausgedacht hat. Sie hat aber Statista für sie danach fragen lassen- mit diesem Ergebnis:

Bewerten Sie folgende Aussage: Printmedien sind in zehn Jahren tot.

  • 42 %: Trifft eher nicht zu
  • 15 %: Trifft ganz und gar nicht zu
  • 9 %: Trifft voll und ganz zu
  • 34 %: Trifft eher zu

Sieht also ganz gut aus für die Zeitungen. Zusammengerechnet 57 Prozent sagen, dass es ihn zehn Jahren eher noch Printmedien gibt. Ist natürlich eine unqualifizierte Prognose von Fachfremden. Und weil die ja nicht mal sagen mussten, ob sie selbst in zehn Jahren noch Zeitungen kaufen, fällt sie auch nicht so schlecht aus.

Und dann ist das Gute ja auch, dass man diese Zahlen auch noch gewagt interpretieren kann. Next Media schreibt nämlich:

Mehr als die Hälfte der Deutschen hält an Print-Produkten wie der Tageszeitung fest!

Nach Festhalten wurde natürlich nicht gefragt. Gefragt wurde lediglich, ob die Leute glauben, dass es sie in zehn Jahren noch gibt. Das heißt aber nicht, dass sie selbst sie in zehn Jahren noch kaufen werden.

Mehr als eine Behauptung ist diese Interpretation also nicht. Lustigerweise schreibt Nextmedia selbst:

Behauptet ist vieles ganz schnell. Dass Print tot ist, zum Beispiel. Dass dem nicht so ist, zeigt die repräsentative Studie, die Statista im Auftrag von nextMedia.Hamburg durchgeführt hat.

Nö, zeigt sie nicht. Aber wenn man so eine Botschaft brauchen würde, könnte man sie sich ja bestellen.