Zielgenauere Umfrage macht Kramp-Karrenbauer zur Favoritin (zumindest vorübergehend)

Seit Angela Merkel ihren Rückzug als CDU-Chefin angekündigt hat und drei prominenten Kandidaten für ihre Nachfolge  bereitstehen, hat es mehrere Umfragen gegeben, wen „die Bürger“ als Nachfolger bevorzugen. Am Anfang war es oft Friedrich Merz, wahrscheinlich, weil ihn noch niemand kannte – im Gegensatz zu Annegret Kramp-Karrenbauer und Jens Spahn. Einige Umfragen widersprachen sich auch. Seitdem haben sich die Mehrheiten – wie erwartet – auch wieder verändert, was die ursprünglichen Umfragen etwas sinnlos erscheinen lässt.

Wer den Posten wirklich bekommt, konnte man aus den Daten ohnehin nicht schließen. Denn die Entscheidung treffen nicht die deutschen Wähler, nicht mal die CDU-Mitglieder, sondern lediglich 1.001 CDU-Delegierte beim Parteitag. Welche Präferenz soll man also aus solcherlei Umfragedaten ablesen können?

Für den ARD-Deutschlandtrend hat der WDR jetzt Infratest Dimap zum ersten Mal nicht „die Bürger“ befragen lassen, sondern nur CDU-Anhänger. Mal davon abgesehen, dass das eine Selbstbezeichnung der Befragten ist, die sich nicht überprüfen lässt* (es wurden nicht mal CDU-Wähler befragt, sondern lediglich Anhänger), kommt das der möglichen Stimmung innerhalb der Partei aber sicherlich schon näher. Und siehe da: Der angebliche Vorsprung von Merz ist gleich dahin.

Den Zahlen zufolge sind 46 Prozent für Kramp-Karrenbauer, 31 für Merz und 12 Prozent für Spahn. Die Frage ist nur, wieviele Leute dabei befragt wurden. Dem Umfragedesign zufolge wurden 1.006 Leute befragt. Wie viele davon ihre Parteipräferenz für die CDU ausgedrückt haben, ist unklar. Wenn es etwa die 26 Prozent sind, die sich bei der Sonntagsfrage zur Union (also auch zur CSU) bekannt haben, waren es höchstens rund 260 Befragte. Also auch das höchstens ein Stimmungbild ohne Anspruch auf Wahrhaftigkeit.

 

* Das ist natürlich ein gängiges Problem bei der Meinungsforschung.

 

Offenlegung: Ich arbeite als freier Mitarbeiter für den WDR.

Sinnlose Umfragen zum CDU-Vorsitz – die Fortsetzung

Es war ja zu erwarten. Für den Deutschlandfunk habe ich noch vor zwei Wochen über den Umfrage-Hype für Friedrich Merz, der CDU-Vorsitzender werden will, geschrieben:

Die Werte halten ohnehin nicht lang. Sie sind höchstens ein Blitzlicht, die die Thesen des Tages stützen, und werden sich verändern. Denn die Kandidaten werden sich öffentlich zu ihren Plänen äußern. Je mehr die Bürger über sie erfahren, desto stärker kann sich ihre Wahrnehmung ändern. Von Friedrich Merz haben die meisten seit über einem Jahrzehnt nichts mehr gehört. Dass sich im Moment also Mehrheiten für ihn aussprechen, kann auch bloß daran liegen, dass er ihnen nicht negativ aufgefallen ist.

Und schon ist es soweit: In einer neuen Umfrage liegt nicht mehr Merz vorne, sondern Annegret Kramp-Karrenbauer. Die FAZ schreibt dazu den absurden Satz:

32 Prozent der Befragten würden die CDU-Generalsekretärin zur Nachfolgerin von Angela Merkel wählen, berichtete die „Bild am Sonntag“ unter Berufung auf eine Umfrage des Emnid-Instituts.

Ja, und 98 Prozent „der Deutschen“ würden Micky Maus zum US-Präsidenten wählen. Dummerweise tritt weder Micky an noch dürfen die Deutschen den US-Präsidenten wählen. Aber man kann ja einfach mal fragen, auch wenn die Befragten überhaupt nicht wahlberechtigt sind – das sind nämlich nur die 1.001 CDU-Delegierten beim Parteitag.

Deswegen sagt es überhaupt nichts über die Chancen der Kandidaten aus, wie eine Gruppe von Befragten sie sieht, die überhaupt nicht wahlberechtigt ist. Und dass solche Umfragen uns als Bürger keinerlei Gefühl dafür geben können, wer Favorit bei den CDU-Mitgliedern ist, geschweige denn bei den CDU-Delegierten.

Nur ein Gedankenspiel: Wen würden denn, sagen wir mal, die Wähler der Linkspartei gerne als CDU-Chef sehen? Doch nicht unbedingt jemanden, den sie für fähig halten, ein guter CDU-Chef und möglicherweise auch Kanzler zu werden? Sondern doch eher jemanden, der ihnen als Linkspartei möglichst viele Wähler zutreibt.

Wieso sollte also so jemand einen Kandidaten nennen, den er gut findet – nennt er nicht vielmehr jemanden, den er für seine Partei für möglichst ungefährlich hält? Das zeigt, wie wichtig es ist, dass man die Gruppe der Befragten sinnvoll wählt. Ich frage ja auch nicht eine Gruppe von 1.000 Nichtrauchern nach ihren Lieblingszigaretten.

Es wird nicht die letzte Umfrage zum Thema CDU-Vorsitz gewesen sein. Und am Ende heulen dann wieder Journalisten, dass sie den Ausgang der Wahl nicht haben kommen sehen – so wie schon bei der von Ralph Brinkhaus zum CDU-Fraktionsvorsitzenden. Warum gab es dazu eigentlich keine Umfragen?

Merkwürdige Mehrheiten für Merz

Schon kurz nachdem Angela Merkel ihren Rückzug als CDU-Chefin ankündigte, schrieben viele Medien über den Kandidaten Friedrich Merz – noch bevor er überhaupt seine Bewerbung für den Parteivorsitz bestätigte. Umfragen sollen das öffentliche Interesse am Politiker belegen – doch es fehlt an Aussagekraft. Ich hab das noch mal für @mediasres im Deutschlandfunk aufgeschrieben.

Außerdem gab es in der Sendung danach ein sehr hörenswertes Interview mit dem Tübinger Medienwissenschaftler Bernhard Pörksen. Er sieht in der Debatte um die CDU-Führung eine Neigung zum Hype und zur Personalisierung. Einzelne Politiker würden „zu Erlösergestalten hochgeschrieben“, sagte er. Hier offenbare sich ein Sinnvakuum der gesellschaftlichen Mitte.

Handelsblatt reagiert auf Kritik an nichtssagender Umfrage

Der Quatsch mit Umfragen hält an. Heute war es das Handelsblatt auf Twitter, das eine Umfrage als seriösen Inhalt angepriesen hat. Gestern hatte die Redaktion diese Abstimmung gestartet:

Heute retweetete sie diesen Tweet mit dem Ergebnis.

Ich habe dann in einem Thread bei Twitter kritisiert, was das Problematische an dieser Umfrage ist.

Es begint damit, dass die Auswahl der Befragten nicht repräsentativ ist. Der Handelsblatt-Leser bzw. dessen Twitter-Follower entspricht in keiner Weise dem Durchschnitt der Bevölkerung. Dass sich Handelsblatt-Follower besonders für einen wirtschaftsfreundlichen Kandidaten wie Friedrich Merz einsetzen, verwundert auch nicht.

Außerdem nimmt nur teil, wer will. Die Zufallsauswahl ist also nicht gegeben. In der Regel engagieren sich vor allem ausdrückliche Gegner oder Befürworter einer Position.

Dass die Zahl der Nutzer exakt angegeben wird (1.061) soll offenbar Repräsentativität vortäuschen, für die ja i.d.R. rund tausend Leute befragt werden. Das heißt in diesem Zusammenhang aber auch nichts.

Außerdem weist das Handelsblatt nicht darauf hin, dass diese Umfrage nicht repräsentativ ist. Der Pressekodex schreibt in Ziffer 2.1 aber vor, welche Metadaten dazu geliefert werden müssen:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.

Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.

Das gilt ausdrücklich auch für Online-Umfragen, hat der Presserat im März entschieden (Pressemitteilung vom 22. März 2018):

Nicht-repräsentative Online-Umfragen müssen als solche gekennzeichnet sein. Das Plenum des Deutschen Presserats hat entschieden, dass derartige Votings ohne entsprechende Kennzeichnung die im Pressekodex definierte journalistische Sorgfaltspflicht verletzen.

Das Handelsblatt hat auf meine Kritik reagiert.

Die ursprüngliche Umfrage ist allerdings weiterhin online. Und das eigentliche Problem bleibt. Schon die Umfrage ist unseriös, sie würde nicht seriöser, würde die Redaktion dazuschreiben, dass sie nicht repräsentativ ist. Denn eine nicht repräsentative Umfrage hat praktisch keine Aussagekraft.

So bastelt man sich das gewünschte Umfrageergebnis

Stellen Sie sich vor, Sie wollen gute Nachrichten verkünden, arbeiten aber in einer Branche, in der das etwas schwierig ist. Sagen wir mal, in der Atomwirtschaft. Oder in der Dieselbranche. Oder bei einem Zeitungsverlag.

Wenn sie für den gute Zukunftsaussichten verkünden wollen, können sie Print natürlich in einer Pressemitteilung in hohen Tönen loben. Aber dass der Verlag sich selbst gut findet und will, dass das auch in Zukunft so ist, ist natürlich keine Nachricht. Also fragen Sie doch einfach ein paar Leute, was die so glauben. Eine Umfrage macht sich immer gut, klingt wissenschaftlich (wenn sie von einem sogenannte Umfrageinstitut kommt – schon der Name!) und ist leicht zu verdauender Content, den auch Nachrichtenagenturen gerne aufgreifen.

Jetzt überlegen Sie, was Sie fragen wollen. Sagen wir mal: Kaufen Sie Zeitungen? Nee, das ist blöd, das kann man ja an Auflagen und Verkaufszahlen feststellen. Dann besser: Kaufen Sie in zehn Jahren noch gerne Zeitungen? Nee, auch nicht gut, das will und kann heute sicher keiner sagen. Das Ergebnis stünde uns dann wohl nicht so gut zu Gesicht. Dann so: Haben Zeitungen Zukunft? Oder etwas plakativer: Sind Printmedien in zehn Jahren tot? Und das lassen wir dann bewerten.

Das hat den Vorteil, dass die Leute Prognosen abgeben müssen, obwohl sie keinerlei Kenntnis des Marktes haben – das kann nur gut für uns sein. Und sie müssen die Zeitung nicht mal selber kaufen – es reicht, dass sie glauben, das genug andere das tun. Sehr gut, das nehmen wir.

Ein Blick in die Glaskugel

Und als Antwortmöglichkeiten? „Weiß nicht“ ist blöd, das würden zu viele sagen, das lassen wir mal weg. „Ja“ und „Nein“ ist vielleicht etwas simpel, zumal die Leute ja nicht vom Fach sind – am Ende legen sie sich auf das falsche fest. Also nehmen wir

  • trifft voll und ganz zu
  • trifft eher zu
  • trifft eher nicht zu
  • trifft ganz und gar nicht zu.

Dann können wir am Ende jeweils zwei Blocks zusammenrechnen und kriegen trotzdem unser Ja oder Nein. Sehr gut. Dann also mal los.

Keine Ahnung, ob sich „Next Media Hamburg“, die „Standortinitiative der Hamburger Digital- und Medienwirtschaft“, ihre Umfrage so ausgedacht hat. Sie hat aber Statista für sie danach fragen lassen- mit diesem Ergebnis:

Bewerten Sie folgende Aussage: Printmedien sind in zehn Jahren tot.

  • 42 %: Trifft eher nicht zu
  • 15 %: Trifft ganz und gar nicht zu
  • 9 %: Trifft voll und ganz zu
  • 34 %: Trifft eher zu

Sieht also ganz gut aus für die Zeitungen. Zusammengerechnet 57 Prozent sagen, dass es ihn zehn Jahren eher noch Printmedien gibt. Ist natürlich eine unqualifizierte Prognose von Fachfremden. Und weil die ja nicht mal sagen mussten, ob sie selbst in zehn Jahren noch Zeitungen kaufen, fällt sie auch nicht so schlecht aus.

Und dann ist das Gute ja auch, dass man diese Zahlen auch noch gewagt interpretieren kann. Next Media schreibt nämlich:

Mehr als die Hälfte der Deutschen hält an Print-Produkten wie der Tageszeitung fest!

Nach Festhalten wurde natürlich nicht gefragt. Gefragt wurde lediglich, ob die Leute glauben, dass es sie in zehn Jahren noch gibt. Das heißt aber nicht, dass sie selbst sie in zehn Jahren noch kaufen werden.

Mehr als eine Behauptung ist diese Interpretation also nicht. Lustigerweise schreibt Nextmedia selbst:

Behauptet ist vieles ganz schnell. Dass Print tot ist, zum Beispiel. Dass dem nicht so ist, zeigt die repräsentative Studie, die Statista im Auftrag von nextMedia.Hamburg durchgeführt hat.

Nö, zeigt sie nicht. Aber wenn man so eine Botschaft brauchen würde, könnte man sie sich ja bestellen.

„Sie haben eine differenzierte Meinung“ – wäre bloß die Frage nicht so undifferenziert

Hier mal wieder ein Beispiel dafür, dass viele Umfragen im Netz nicht sonderlich zielführend sind. t-online.de fragt – eingebunden in einen Beitrag über die Leistungen der öffentlich-rechtlichen Sender – danach, ob der Rundfunkbeitrag erhöht werden sollte.

(Screenshot: https://www.t-online.de/digital/id_84136290/hoerspiele-orchester-co-das-steckt-alles-in-17-50-euro-rundfunkbeitrag.html)

Darauf könnte man zwei einfache Antwortmöglichkeiten geben: Ja und Nein. Das wäre sauber gewesen. Stattdessen wird diesen Antwortmöglichkeiten aber jeweils noch eine Begründung beigefügt, die vielen das Antworten unmöglich machen dürfte. Denn ich könnte durchaus Ja oder Nein sagen wollen, aber jeweils mit einer anderen Begründung.

Nur mal als Beispiel: Hinter Nein könnten sich mindestens diese drei Deutungen verstecken:

  1. Nein, er ist jetzt schon zu hoch.
  2. Nein, er sollte gesenkt werden.
  3. Nein, er ist angemessen.

Stattdessen hat sich die Redaktion nur für eine Option entschieden, die ich aber gar nicht teilen muss. Auch für Ja gäbe es sicher mehr Auswahlmöglichkeiten.

Nun ist die Umfrage eingebunden in einen Artikel über die Leistungen des öffentlich-rechtlichen Rundfunks, plattes Bashing vermute ich dahinter nicht – und eine Beeinflussung in Richtung Nein kann man dem Artikel auch nicht entnehmen. Die Umfrage zeigt aber mal wieder exemplarisch, welche begrenzte Aussagekraft diese spezielle Form hat – und dass es den Machern nicht (immer) um seriöse Ergebnisse geht.

Lustig ist, dass man nach dem Abstimmen das automatische Lob bekommt, man habe eine differenzierte Meinung. Wo doch die Frage so undifferenziert ist.

Viele Politiker nehmen (bei Twitter) Umfrageunternehmen wichtiger als große Konzerne

Soziale Netzwerke werden für Politiker immer wichtiger. Inzwischen haben 73 Prozent der Bundestagsabgeordneten einen eigenen Twitter-Account, haben Rainer Faus und Leonie Schulz von der Agentur pollytix strategic research zusammengestellt. In einem Gastbeitrag für den Hamburger Wahlbeobachter haben sie analysiert, wie sich die Abgeordneten auf Twitter informieren, das bedeutet vor allem: wem sie folgen.

Besonders interessant finde ich, welches die meistgefolgten Unternehmen sind. Und das sind nicht etwa die größten Konzerne Deutschlands, die zum Beispiel in Sachen Arbeitsplätze wichtig sind oder politisch großen Einfluss nehmen wie etwa Mercedes, Volkswagen oder Siemens. Unter den Top10 sind gleich drei Unternehmen, die Zahlen aus Meinungs- und Wahlforschung präsentieren, nämlich Infratest Dimap, Pollytix und YouGov.

Die Aussagekraft dieser Zahlen ist natürlich begrenzt, aber die starke Präsenz von Meinungsforschungsunternehmen zeigt, wie wichtig Politiker diese offensichtlich nehmen. Und das trotz all der methodischen Probleme, die solche Umfragen mit sich bringen.

tagesschau.de feiert Rekorde, die es (wahrscheinlich) nicht gibt

Und schon wieder werden Zahlen missbraucht, um neue Rekorde zu bejubeln. So macht es die Tagesschau, die über eine vom WDR bei Infratest Dimap in Auftrag gegebene Umfrage schreibt:

Beide Rekorde halten jedoch einer genaueren Prüfung nicht stand.

Umfrageergebnisse sind immer mit statistischen Unsicherheiten verbunden. Wenn in der Sonntagsfrage danach gefragt wird, welche Partei man wählen würde, wenn am nächsten Sonntag Bundestagswahlen wäre, befragt man nicht alle Wähler, sondern nur rund tausend (hier waren es 1.008) und rechnet das dann hoch. Weil eine solche Hochrechnung aber nicht eindeutig und zuverlässig funktioniert, bekommt man beim Endergebnis Unsicherheiten. Bei einem Wert von fünf Prozent für eine Partei beträgt die mögliche Abweichung 1,4 Prozentpunkte, bei einem Wet von 50 Prozent 3,1 Prozentpunkte.

Wenn also der Wert von CDU/CSU mit 29 Prozent angegeben wird, liegt er nur zufällig dort, viel wahrscheinlicher aber in einer Spannbreite von etwa 27 bis 31 Prozent. Bei der letzten Umfrage sah Infratest Dimap CDU/CSU noch bei 30 Prozent, was einer Spanne von etwa 28 bis 32 Prozent entspricht. Es ist also unseriös, von einer tatsächlichen Veränderung des CDU/CSU-Werts von 30 auf 29 und von einem neuen Rekordtief zu sprechen. Denn möglich wäre auch ein Plus: Wenn die Parteien bei der letzten Umfrage schon bei 28 Prozent lagen und jetzt auf 31 Prozent raufgegangen sind. Man kann es einfach nicht genau sagen.

Ähnlich verhält es sich mit dem Wert für die AfD. Statt 17 Prozent bewegt  er sich viel wahrscheinlicher in einem Bereich zwischen 15,5 und 18,5 Prozent. Auch hier ist statt einer Steigerung von 16 auf 17 Prozent vom letzten mal die umgekehrte Bewegung möglich: zum Beispiel von 18 auf 16 Prozent.

Ein Prozentpunkt Veränderung ist also statistisch überhaupt nicht relevant, bei höheren Werten sind es nicht mal drei Prozentpunkte. Eine größere Veränderung zwischen zwei Umfragen gibt es aber selten, so dass man von Umfrage zu Umfrage fast nie eine verlässliche Aussage treffen kann. Allenfalls über längere Zeiträume lassen sich Trends ausmachen. Aus denen lassen sich aber keine guten Schlagzeilen stricken, wie es jetzt tagesschau.de getan hat.

Und beim Kommentieren, wie es BR-Chefredakteur Christian Nitsche es getan hat, sollte man sich zurückhalten. Zwar nimmt er tatsächlich auch den längeren Trend in den Blick, hebt aber unnötigerweise auch die aktuellen Werte hervor:

Nach der Bundestagswahl sind diese Umfragewerte die bislang schallendste Ohrfeige für die Bundesregierung. Sie hat aktuell nicht einmal mehr die Hälfte der Bürger hinter sich. Die SPD hat mit weiter 18 Prozent den Volksparteistatus auf nicht absehbare Zeit eingebüßt. Die Union schrumpft unter die absolute Schmerzgrenze von 30 Prozent.

Übrigens: Dass die Werte nicht schwankungsfrei sind, schreibt tagesschau.de sogar selbst am Ende des Textes. Dort heißt es:

Die Ergebnisse sind auf ganze Prozentwerte gerundet, um falsche Erwartungen an die Präzision zu vermeiden. Denn für alle repräsentativen Befragungen müssen Schwankungsbreiten berücksichtigt werden. Diese betragen im Falle eine Erhebung mit 1000 Befragten bei großen Parteien rund drei Prozentpunkte, bei kleineren Parteien etwa einen Punkt. Hinzu kommt, dass der Rundungsfehler für kleine Parteien erheblich ist. Aus diesen Gründen wird deshalb keine Partei unter drei Prozent in der Sonntagsfrage ausgewiesen.

Aber vermutlich geht es den Journalisten wie vielen Lesern: Die kommentieren ja auch, bevor sie den ganzen Artikel gelesen haben.

Fahren Schwangere schlechter Auto? PR-Tricks mit Daten und Statistiken

Jede Woche werden Dutzende unsinnige Umfragen und sogenannte Studien veröffentlicht. Meistens von Interessenverbänden und Firmen, leider zu oft auch von Medien, die die Daten und oft auch den Spin übernehmen.

Leider stimmt vieles davon nicht. Weil die Umfragen so formuliert sind, dass ihre Ergebnisse nicht das aussagen, was in sie hineininterpretiert wird zum Beispiel. Oder weil Zusammenhänge hergestellt werden, die die Daten gar nicht hergeben.

Ich beschäftige mich hier im Blog ja immer wieder vor allem mit Fehlern in der Demoskopie. Wer noch mal eine grundsätzliche Einführung in das Thema bekommen möchte, dem empfehle ich den Vortrag von Spiegel-online-Datenjournalist Philipp Seibst und Statistikprofessor Björn Christensen von der Uni Kiel, den sie beim Jahrestreffen des Netzwerks Recherche gehalten haben.

Darin legen sie nicht nur offen, wie absurd manche Umfragen und Studien sind, sondern haben auch jede Menge unterhaltsamer Beispiele parat, über die man – wenn man sie dann verstanden hat – nur noch lachen kann. Sie beantworten zum Beispiel die Frage, ob Schwangere wirklich schlechter Auto fahren (oder versuchen es zumindest).