Presserat billigt Civey-Umfrage

Jeden Tag erscheinen in Medien neue Umfragen – erstellt von klassischen Meinungsforschern und neuen Konkurrenten aus dem Netz. Aber müssen Redaktionen prüfen, wie deren Ergebnisse zustandekommen? Der Presserat hat sich im Falle einer Umfrage des Anbieters Civey nun dagegen entschieden. In meinem Beitrag für @mediasres im Deutschlandfunk habe ich die Entscheidung und den Fall noch mal kurz zusammengefasst.

Presserat sieht in Verwendung von Civey-Umfragen keinen Verstoß gegen den Pressekodex

Gestern habe ich für den Deutschlandfunk über die Beschwerde (mittelbar) gegen Civey vor dem Presserat berichtet. Es ging um die Frage, ob Focus online nach den Regeln des Pressekodex eine Civey-Umfrage als repräsentativ bezeichnen durfte. Jetzt hat der Beschwerdeausschuss entschieden (PDF): Civey-Umfragen dürfen von Redaktionen verwendet werden. Die Begründung dafür ist bemerkenswert:

Aus Sicht des Presserats gab es für die Redaktion keinen Anlass, an der Seriosität ihres Kooperationspartners Civey zu zweifeln. So lagen beispielsweise weder Wettbewerbsklagen noch Maßnahmen der Selbstkontrolle der Markt- und Sozialforschung vor. Vor diesem Hintergrund durfte die Redaktion der Aussagekraft der Ergebnisse vertrauen. Eine eigene wissenschaftliche Prüfung der Umfragemethodik von Civey ist der Redaktion hier nicht abzuverlangen.
Tatsächlich sind Forsa, Infas und die Forschungsgruppe Wahlen, die die Beschwerde angestrengt hatten, nicht beim zuständigen Rat der Deutschen Meinungs- und Sozialforschung gegen die Umfrage vorgegangen, sondern haben sich mit dem Presserat einen Nebenkriegsschauplatz gewählt. Auf diesem Schauplatz haben sie jetzt eine Niederlage erlitten. Mit anderen Worten: Hätten sie sich erst an den Rat der Meinungs- und Sozialforschung gewandt und wären dort erfolgreich gewesen, hätte der Presserat wohl auch ihrer Beschwerde stattgegeben.

Methodenstreit der Meinungsforschung: Was ist repräsentativ?

Die Zahl der Politik-Umfragen nimmt stetig zu – die Nachfrage von Medien und Politik ebenfalls. Doch die klassischen Meinungsforscher wehren sich gegen die wachsende Konkurrenz aus dem Netz: Die Methoden der Online-Umfrageinstitute seien nicht seriös – es werde teils gefährlich Stimmung gemacht. Jetzt ist der Streit vor dem Presserat.

Dort haben sich die klassischen Meinungsforschungsinstitute Forsa, Infas und die Forschungsgruppe Wahlen gegen eine Umfrage von „Focus online“ beschwert, die das Berliner Startup Civey erstellt hat. Heute wird vor dem Presserat verhandelt.

Worum es geht, habe ich gestern in der Deutschlandfunk-Sendung „Hintergrund“ erklärt.

Zielgenauere Umfrage macht Kramp-Karrenbauer zur Favoritin (zumindest vorübergehend)

Seit Angela Merkel ihren Rückzug als CDU-Chefin angekündigt hat und drei prominenten Kandidaten für ihre Nachfolge  bereitstehen, hat es mehrere Umfragen gegeben, wen „die Bürger“ als Nachfolger bevorzugen. Am Anfang war es oft Friedrich Merz, wahrscheinlich, weil ihn noch niemand kannte – im Gegensatz zu Annegret Kramp-Karrenbauer und Jens Spahn. Einige Umfragen widersprachen sich auch. Seitdem haben sich die Mehrheiten – wie erwartet – auch wieder verändert, was die ursprünglichen Umfragen etwas sinnlos erscheinen lässt.

Wer den Posten wirklich bekommt, konnte man aus den Daten ohnehin nicht schließen. Denn die Entscheidung treffen nicht die deutschen Wähler, nicht mal die CDU-Mitglieder, sondern lediglich 1.001 CDU-Delegierte beim Parteitag. Welche Präferenz soll man also aus solcherlei Umfragedaten ablesen können?

Für den ARD-Deutschlandtrend hat der WDR jetzt Infratest Dimap zum ersten Mal nicht „die Bürger“ befragen lassen, sondern nur CDU-Anhänger. Mal davon abgesehen, dass das eine Selbstbezeichnung der Befragten ist, die sich nicht überprüfen lässt* (es wurden nicht mal CDU-Wähler befragt, sondern lediglich Anhänger), kommt das der möglichen Stimmung innerhalb der Partei aber sicherlich schon näher. Und siehe da: Der angebliche Vorsprung von Merz ist gleich dahin.

Den Zahlen zufolge sind 46 Prozent für Kramp-Karrenbauer, 31 für Merz und 12 Prozent für Spahn. Die Frage ist nur, wieviele Leute dabei befragt wurden. Dem Umfragedesign zufolge wurden 1.006 Leute befragt. Wie viele davon ihre Parteipräferenz für die CDU ausgedrückt haben, ist unklar. Wenn es etwa die 26 Prozent sind, die sich bei der Sonntagsfrage zur Union (also auch zur CSU) bekannt haben, waren es höchstens rund 260 Befragte. Also auch das höchstens ein Stimmungbild ohne Anspruch auf Wahrhaftigkeit.

 

* Das ist natürlich ein gängiges Problem bei der Meinungsforschung.

 

Offenlegung: Ich arbeite als freier Mitarbeiter für den WDR.

Sinnlose Umfragen zum CDU-Vorsitz – die Fortsetzung

Es war ja zu erwarten. Für den Deutschlandfunk habe ich noch vor zwei Wochen über den Umfrage-Hype für Friedrich Merz, der CDU-Vorsitzender werden will, geschrieben:

Die Werte halten ohnehin nicht lang. Sie sind höchstens ein Blitzlicht, die die Thesen des Tages stützen, und werden sich verändern. Denn die Kandidaten werden sich öffentlich zu ihren Plänen äußern. Je mehr die Bürger über sie erfahren, desto stärker kann sich ihre Wahrnehmung ändern. Von Friedrich Merz haben die meisten seit über einem Jahrzehnt nichts mehr gehört. Dass sich im Moment also Mehrheiten für ihn aussprechen, kann auch bloß daran liegen, dass er ihnen nicht negativ aufgefallen ist.

Und schon ist es soweit: In einer neuen Umfrage liegt nicht mehr Merz vorne, sondern Annegret Kramp-Karrenbauer. Die FAZ schreibt dazu den absurden Satz:

32 Prozent der Befragten würden die CDU-Generalsekretärin zur Nachfolgerin von Angela Merkel wählen, berichtete die „Bild am Sonntag“ unter Berufung auf eine Umfrage des Emnid-Instituts.

Ja, und 98 Prozent „der Deutschen“ würden Micky Maus zum US-Präsidenten wählen. Dummerweise tritt weder Micky an noch dürfen die Deutschen den US-Präsidenten wählen. Aber man kann ja einfach mal fragen, auch wenn die Befragten überhaupt nicht wahlberechtigt sind – das sind nämlich nur die 1.001 CDU-Delegierten beim Parteitag.

Deswegen sagt es überhaupt nichts über die Chancen der Kandidaten aus, wie eine Gruppe von Befragten sie sieht, die überhaupt nicht wahlberechtigt ist. Und dass solche Umfragen uns als Bürger keinerlei Gefühl dafür geben können, wer Favorit bei den CDU-Mitgliedern ist, geschweige denn bei den CDU-Delegierten.

Nur ein Gedankenspiel: Wen würden denn, sagen wir mal, die Wähler der Linkspartei gerne als CDU-Chef sehen? Doch nicht unbedingt jemanden, den sie für fähig halten, ein guter CDU-Chef und möglicherweise auch Kanzler zu werden? Sondern doch eher jemanden, der ihnen als Linkspartei möglichst viele Wähler zutreibt.

Wieso sollte also so jemand einen Kandidaten nennen, den er gut findet – nennt er nicht vielmehr jemanden, den er für seine Partei für möglichst ungefährlich hält? Das zeigt, wie wichtig es ist, dass man die Gruppe der Befragten sinnvoll wählt. Ich frage ja auch nicht eine Gruppe von 1.000 Nichtrauchern nach ihren Lieblingszigaretten.

Es wird nicht die letzte Umfrage zum Thema CDU-Vorsitz gewesen sein. Und am Ende heulen dann wieder Journalisten, dass sie den Ausgang der Wahl nicht haben kommen sehen – so wie schon bei der von Ralph Brinkhaus zum CDU-Fraktionsvorsitzenden. Warum gab es dazu eigentlich keine Umfragen?

Merkwürdige Mehrheiten für Merz

Schon kurz nachdem Angela Merkel ihren Rückzug als CDU-Chefin ankündigte, schrieben viele Medien über den Kandidaten Friedrich Merz – noch bevor er überhaupt seine Bewerbung für den Parteivorsitz bestätigte. Umfragen sollen das öffentliche Interesse am Politiker belegen – doch es fehlt an Aussagekraft. Ich hab das noch mal für @mediasres im Deutschlandfunk aufgeschrieben.

Außerdem gab es in der Sendung danach ein sehr hörenswertes Interview mit dem Tübinger Medienwissenschaftler Bernhard Pörksen. Er sieht in der Debatte um die CDU-Führung eine Neigung zum Hype und zur Personalisierung. Einzelne Politiker würden „zu Erlösergestalten hochgeschrieben“, sagte er. Hier offenbare sich ein Sinnvakuum der gesellschaftlichen Mitte.

Handelsblatt reagiert auf Kritik an nichtssagender Umfrage

Der Quatsch mit Umfragen hält an. Heute war es das Handelsblatt auf Twitter, das eine Umfrage als seriösen Inhalt angepriesen hat. Gestern hatte die Redaktion diese Abstimmung gestartet:

Heute retweetete sie diesen Tweet mit dem Ergebnis.

Ich habe dann in einem Thread bei Twitter kritisiert, was das Problematische an dieser Umfrage ist.

Es begint damit, dass die Auswahl der Befragten nicht repräsentativ ist. Der Handelsblatt-Leser bzw. dessen Twitter-Follower entspricht in keiner Weise dem Durchschnitt der Bevölkerung. Dass sich Handelsblatt-Follower besonders für einen wirtschaftsfreundlichen Kandidaten wie Friedrich Merz einsetzen, verwundert auch nicht.

Außerdem nimmt nur teil, wer will. Die Zufallsauswahl ist also nicht gegeben. In der Regel engagieren sich vor allem ausdrückliche Gegner oder Befürworter einer Position.

Dass die Zahl der Nutzer exakt angegeben wird (1.061) soll offenbar Repräsentativität vortäuschen, für die ja i.d.R. rund tausend Leute befragt werden. Das heißt in diesem Zusammenhang aber auch nichts.

Außerdem weist das Handelsblatt nicht darauf hin, dass diese Umfrage nicht repräsentativ ist. Der Pressekodex schreibt in Ziffer 2.1 aber vor, welche Metadaten dazu geliefert werden müssen:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.

Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.

Das gilt ausdrücklich auch für Online-Umfragen, hat der Presserat im März entschieden (Pressemitteilung vom 22. März 2018):

Nicht-repräsentative Online-Umfragen müssen als solche gekennzeichnet sein. Das Plenum des Deutschen Presserats hat entschieden, dass derartige Votings ohne entsprechende Kennzeichnung die im Pressekodex definierte journalistische Sorgfaltspflicht verletzen.

Das Handelsblatt hat auf meine Kritik reagiert.

Die ursprüngliche Umfrage ist allerdings weiterhin online. Und das eigentliche Problem bleibt. Schon die Umfrage ist unseriös, sie würde nicht seriöser, würde die Redaktion dazuschreiben, dass sie nicht repräsentativ ist. Denn eine nicht repräsentative Umfrage hat praktisch keine Aussagekraft.

So bastelt man sich das gewünschte Umfrageergebnis

Stellen Sie sich vor, Sie wollen gute Nachrichten verkünden, arbeiten aber in einer Branche, in der das etwas schwierig ist. Sagen wir mal, in der Atomwirtschaft. Oder in der Dieselbranche. Oder bei einem Zeitungsverlag.

Wenn sie für den gute Zukunftsaussichten verkünden wollen, können sie Print natürlich in einer Pressemitteilung in hohen Tönen loben. Aber dass der Verlag sich selbst gut findet und will, dass das auch in Zukunft so ist, ist natürlich keine Nachricht. Also fragen Sie doch einfach ein paar Leute, was die so glauben. Eine Umfrage macht sich immer gut, klingt wissenschaftlich (wenn sie von einem sogenannte Umfrageinstitut kommt – schon der Name!) und ist leicht zu verdauender Content, den auch Nachrichtenagenturen gerne aufgreifen.

Jetzt überlegen Sie, was Sie fragen wollen. Sagen wir mal: Kaufen Sie Zeitungen? Nee, das ist blöd, das kann man ja an Auflagen und Verkaufszahlen feststellen. Dann besser: Kaufen Sie in zehn Jahren noch gerne Zeitungen? Nee, auch nicht gut, das will und kann heute sicher keiner sagen. Das Ergebnis stünde uns dann wohl nicht so gut zu Gesicht. Dann so: Haben Zeitungen Zukunft? Oder etwas plakativer: Sind Printmedien in zehn Jahren tot? Und das lassen wir dann bewerten.

Das hat den Vorteil, dass die Leute Prognosen abgeben müssen, obwohl sie keinerlei Kenntnis des Marktes haben – das kann nur gut für uns sein. Und sie müssen die Zeitung nicht mal selber kaufen – es reicht, dass sie glauben, das genug andere das tun. Sehr gut, das nehmen wir.

Ein Blick in die Glaskugel

Und als Antwortmöglichkeiten? „Weiß nicht“ ist blöd, das würden zu viele sagen, das lassen wir mal weg. „Ja“ und „Nein“ ist vielleicht etwas simpel, zumal die Leute ja nicht vom Fach sind – am Ende legen sie sich auf das falsche fest. Also nehmen wir

  • trifft voll und ganz zu
  • trifft eher zu
  • trifft eher nicht zu
  • trifft ganz und gar nicht zu.

Dann können wir am Ende jeweils zwei Blocks zusammenrechnen und kriegen trotzdem unser Ja oder Nein. Sehr gut. Dann also mal los.

Keine Ahnung, ob sich „Next Media Hamburg“, die „Standortinitiative der Hamburger Digital- und Medienwirtschaft“, ihre Umfrage so ausgedacht hat. Sie hat aber Statista für sie danach fragen lassen- mit diesem Ergebnis:

Bewerten Sie folgende Aussage: Printmedien sind in zehn Jahren tot.

  • 42 %: Trifft eher nicht zu
  • 15 %: Trifft ganz und gar nicht zu
  • 9 %: Trifft voll und ganz zu
  • 34 %: Trifft eher zu

Sieht also ganz gut aus für die Zeitungen. Zusammengerechnet 57 Prozent sagen, dass es ihn zehn Jahren eher noch Printmedien gibt. Ist natürlich eine unqualifizierte Prognose von Fachfremden. Und weil die ja nicht mal sagen mussten, ob sie selbst in zehn Jahren noch Zeitungen kaufen, fällt sie auch nicht so schlecht aus.

Und dann ist das Gute ja auch, dass man diese Zahlen auch noch gewagt interpretieren kann. Next Media schreibt nämlich:

Mehr als die Hälfte der Deutschen hält an Print-Produkten wie der Tageszeitung fest!

Nach Festhalten wurde natürlich nicht gefragt. Gefragt wurde lediglich, ob die Leute glauben, dass es sie in zehn Jahren noch gibt. Das heißt aber nicht, dass sie selbst sie in zehn Jahren noch kaufen werden.

Mehr als eine Behauptung ist diese Interpretation also nicht. Lustigerweise schreibt Nextmedia selbst:

Behauptet ist vieles ganz schnell. Dass Print tot ist, zum Beispiel. Dass dem nicht so ist, zeigt die repräsentative Studie, die Statista im Auftrag von nextMedia.Hamburg durchgeführt hat.

Nö, zeigt sie nicht. Aber wenn man so eine Botschaft brauchen würde, könnte man sie sich ja bestellen.

„Sie haben eine differenzierte Meinung“ – wäre bloß die Frage nicht so undifferenziert

Hier mal wieder ein Beispiel dafür, dass viele Umfragen im Netz nicht sonderlich zielführend sind. t-online.de fragt – eingebunden in einen Beitrag über die Leistungen der öffentlich-rechtlichen Sender – danach, ob der Rundfunkbeitrag erhöht werden sollte.

(Screenshot: https://www.t-online.de/digital/id_84136290/hoerspiele-orchester-co-das-steckt-alles-in-17-50-euro-rundfunkbeitrag.html)

Darauf könnte man zwei einfache Antwortmöglichkeiten geben: Ja und Nein. Das wäre sauber gewesen. Stattdessen wird diesen Antwortmöglichkeiten aber jeweils noch eine Begründung beigefügt, die vielen das Antworten unmöglich machen dürfte. Denn ich könnte durchaus Ja oder Nein sagen wollen, aber jeweils mit einer anderen Begründung.

Nur mal als Beispiel: Hinter Nein könnten sich mindestens diese drei Deutungen verstecken:

  1. Nein, er ist jetzt schon zu hoch.
  2. Nein, er sollte gesenkt werden.
  3. Nein, er ist angemessen.

Stattdessen hat sich die Redaktion nur für eine Option entschieden, die ich aber gar nicht teilen muss. Auch für Ja gäbe es sicher mehr Auswahlmöglichkeiten.

Nun ist die Umfrage eingebunden in einen Artikel über die Leistungen des öffentlich-rechtlichen Rundfunks, plattes Bashing vermute ich dahinter nicht – und eine Beeinflussung in Richtung Nein kann man dem Artikel auch nicht entnehmen. Die Umfrage zeigt aber mal wieder exemplarisch, welche begrenzte Aussagekraft diese spezielle Form hat – und dass es den Machern nicht (immer) um seriöse Ergebnisse geht.

Lustig ist, dass man nach dem Abstimmen das automatische Lob bekommt, man habe eine differenzierte Meinung. Wo doch die Frage so undifferenziert ist.

Viele Politiker nehmen (bei Twitter) Umfrageunternehmen wichtiger als große Konzerne

Soziale Netzwerke werden für Politiker immer wichtiger. Inzwischen haben 73 Prozent der Bundestagsabgeordneten einen eigenen Twitter-Account, haben Rainer Faus und Leonie Schulz von der Agentur pollytix strategic research zusammengestellt. In einem Gastbeitrag für den Hamburger Wahlbeobachter haben sie analysiert, wie sich die Abgeordneten auf Twitter informieren, das bedeutet vor allem: wem sie folgen.

Besonders interessant finde ich, welches die meistgefolgten Unternehmen sind. Und das sind nicht etwa die größten Konzerne Deutschlands, die zum Beispiel in Sachen Arbeitsplätze wichtig sind oder politisch großen Einfluss nehmen wie etwa Mercedes, Volkswagen oder Siemens. Unter den Top10 sind gleich drei Unternehmen, die Zahlen aus Meinungs- und Wahlforschung präsentieren, nämlich Infratest Dimap, Pollytix und YouGov.

Die Aussagekraft dieser Zahlen ist natürlich begrenzt, aber die starke Präsenz von Meinungsforschungsunternehmen zeigt, wie wichtig Politiker diese offensichtlich nehmen. Und das trotz all der methodischen Probleme, die solche Umfragen mit sich bringen.