Was Umfragen aussagen: ZEIT online ändert Berichterstattung

Wie aussagekräftig Umfragen sind, verstecken manche Journalisten bei der Berichterstattung darüber gerne mal. Schließlich könnte man den eigenen Bericht kaputtmachen, wenn man die tatsächliche Aussagekraft der Daten zu deutlich kennzeichnet. Darüber habe ich ganz allgemein neulich bereits für den Deutschlandfunk berichtet.

Einige Medien machen es seit ein paar Monaten trotzdem. Spiegel online und die Süddeutsche Zeitung online zum Beispiel geben jetzt bei den Ergebnissen der Sonntagsfrage immer auch die Fehlertoleranz mit an. Statt eines festen Werts wie etwa 34 Prozent für die CDU nennen sie die statistische Schwankungsbreite, die in diesem Fall ungefähr zwischen 31 und 37 Prozent liegt. Über diese neuen Darstellungen im Speziellen habe ich ebenfalls neulich für den DLF berichtet.

So deutlich wie jetzt bei Zeit online habe ich es aber noch nicht gesehen, dass Journalisten genau sagen, was so eine Umfrage aussagen kann und was nicht.

bildschirmfoto-2017-09-01-um-22-33-16Im gestrigen Artikel über die Ergebnisse einer Sonntagsfrage wird zwar mehrmals auf „die Deutschen“ verallgemeinert; weil die Umfrage repräsentativ, kann man das machen. Allerdings wird im Fließtext fast ausschließlich „die Befragten“ verwendet, wenn die einzelnen Werte für die Parteien genannt werden. Das macht durchgehend deutlich, dass es sich um eine Umfrage handelt.

In der dazugehörigen Grafik sind außerdem keine dünnen Linien für die Parteien eingezeichnet, sondern dicke. Auch hier wird also die Schwankungsbreite mit angegeben. Außerdem kann man unterhalb der Grafik zwischen den Ergebnissen verschiedener Umfrageunternehmen hin- und herspringen – und sich auch ein gewichtetes Mittel dieser Umfragen anzeigen lassen.

bildschirmfoto-2017-09-01-um-22-35-57
Grafik: ZEIT online / Screenshot

Dadurch wird ziemlich gut sichtbar, dass zwischen Anfang Februar und Anfang April unklar wer, ob CDU/CSU oder SPD bei einer anstehenden Wahl vorne gelegen hätten, selbst wenn die festen Zahlenwerte womöglich die Führung einer der beiden Seiten angezeigt hätte.

Am besten aber finde ich den Disclaimer am Ende des Artikels. Im letzten Absatz heißt es, konkret auf die berichtete Umfrage bezogen:

Die Fragen zu Koalitionswünschen, der FDP und den Grünen stellte Infratest dimap von Montag bis Mittwoch an 1.013 Wahlberechtigte.

Und im darunterstehenden Kasten wird sehr gut erläutert, welche Aussagekraft Umfragedaten überhaupt haben. So steht dort unter anderem völlig ohne jedes Demoskopendeutsch:

Die Ergebnisse basieren immer auf Stichprobenbefragungen. Diese decken in der Regel nur spezielle Teile der Bevölkerung ab (z.B. Menschen mit Festnetz-Telefonanschluss oder Internetnutzer). Einige potenzielle Teilnehmer sind ablehnend und wollen erst gar nicht befragt werden. Fragen werden mitunter auch falsch verstanden und nicht immer aufrichtig beantwortet. Zum Beispiel auch in Reaktion auf vorangegangene Umfragen.

Das ist mehr als vorbildlich und geht weit über die in Artikel 2.1 des Pressekodex geforderten Angaben hinaus. Dort heißt es lediglich:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.

Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.

In einem längeren Text im ZEIT-Online-Blog „Glashaus“ erläutern Sascha Venohr und Andreas Loos, wie sie künftig mit Umfragen umgehen wollen. Dort beziehen sie sich zum Beispiel auf die Fehlertoleranz, die meistens größer ist als die Veränderung der Parteiwerte von der einen zur anderen Umfrage. Sie ziehen daraus den einzig vernünftigen Schluss:

Die vermeintliche Nachricht, wonach Partei X einen oder zwei Prozentpunkte hinzugewonnen habe, werden Sie bei uns nicht mehr finden. (…)

Erst wenn sich ein Trend für eine Partei über einen längeren Zeitraum bei einem Institut bestätigt, berichten wir darüber.

Wenn sich alle Journalisten bei ZEIT online tatsächlich an diese Vereinbarung halten, könnte die Seite bald die seriöseste sein, was die Berichterstattung über Umfragen angeht.

Habt Ihr Angst vor einem Krieg? Bitte ankreuzen: Ja, nein, vielleicht.

Ich hab mal drei Freunde gefragt, ob sie Angst vor einem Krieg haben. Zwei haben gesagt: Ja. Einer sagte: Nein.

66 % haben also Angst vor Krieg.

Angela Merkel, was sagen Sie dazu?

Klingt weit hergeholt? Mitnichten.

Diese Frage wurde im Rahmen des YouTube-Interviews mit Merkel tatsächlich so gestellt. Da weiß ich gar nicht, wo ich anfangen soll, diesen Unsinn zu kritisieren. Fangen wir mal so an:

1. Die Umfrage ist nicht repräsentativ.

Das heißt, sie hat keinerlei Aussagekraft. Jedenfalls keine größere als meine eingangs zitierte Umfrage unter Freunden. Denn es wurde eine nicht repräsentative Gruppe befragt. 554 Accounts haben mitgemacht.

Selbst um eine Umfrage repräsentativ zu machen, befragen Umfrageunternehmen in der Regel etwa eintausend Personen – und gewichten die Antworten dann noch. Seriöse Demoskopen könnten mit dieser Befragung gar nichts anfangen.

Selbst wenn alle Follower mitgemacht hätten, wäre nichts Besseres dabei herumgekommen: Stand 18.48 Uhr hatte der Account @DeineWahl2017 1.207 Follower, zum Zeitpunkt der Befragung wahrscheinlich weniger.

(Screenshot: https://twitter.com/DeineWahl2017)
(Screenshot: https://twitter.com/DeineWahl2017)

Dass diese Gruppe zufällig repräsentativ ist, lässt sich praktisch ausschließen – zum einen ist es die junge Zielgruppe der vier YouTuber nicht, zum anderen auch nicht die Inhaber eines Twitter-Accounts: Nur 4 Prozent der deutschen Onliner haben einen Twitter-Account und könnten sich damit an der Umfrage beteiligen. Selbst wenn man die mehr als 80 Retweets mitzählt, wird keinerlei Repräsentativität erreicht.

Dieses eine Argument reicht eigentlich schon. Trotzdem will ich noch auf drei Punkte hinweisen:

2. Die Antworten sind verzerrt.

Als die Umfrage gestartet wurde, befragte im YouTube-Interview Mirko Drotschmann Angela Merkel gerade zum Thema (hier der Link, ab 1:17:35, Video lässt sich nicht einbetten):

„Wo wir gerade beim Thema Konflikt sind (er bezieht sich auf die Türkei, SF): Viele meiner Zuschauer machen sich Sorgen. Nordkorea ist ein Stichwort, es gibt andere Konflikte auf der Welt. Und eine Frage, die tatsächlich immer wieder auftaucht – wirkt vielleicht zuerst mal so ein bisschen banal oder lächerlich – aber die kommt immer wieder von jungen Menschen: Müssen wir Angst haben vor einem Dritten Weltkrieg?“

Wie viele antworteten bei der Frage also unter Bezugnahme auf einen Weltkrieg oder auf die Türkei, über deren Konflikt mit westlichen Ländern gerade ausführlich gesprochen wurde?

Und was ebenfalls zeigt:

3. Die Frage ist viel zu unspezifisch.

Ich habe Angst vor Krieg. Ich wäre ungerne in einem Krieg. Wie wahrscheinlich jeder. Aber ich halte es gerade nicht für sehr wahrscheinlich, dass einer ausbricht – jedenfalls nicht da, wo ich bin.

So genau wurde aber gar nicht gefragt. Darauf weist Twitter-Nutzer Dominik Deobald hin:

Die Twitter-Antworten zeigen, wie unterschiedlich die Nutzer die Frage interpretieren: 3. Weltkrieg, Krieg in Deutschland, zwischen Nordkorea und den USA, mit Russland, China?

Vor was haben die Nutzer also Angst? Wir wissen es nicht.

Die Umfrage kann zudem nur wenige Minuten gelaufen sein – zwischen 14.14 Uhr und dem Endergebnis, das um kurz vor 14.30 Uhr präsentiert wurde. Ein kurzer Erhebungszeitraum ist eigentlich gut, aber wegen der beschriebenen Unsicherheiten macht der die Ergebnisse auch nicht zuverlässiger.

Ich will die Angst an sich nicht kleinreden. Etwa 271 Nutzer haben eine solche Angst artikuliert – aber vor was genau, wissen wir eben nicht. Dennoch wird die Umfrage von den Tweet-Zitatoren nach dem Merkel-Interview implizit als verlässlich dargestellt, wenn sie sagen:

„Quasi die Hälfte, (…) 51 Prozent haben gesagt: Nein, die Angst ist nicht da. Also weniger als die Hälfte hat hier zugestimmt.“

Und das zeigt auch:

4. Die Fehlertoleranz wird ignoriert

Wenn die Umfrage nicht repräsentativ ist, ist der Hinweis auf die Fehlertoleranz natürlich eigentlich sinnlos. Diese gibt normalerweise an, in welcher Bandbreite sich die Ergebnisse bewegen, wenn eine repräsentative Umfrage unter denselben Bedingungen wiederholt wird. Bei der Sonntagsfrage sind das zwischen 1,5 und 3 Prozentpunkten. Das heißt aber, dass bei einem solchen Ergebnis die Verteilung auch ebenso gut andersherum sein könnte.

Merkel sagt dazu: „Ich muss das sehr ernst nehmen.“ Was soll sie auch sagen?

Die Umfrage ist unverantwortlich

Die Umfrage gaukelt vor, die Meinung von Nutzern auf statistische und somit verlässliche Weise sichtbar zu machen, zeigt aber nur einen vagen Ausschnitt der Wirklichkeit. Indem sie suggeriert, die Hälfte der Befragten habe Angst vor einem Krieg, bekräftigt sie die eine Seite in ihrer Meinung und bringt die andere zum Zweifeln. Eine solche Umfrage auf diese Weise öffentlich zu präsentieren ist unverantwortlich.

Das alles zeigt zweierlei:

Erstens mangelt es den YouTube-Machern an Professionalität und Seriösität – eine solche Umfrage vor allem zu diesem Thema zu verbreiten schürt genau die Angst, die man eigentlich einfangen wollte – vor allem durch die Bekräftigung Merkels, auch wenn sie zuvor eine solche Angst als unbegründet bezeichnet hat.

Zweitens ist Verständnis über die Aussagekraft solcher Umfragen nicht mal bei demjenigen vorhanden, der sie vorstellt – wie soll dann der normale Nutzer sie verstehen. Manche Antwort zeigt das auch:

Die „verunsicherte Hälfte“ kann eine Hälfte sein; diese Umfrage belegt das aber nicht. Und selbst eine erneuter Hinweis auf die fehlende Repräsentativität hilft nicht unbedingt:

DOCH. GENAU DAS.

(Natürlich kann auch ich nicht von diesem einen Nutzer auf alle schließen, aber schon die Unfähigkeit, eine solche Umfrage richtig durchzuführen und zu präsentieren, zeigt, wie weit verbreitet die Unkenntnis über dieses Instrument ist.)

Ich habe übrigens auch Angst vor Krieg. Im Allgemeinen. Ich wäre ungerne in einem Krieg. Aber ich halte ihn für nicht sehr wahrscheinlich.

100 Prozent der Autoren dieses Blogs kriegen bei solchen Umfragen zuviel.

Befragte: 1. Erhebungszeitraum: 16.08.2017, 20.04 Uhr. Fragestellung: „Kriegen Sie bei solchen Umfragen zuviel?“ Ergebnis ist nicht repräsentativ.

 

Nachtrag, 21.15 Uhr: Ich habe ein paar Sätze am Anfang von Punkt 3 klarer formuliert.

Knapp daneben ist gar nicht so sehr vorbei

Erinnern Sie sich noch daran, wie die Brexit-Gegner das Referendum gewonnen haben? Oder wie Hillary Clinton US-Präsidentin wurde? Oder wie im Saarland Annegret Kramp-Karrenbauer als Ministerpräsidentin abgewählt wurde? Nein?

Aber vor der Wahl waren sich ziemlich viele von uns sicher, dass es so kommen würde. Wir haben uns auf Zahlen von Demoskopen verlassen. Oder vielmehr darauf, was Journalisten darüber geschrieben haben. Einige von ihnen haben inzwischen daraus gelernt – und wollen künftig anders über Umfragen berichten. Mein Beitrag für das WDR5-Medienmagazin „Töne, Texte, Bilder“.

Wie Journalisten Umfragen besser erklären wollen

Umfragen sind keine Prognosen über einen Wahlausgang, sondern bilden die politische Stimmung zum Zeitpunkt der Umfrage ab. Genau das wollen nun Journalisten vor den Bundestagswahlen deutlicher darstellen. Dafür hat sich die Süddeutsche Zeitung Visualisierungen für ihre Leser ausgedacht. Mein Beitrag in @mediasres im Deutschlandfunk.

Nur jede zweite Studie ist wirklich aussagekräftig – oder so ähnlich…

 

Journalisten lieben Umfragen. Sie geben vor, verlässlich die Stimmung unter denen abzubilden, für die die Befragten repräsentativ sind – wenn sie es denn sind. Denn nicht immer schreiben Journalisten das auch dazu. Obwohl sie es laut Pressekodex müssten.

Ein Beispiel von heute: Spiegel online berichtet über eine Umfrage aus den USA. Darin heißt es:

(Screenshot: spiegel.de)
(Screenshot: spiegel.de)

Ob die Umfrage repräsentativ ist oder nicht, schreibt Spiegel online nicht. Obwohl es für die Zuverlässigkeit der Daten wichtig ist. Wird es nicht erwähnt, sollte man davon ausgehen, dass die Umfrage nicht repräsentativ ist. Der Text ist aber in sich widersprüchlich. Dort heißt es zwar:

Demnach sagte nur etwa ein Viertel der Befragten, sie vertrauen allem oder fast allem, was sie aus der Kommunikationsabteilung des Weißen Hauses hören.

Das heißt, es wird nur auf die Befragten abgestellt, nicht auf die Amerikaner insgesamt. An anderer Stelle aber wird verallgemeinert:

US-Präsident Donald Trumps Regierung hat offenbar ein Glaubwürdigkeitsproblem beim amerikanischen Volk.

Das klingt doch nach Repräsentativität.

Medien, die sich dem Pressekodex verpflichtet haben, müssen eigentlich darüber aufklären, wie die Umfrage erhoben wurde – ganz gleich, ob sie von ihnen selbst in Auftrag gegeben wurde oder nicht. In Richtlinie 2.1 heißt es:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.

Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.

Spiegel online erwähnt lediglich CNN als Auftraggeber, verlinkt aber immerhin auf den CNN-Bericht. Wer kein Englisch versteht oder nicht auf den Link klickt, bleibt aber im Unklaren.

Dort steht jedenfalls, dass die Umfrage von SRSS durchgeführt wurde, und zwar zwischen dem 3. und 6. August 2017 unter 1018 Teilnehmern. Die Fehlerabweichung liegt demnach bei 3,6 Prozent. Einen Hinweis auf die Repräsentativität findet man dort nicht. Wie verlässlich die Umfragedaten also sind, ist offen.

Davon abgesehen, dass Spiegel online damit gegen den Pressekodex verstößt, ist fraglich, ob die Umfrage überhaupt eine Berichterstattung rechtfertigt. Wenn die Daten nicht zuverlässig sind, sagen sie nicht mal tendenziell etwas aus, sondern gar nichts.

Das ist leider kein Einzelfall. Gerade Online-Medien fliegen auf Umfragen. Sie sind leicht generierter Inhalt, der vermutlich auch auf viel Interesse stößt.

Leider produzieren auch eigentlich als seriös geltende Absender solche Umfragen. So heißt es in einer Pressemitteilung der Katholischen Universität Eichstädt-Ingolstadt von gestern:

KU-Studie: Großes Interesse von Erstwählern an der Bundestagswahl 2017

Fast jeder zweite Erstwähler interessiert sich sehr für Politik, 80 Prozent wollen wählen gehen, und Eltern haben einen deutlich größeren Einfluss auf das Wahlverhalten von Erstwählern als die Schule. Diese Erkenntnisse gehen aus einer nicht repräsentativen Befragung von Erstwählern durch ein Master-Seminar des Lehrstuhls für Vergleichende Politikwissenschaft der KU im Sommersemester hervor.

Dass eine nicht repräsentative Befragung durch Überschrift und Teaser so verallgemeinert wird, entspricht eigentlich nicht mehr dem Ergebnis der Studie. Das ist allerdings die Arbeit der Pressestelle und nicht die der Wissenschaftler selbst. Die Pressestelle antwortete mir darauf:

…aus unserer Sicht handelt es sich nicht um eine Verallgemeinerung, wenn wir unmittelbar nach dem von Ihnen zitierten Satz offen darauf hinweisen, dass es sich um eine nicht-repräsentative Studie handelt, die in einem Masterseminar entstand. Der erste Satz fasst lediglich kompakt die Ergebnisse dieser Erhebung zusammen. Im weiteren Verlauf des Textes wird zudem stets formuliert „befragte Erstwähler“ und nicht „die Erstwähler“. Vor diesem Hintergrund halten wir auch die Überschrift für legitim, welche zwangsläufig nicht so ausführlich geraten kann, dass man den kompletten Rahmen der Studie wiedergibt.

Meines Erachtens wäre die Pressemitteilung auch ohne die Verallgemeinerung ausgekommen, hätte man sie so formuliert:

Fast jeder zweite in einer Studie befragte Erstwähler interessiert sich sehr für Politik, 80 Prozent von ihnen wollen wählen gehen, und ihre Eltern haben einen deutlich größeren Einfluss auf das Wahlverhalten der Befragten als die Schule. Diese Erkenntnisse gehen aus einer nicht repräsentativen Befragung von Erstwählern durch ein Master-Seminar des Lehrstuhls für Vergleichende Politikwissenschaft der KU im Sommersemester hervor.

Natürlich klingt das weniger sexy, dafür stimmt es in jedem einzelnen Satz. Möglicherweise wäre es sonst aber auch keine Meldung geworden.

 

Nachtrag, 9. August: Der Autor des Spiegel-Artikels hat diesen nach der Kritik um die notwendigen Daten ergänzt. Dort heißt es jetzt im letzten Absatz:

Für die Umfrage befragte das Institut SSRS telefonisch 1018 US-Amerikaner. Die Meinungsforscher gewichteten das Ergebnis anhand des Zensus, damit ist die Umfrage repräsentativ für die erwachsene Bevölkerung der USA. Der statistische Fehler lag im Gesamtergebnis bei 3,6 Prozentpunkten.

Danke dafür. Das ermöglicht es den Lesern, die Umfrage besser einzuschätzen. Freilich bin ich mir bewusst, dass vielen dennoch die Aussagekraft solcher Umfragen nicht hundertprozentig bewusst ist. Es ist Aufgabe von Journalisten, darauf immer wieder hinzuweisen.

Überraschende Umfrage: 5 Millionen Deutsche würden in die Türkei fahren

Umfragen sind eine heikle Angelegenheit. Manchmal scheinen sie eine Geschichte zu erzählen, die sich bei näherer Betrachtung als gar nicht so spektakulär herausstellt.

Spiegel online hat gestern eine repräsentative Umfrage veröffentlicht, die das Umfrageunternehmen Civey für sie durchgeführt hat. Die Frage lautete: „Können Sie sich angesichts der aktuellen politischen Situation vorstellen, in die Türkei zu reisen?“ Der Umfrage zufolge würden 92 Prozent der Befragten momentan eher nicht in die Türkei reisen. 79,8 Prozent sagten „Nein, auf keinen Fall“, weitere 12,2 Prozent „Eher nein“.

Interessant ist der Umkehrschluss: 6,4 Prozent tendieren eher zum Ja. 3,7 Prozent antworteten demnach mit „Ja, auf jeden Fall“ und weitere 2,7 Prozent mit „Eher ja“.

Freilich kann man daraus nicht schließen, dass all diese Leute tatsächlich in die Türkei reisen werden. Würden sie es aber tun, könnte die Türkei – sagen wir mal auf das Jahr 2017 gerechnet – 5,26 Millionen deutsche Touristen begrüßen können.

Und das liegt gar nicht so weit entfernt von den tatsächlichen Besucherzahlen vor Beginn der politischen Umbrüche in der Türkei. Im Jahr 2015 kamen 5,6 Millionen Urlauber in organisierten Reisen in die Türkei, weitere als Individualtouristen. „Die Welt“ schreibt weiter:

Schätzungen zufolge dürfte diese Zahl 2016 schlagartig auf nur noch rund vier Millionen zurückgefallen sein.

Angesichts dessen könnte sich die türkische Tourismusbranche über einen Zuwachs für 2017 freuen.

Natürlich können sich immer mehr Menschen vorstellen, an einem bestimmten Ort ihren Urlaub zu verbringen, als dann tatsächlich hinfahren. Insofern wären die eher zustimmenden Antworten in anderen Zeiten sicher höher ausgefallen.

Aber es zeigt sich auch, dass eine Umfrage eben nur eine Umfrage ist. Womöglich machen sich nur wenige Befragte ernsthaft Gedanken darüber, wie wohl ein Urlaub in der Türkei zu realisieren würde, ob Touristen betroffen wären, wie der Alltag am Urlaubsort wäre. Stattdessen schließen die Befragten auf die eigentliche Frage, die der Umfrage implizit zugrunde liegt, nämlich wie ihre politische Einstellung oder auch ihre Gefühlslage gegenüber der Türkei gerade ist. Gerade der Spin der Fragestellung „Können Sie sich angesichts der aktuellen politischen Situation vorstellen, in die Türkei zu reisen?“ lenkt die Antworten bereits in eine bestimmte Richtung.

Letztlich sagt diese Umfrage also weniger aus als man erst mal aus ihr herauszulesen glaubt.

Wie beeinflussen Wahlumfragen die politische Kultur?

Meinungsumfragen sind wichtiger denn je, sie können Wahlen beeinflussen und Politiker-Karrieren bestimmen. Doch immer öfter gilt: Bis zur Wahl wird die Sonntagsfrage gerne als Tatsache präsentiert – und danach werden die Schuldigen dafür gesucht, warum sie nicht stimmte. Mein Beitrag in der DLF-Sendung „Hintergrund“.

Lügenpresse-Vorwurf: Warum der Stern doppelt so viele Unterstützer sieht wie der WDR

Die Zeitschrift „Stern“ hat diese Woche behauptet, fast die Hälfte der Deutschen würde alle Massenmedien als „Lügenpresse“ bezeichnen. Dabei wussten die Befragten offenbar gar nicht, dass sie danach gefragt wurden. Eine Umfrage für den WDR ergab einen nur halb so hohen Wert. Wer hat Recht?
 

„44 Prozent der Deutschen teilen den ‚Lügenpresse‘-Vorwurf von Pegida“, titelt stern.de am Mittwoch. Nur drei Tage später behauptet WDR5 dagegen, das täten nur 20 Prozent. Die Differenzen sind im wesentlichen auf die Fragestellung zurückzuführen. Das Meinungsforschungsinstitut Forsa hat die Umfrage für den Stern durchgeführt. Der erklärt die Methode im Online-Artikel so:

Um zu prüfen, inwieweit inhaltliche Positionen aus dem Pegida-Umfeld geteilt werden, wurden den 1002 repräsentativ ausgesuchten Bundesbürgern zehn Original-Aussagen vorgelesen – mit der Bitte anzugeben, ob sie der jeweiligen Aussage voll und ganz, eher, eher nicht oder überhaupt nicht zustimmen. Eine nennenswerte Zahl von Deutschen, nämlich 44 Prozent, stimmt mehr oder weniger lediglich der kritischen Einschätzung der „Lügenpresse“ zu, nach der die Medien in Deutschland “von ganz oben gesteuert” würden und deshalb “geschönte und unzutreffende Meldungen” verbreiteten.

Diese Darstellung ist wenig schlüssig: stern.de behauptet zunächst, die Befragten hätten vier Antwortmöglichkeiten gehabt, und zwar „voll und ganz“, „eher“, „eher nicht“ und „überhaupt nicht“. In der dazugehörigen Grafik tauchen aber nur noch drei Kategorien auf: „voll und ganz“, „eher ja“ und „stimme nicht zu“, wobei offen bleibt, wie die Antwortkategorien hier zusammengefasst wurden. Im Text wurde dann implizit eine ganz neue Kategorie erschaffen, die „mehr oder weniger“ heißt. Wie die 44 Prozent hierfür zustandekommen, wird nicht erklärt.

Die Grafik legt eine Deutung nahe, wird aber nicht explizit. Die Printausgabe des Sterns gibt darauf eher eine Antwort, allerdings werden die Ergebnisse hier noch stärker vereinfacht: Hier gibt es nur noch die Antworten „ja“ und „nein“ – beim Lügenpresse-Vorwurf also 44 zu 56 Prozent.

So verfährt die Zeitschrift auch, wenn sie die ermittelten Ergebnisse zu den anderen Aussagen präsentiert. Dabei ergeben jedoch auffällig überall „ja“ und „nein“ jeweils 100 Prozent. Dabei wird sowohl online als auch in der Printausgabe darauf hingewiesen:

An 100 Prozent fehlende Angaben: weiß nicht.

Diese Antwort kommt jedoch dem Stern zufolge allerdings fast nicht vor. Es ist schwer vorstellbar, dass sie nie gegeben wurde, denn viele der Aussagen sind so umständlich formuliert, dass einige Befragte sie, am Telefon vorgelesen, kaum verstanden haben können.

Dass der Anteil von „weiß nicht“-Antwortern bei allen Aussagen jeweils über 0 Prozent liegt, ist naheliegend. Dass es solche Antworten grundsätzlich gab, zeigt sich an den Antworten auf die relativ simple Frage „Stehen die Pegida-Demonstranten stellvertretend für die breite Mitte der deutschen Gesellschaft?” Darauf konnten oder wollten immerhin 8 Prozent keine Antwort geben.

Bei der Zustimmung oder Ablehnung der Pegida-Aussagen verwirft der Stern also die Antworten der Ratlosen und erhöht damit die Werte für „ja“ und „nein“, was vermutlich auch den Wert der Lügenpresse-Befürworter auf 44 Prozent steigen lässt.

Wie soll man antworten?

Der Mathematiker und Statistiker Gerd Bosbach von der Hochschule Koblenz weist zusätzlich darauf hin, dass die vorgelegten Pegida-Aussagen von vielen Befragten schwierig einzuschätzen seien. Im Deutschlandfunk sagte er, er wüsste nicht, was er beispielsweise auf die erste Aussage antworten sollte:

Da sind quasi mindestens zwei Fakten drin: Von oben gesteuerte Medien, und sie verbreiten nur unzutreffende Meldungen. Wenn ich jetzt bei dem einen ja und bei dem anderen nein sagen würde, was soll ich denn dann da ankreuzen?

Der Begriff „Lügenpresse“ kommt zudem in den sogenannten „Original-Aussagen“ überhaupt nicht vor, er ist eine Interpretation von stern.de. Die zugrunde gelegte Aussage lautete eigentlich: „Die von oben gesteuerten Medien verbreiten nur geschönte und unzutreffende Meldungen“. Das mag der Kern des Lügenpresse-Vorwurfs sein – die Wortwahl ist es nicht. Die methodischen Überlegungen, die dazu führten, den Lügenpresse-Vorwurf nicht explizit abzufragen, mögen verständlich sein, die verzerrende Darstellung der Ergebnisse macht die Ergebnisse der Umfrage jedoch fragwürdig.

Wissen die Befragten, dass sie nach der “Lügenpresse” gefragt werden, antworten sie offenbar anders. Einen Beleg dafür liefert eine zweite Umfrage aus dieser Woche: Infratest Dimap hat für den WDR ausdrücklich nach diesem Begriff gefragt. Demnach stimmen ihm nur 20 Prozent ausdrücklich zu. Dem Meinungsforschungsinstitut zufolge lautete die Frage:

Im Zusammenhang mit den Protesten der Pegida-Bewegung wird häufiger der Begriff Lügenpresse verwendet. Wenn Sie an Zeitungen, Radio und Fernsehen in Deutschland denken, würden Sie persönlich dann von Lügenpresse sprechen oder nicht?

Die Antwort „Ja, würde von Lügenpresse sprechen“ gaben demnach 20 Prozent, 72 Prozent sagten „Nein, würde nicht von Lügenpresse sprechen“, die übrigen 8 Prozent äußerten sich nicht. Auch weitere Ergebnisse aus dieser Umfrage untermauern die Sichtweise, dass der Lügenpresse-Vorwurf von deutlich weniger als 44 Prozent der Deutschen geteilt wird. Zumindest aber liefern die Antworten widersprüchliche Ergebnisse. So geben dort 88 Prozent an, das Informationsangebot in deutschen Medien sei sehr gut oder gut, 52 Prozent halten die Informationen für glaubwürdig (immerhin 42 Prozent auch nicht), 37 Prozent rechnen zumindest mit häufigen Lügen. Ein eindeutiges Bild, wie “die Deutschen” “die Massenmedien” sehen, ist jedoch weder aus der einen noch aus der anderen Umfrage ablesbar. Es zeigt vielmehr, dass sogar die Nutzer ihre Schwierigkeiten haben, alle Medien über einen Kamm zu scheren – was den pauschalen Lügenpresse-Vorwurf nur umso absurder macht.

Der Stern-Umfrage lässt sich jedenfalls, von den grundsätzlichen methodischen Schwierigkeiten bei Meinungsumfragen mal abgesehen, kein gutes Zeugnis ausstellen. Hier bleiben wesentliche Fragen offen, die für das Verständnis und die Interpretation wichtig sind. Es ist eine Ironie dieser Untersuchung, dass sie ein Argument für den Vorwurf der Lügenpresse liefern kann, obwohl sie diesen vorgeblich nur untersuchen will.

Offenlegung: Ich arbeite als freier Journalist unter anderem für den WDR.

Ergänzung, 20.20 Uhr: Stefan Niggemeier war ähnlich irritiert wie ich und hat beim Stern nachgefragt. Der gibt sich übrigens weitgehend ahnungslos.

Ergänzung, 4. November: Der Statistikprofessor Björn Christensen warnt bei WDR5 vor der Fehlinterpretation von Statistiken.