Wo Umfragen an ihre Grenzen stoßen

Einer Befragung für den „Stern“ zufolge finden es 58 Prozent der Deutschen gut, dass Hubert Aiwanger als bayerischer Wirtschaftsminister im Amt bleibt. Aber an der Zahl gibt es Zweifel. Der Fall zeigt, woran es bei Umfragen in den Medien häufig hakt. Das habe ich im Deutschlandfunk-Medienmagazin @mediasres erklärt.

Wenn Journalisten nichts mit Umfragen anfangen können, aber selbst welche in Auftrag geben und veröffentlichen

Darüber hat Stefan Niggemeier bei Übermedien geschrieben – mit dem schönen Titel: „Umfrage unter „Bild“-TV-Teilnehmern belegt: Keiner versteht was von Umfragen“. Was nicht mal ein Einzelfall ist, auch wenn sie ihre Unkenntnis normalerweise nicht so offen zur Schau stellen. Dummerweise gibt die Bild auch selbst Umfragen in Auftrag – mit eben jenem Umfragedesign, das hier von Bild-TV-Teilnehmern beklagt wird.

„Meinungsforschung misst keine Meinung, Meinungsforschung misst eine Laune“

Mit Meinungsumfragen habe ich mich beruflich inzwischen länger nicht mehr beschäftigt. Lediglich zur Bundestagswahl 2021 ging es am Rande darum – in unserer Sendung zur politischen Berichterstattung als Pferderennen.

Das ZDF Magazin Royale mit Jan Böhmermann hat sich Mitte Mai die zunehmende Zahl an Meinungsumfragen vorgeknöpft und dabei satirisch auf Probleme hingewiesen. Cool, dass die angebliche Gewissheit, die Medien mit solchen Umfragen verbreiten, hier mal als beknackt dargestellt werden.

Wahlkampf als politisches Pferderennen

Sieger, Verlierer, Vorsprünge und Aufholjagden – die umfragengetriebene Berichterstattung in diesem Wahlkampf weckt bei manchen Beobachtern Assoziationen mit einem Pferderennen. Politische Journalisten klingen mitunter wie Sportreporter. Inhalte kämen dabei aber zu kurz. Die Sendung für den Deutschlandfunk-Hintergrund von Michael Borgers und mir.

Die manipulierte Umfrage der „Siegener Zeitung“

Dass viele Medien ständig manipulierbare Umfragen veröffentlichen, ist nichts Neues. Ich hab hier gelegentlich drauf hingewiesen, einer dieser Fälle ist auch schon mal vor den Presserat gegangen und erstaunlich glimpflich ausgegangen. Die Bayerische Staatszeitung hat zum Beispiel mal 320 Online-Umfragen gelöscht, nachdem bekannt wurde, dass sie manipuliert wurden. Mehr zu Umfragen hier.

Boris Rosenkranz hat sich jetzt für Übermedien.de noch so eine manipulierte Umfrage vorgenommen, diesmal von der Siegener Zeitung.

Für Online extra scharf gemacht: Wie die „Welt am Sonntag“ mit einer Umfrage polarisiert

Welcher Einstieg in einen Artikel zieht Sie mehr an?

Variante 1:

Die Mehrheit der Deutschen lehnt es ab, die deutsche Sprache durch neue Regeln zu ergänzen, die zu einer stärkeren Berücksichtigung unterschiedlicher Geschlechter in der Grammatik führen sollen.

Variante 2:

Die Mehrheit der Deutschen lehnt es ab, die deutsche Sprache zwanghaft zu verweiblichen.

Egal, wie man zum Thema steht, Variante 2 wird die meisten von uns wohl stärker triggern.

Es sind zwei Varianten eines ansonsten weitgehend ähnlichen Textes, den die „Welt am Sonntag“ bereits Anfang Juni veröffentlicht hat. Sie hat Infratest Dimap eine Umfrage durchführen lassen, in der es um die Akzeptanz bestimmter Formen der geschlechtergerechten Sprache geht. Um die scheint es den Zahlen zufolge nicht gut bestellt, aber dazu später mehr.

Online-Fassung polarisiert

Interessant ist, dass sie ihre Ergebnisse in diesen zwei Varianten präsentiert: Die erste ist die Variante für die Print-Ausgabe der „Welt am Sonntag“, die zweite die Online-Fassung.

Unterschiede gibt es nicht nur beim Einstieg, sondern auch an weiteren Stellen, etwa bei der Überschrift. Im Print heißt es:

Mehrheit der Deutschen lehnt „Gender“-Sprache ab

Online mit Betonung eines anderen Aspekts:

Mehrheit der Frauen will keine Gendersternchen

Im Print lautet der Vorspann:

56 Prozent der Bevölkerung sind gegen Binnen-I und Gendersternchen. Talkmaster Markus Lanz: Solche Formalismen seien „Unfug“. Befürworter dagegen halten die deutsche Sprache für „ausgrenzend“

Online fehlen im Vorspann die Argumente der Befürworter, stattdessen vertritt die Redaktion die Argumente der Gegner:

Eine Umfrage im Auftrag der WELT AM SONNTAG zeigt: Die Mehrheit der Deutschen hält nichts von Binnen-I und Gendersternchen, mit denen politische Aktivisten ihre Mitbürger erziehen wollen. Kritiker sprechen von „Gender-Unfug“.

Online wird im Vorspann die geschlechtergerechte Sprache ausschließlich negativ dargestellt; Formulierungen wie „zwanghafter Verweiblichung“, Erziehung durch politische Aktivisten und „Gender-Unfug“ finden sich dagegen im Print-Artikel nicht. Online fehlt außerdem ein Absatz mit Argumenten für eine geschlechtergerechte Sprache der Schriftstellerin und Übersetzerin Andrea Paluch, der den Print-Artikel ausgewogener macht.

Problematische Fragestellung

Mal davon abgesehen, dass die „Welt am Sonntag“ mit ihrem Artikel gegen den Pressekodex verstößt (Richtlinie 2.1), weil sie die Metadaten der Umfrage nicht veröffentlicht, ist die Interpretation der Ergebnisse nicht von der Umfrage selbst gedeckt. Wie man bei Infratest Dimap nachlesen kann, wurde gefragt:

Nun eine Frage zur geschlechterneutralen Sprache, also der sogenannten Gendersprache. Dafür wird beispielsweise beim ‚Binnen-I‘ nicht von Wählerinnen und Wählern, sondern in einem Wort von ‚WählerInnen‘ gesprochen, d.h. mit kurzer Pause vor dem ‚i‘. Außerdem werden beispielsweise aus den Zuhörern die Zuhörenden. Wie stehen Sie zur Nutzung einer solchen Gendersprache in Presse, Radio und Fernsehen sowie bei öffentlichen Anlässen? Befürworten Sie dies voll und ganz, eher, lehnen Sie dies eher ab oder voll und ganz ab?

(Quelle: Infratest Dimap, https://www.infratest-dimap.de/umfragen-analysen/bundesweit/umfragen/aktuell/vorbehalte-gegenueber-genderneutraler-sprache/)

Welche Antworten Befragte geben, hängt immer auch von der Wortwahl der Fragestellung ab (und von den Antwortmöglichkeiten, die hier keine neutrale Position zulässt, nur eine Enthaltung). Dabei lässt es sich nicht immer komplett vermeiden, über die Wortwahl eine bestimmte Sicht zu transportieren. Hier wurden „geschlechterneutrale Sprache“ und „Gendersprache“ als Begriffe gewählt; man hätte auch von „geschlechtergerechter Sprache“ reden können und den Begriff „Gendersprache“, der gerade bei ablehnenden Kreisen ein gewisses Triggerpotenzial hat, vermeiden können.

Problematischer finde ich, dass hier einerseits ganz allgemein nach der Verwendung solcher Formen gefragt wird, aber dann nur zwei davon tatsächlich benannt werden, obwohl es sehr viele Varianten geschlechtergerechter Sprache gibt. Ich gehe davon aus, dass, je nachdem, welche Varianten man zur Auswahl stellt, man unterschiedlich viel Zuspruch für die Formen bekommen könnte. Alle über einen Kamm zu scheren, heißt aber, dass die Befragten ihre Meinung anhand einiger der polarisierendsten Varianten äußern sollen, wenngleich sie durchaus einige Formen begrüßen würden.

Zu weitgehende Interpretation

Aber selbst, wenn wir diesen Aspekt außen vor lassen, begeht die „Welt am Sonntag“ m.E. einen Fehler in der Interpretation dieser Ergebnisse. Denn die Frage wurde sehr spezifisch gestellt: nach geschlechterneutraler Sprache im Allgemeinen und zwei Varianten davon im Speziellen. Im Text heißt es aber:

Demnach halten 56 Prozent der Bevölkerung nichts vom „Gendern“ von Begriffen durch ein großes Binnen-I, ein Gendersternchen oder einen Unterstrich in journalistischen und literarischen Texten sowie in politischen Reden.

Dabei wurde nach dem Gendersternchen oder einem Unterstrich überhaupt nicht gefragt, und es ist auch nicht erkennbar, ob den Befragten diese Varianten bekannt waren. Deswegen ist schon der Einstiegssatz (hier zitiert aus Print, nicht zu schweigen von Online, s.o.) eine zu weitgehende Interpretation:

Die Mehrheit der Deutschen lehnt es ab, die deutsche Sprache durch neue Regeln zu ergänzen, die zu einer stärkeren Berücksichtigung unterschiedlicher Geschlechter in der Grammatik führen sollen.

Dabei gibt es durchaus mehr Varianten „geschlechtergerechter Sprache“, mit denen die Befragten vielleicht mehr anfangen könnten, wie ein Blick zum Beispiel auf genderleicht.de zeigt. Neben Doppelformen („Lehrer und Lehrerinnen“) sind das auch neutrale Formen („Team“, „Personal“) oder eine Umformulierung des Satzes.

Die Polemik in der Online-Variante zeigt m.E. aber, worauf es der „Welt am Sonntag“ ankam: eine Verächtlichmachung dieser Varianten der geschlechtergerechten Sprache, gestützt durch eine Umfrage, die das Ergebnis nicht hergibt.

Die Ironie der Gegner

Nebenbei bemerkt: In beiden Texten kommt die Schriftstellerin Monika Maron zu Wort, die so zitiert wird:

Die politische Bereinigung der Sprache ist eine geradezu diktatorische, auf jeden Fall eine ideologische Anmaßung, die nur Leute mit Hoheitsgewalt durchsetzen können: in Behörden, Rathäusern, Universitäten, öffentlich-rechtlichen Sendern

Woher die Hoheitsgewalt in öffentlich-rechtlichen Sendern kommt, erschließt sich mir nicht. Aber die Ironie solcher Äußerungen liegt ja darin, dass Gegner solcher Entwicklungen in der Sprache beklagen, dass andere ihnen angeblich vorschreiben wollen, wie sie zu reden haben. Sie dagegen tun nichts anders: Sie wollen den Befürwortern solcher Entwicklungen vorschreiben, wie sie zu reden haben – auf jeden Fall nicht so.

Homöopathieverband verkürzt Umfrage-Ergebnis so, dass es falsch wird

Der Deutsche Zentralverein homöopathischer Ärzte behauptet, in einer Umfrage hätten sich 61 Prozent „der Deutschen“ dafür ausgesprochen, homöopathische Arzneimittel einzusetzen, um gegen die Lungenkrankheit Covid-19 vorzugehen.

Das ist falsch.

Und der Verband muss das wissen. Denn er hat die Umfrage dazu selbst in Auftrag gegeben. Deren Ergebnisse geben die Darstellung aber gar nicht her.

In der entsprechenden Pressemitteilung schreibt der Verband:

Fast zwei Drittel der Bevölkerung in Deutschland würde den Einsatz homöopathischer Arzneimittel zur Behandlung von Covid-19-Erkrankungen befürworten. (…)

Mehr als die Hälfte aller Befragten hat bereits Erfahrung mit einer homöopathischen Behandlung bei früheren Erkrankungen gemacht. Noch mehr, nämlich fast zwei Drittel aller Befragten, würden unter der Voraussetzung, dass es in der Vergangenheit schon positive Erfahrungen mit diesem Mittel gab, im Fall einer Erkrankung an Covid-19 eine homöopathische Behandlung für sich selbst oder ihnen nahestehenden Personen auf jeden Fall (26 %) oder eher (34 %) befürworten

Danach wurde aber in der Umfrage überhaupt nicht gefragt – zumindest nicht dem Umfragedesign (PDF) zufolge, das der Verband dankenswerterweise – aber irgendwie auch leichtfertig – der Pressemitteilung hinzugefügt hat. Dort steht nämlich die Fragestellung, aus der sich die o.g. Darstellung ableitet. Gefragt wurde nämlich folgendes – und Achtung: Die Fragestellung ist kompliziert, weil sie nämlich völlig hypothetisch ist.

Derzeit gibt es noch kein Mittel zur Behandlung schwerkranker Covid-19-Fälle. (…). Wenn es Hinweise darauf gäbe, dass in der Vergangenheit bei verschiedenen Epidemien in verschiedenen Regionen der Welt ein homöopathisches Mittel positive Wirkung gezeigt hat: Würden Sie dann eine Behandlung mit diesem Mittel für sich und Ihnen nahestehende Personen auf jeden Fall, eher, eher nicht oder auf keinen Fall befürworten?

Übersetzt heißt das: Wenn es ein wirkungsvolles Medikament gäbe, würden Sie es dann haben wollen?

(Mal davon abgesehen, dass sich homöopathisch und wirkungsvoll weitgehend ausschließen, weil Homöopathie nicht über den Placebo-Effekt hinausgeht.)

Es gibt aber kein wirkungsvolles Medikament. Die Frage ist also dermaßen hypothetisch, dass ich gar nicht weiß, wo ich anfangen soll mit dem Irrsinn der Umfrage. Dass darauf nicht 100 Prozent mit Ja geantwortet haben, sollte eher verwundern – wer hätte etwas gegen ein wirkungsvolles Medikament?

In der Darstellung wird die Fragestellung übrigens so umformuliert:

(Quelle: https://www.presseportal.de/download/document/662513-20200414-forsa-ergebnisgrafiken-hom-opathiebeicovid19.pdf)

Daran schließt Frage 7 an – das ist die, die zu der irreführenden Überschrift der Pressemitteilung geführt hat:

Und würden Sie es auf jeden Fall, eher, eher nicht oder überhaupt nicht befürworten, wenn ein solches homöopathisches Mittel im Rahmen einer
staatlichen Maßnahme bei der Suche nach Maßnahmen gegen eine weitere, auch zukünftige Verbreitung des Corona-Virus testweise eingesetzt würde?

Darauf sollen 26 Prozent gesagt haben „auf jeden Fall“ und 35 Prozent „eher“, woraus sich die genannten 61 Prozent ergeben. Die haben aber mitnichten, wie die Überschrift sehr verkürzt formuliert, den Einsatz homöopathischer Arzneimittel befürwortet. Sie haben lediglich zugestimmt, dass

  1. ein bei anderen Epidemien erfolgreiches homöopathisches Mittel (das es nicht gibt)
  2. bei der Suche nach Maßnahmen gegen eine weitere Verbreitung des Corona-Virus (die im Feld Homöopathie hoffentlich überhaupt nicht betrieben wird)
  3. testweise eingesetzt würde (also höchstens mal ausprobiert).

Diese drei Bedingungen löscht die Überschrift aber komplett aus – mal davon abgesehen, dass es kein wirkungsvolles Medikament gegen Covid-19 gibt, erst recht kein homöopathisches. Hatte ich schon erwähnt, dass es kein wirkungsvolles Medikament gegen Covid-19 gibt, erst recht kein homöopathisches?

(Quelle: https://www.presseportal.de/download/document/662513-20200414-forsa-ergebnisgrafiken-hom-opathiebeicovid19.pdf)

Oder um es mit dem Kollegen Lars Wienand (durch den ich auf die Umfrage gestoßen bin) mal anders zu formulieren:

Aber warum sollte die Umfrage des Deutschen Zentralvereins homöopathischer Ärzte wirkungsvoller sein als die Mittel, die er befürwortet? So gesehen ergibt alles wieder einen Sinn.

YouGov stellt Angst vor Corona stärker dar als selbst ermittelt

Mit der Angst vor dem Corona-Virus lassen sich leicht Schlagzeilen machen. Auch das Umfrageunternehmen YouGov tut das. Es hat in zwei verschiedenen Zeiträumen im Abstand von einer Woche jeweils mehr als 2.000 Personen gefragt:

Welche der folgenden Aussagen beschreibt am besten Ihre Gefühle in Bezug auf eine Ansteckung mit dem Coronavirus (COVID-19)?

Die Fragestellung ist schon falsch: Denn COVID-19 ist kein Synonym für das Coronavirus, sondern die vom Virus ausgelöste Krankheit (siehe u.a. hier). Aber gehen wir mal davon aus, dass die meisten Befragten beides ebenfalls synonym benutzen, das wird die Antworten kaum verfälscht haben. Als Antwortmöglichkeiten gab YouGov vor:

  • Große Angst
  • Ziemliche Angst
  • Keine große Angst
  • Überhaupt keine Angst
  • Weiß nicht

(Quelle: yougov.de)

Mit „große Angst“ haben diese Woche (13. bis 16. März 2020) 9 Prozent geantwortet.* In der Darstellung von YouGov (abgerufen am 17. März 2020 um 11 Uhr) ist diese Zahl aber viel höher:

Mitte März sagen schon fast zwei von Fünf (37 Prozent), große Angst vor der Ansteckung mit dem Virus zu haben.

Auch im dazugehörigen Tweet steht das so:

Die Lösung: In dieser Darstellung wurden alle Antworten der Kategorie „ziemliche Angst“ der stärkeren Kategorie „große Angst“ einfach zugeschlagen und das Ergebnis damit verzerrt. Wieso sollte man differenziert antworten können, wenn YouGov diese Differenzierung am Ende sowieso planiert?

Dass Umfragen falsch dargestellt werden, ist keine Besonderheit. Aber dass ein Umfrageunternehmen selbst nicht in der Lage ist, seine eigenen Zahlen zu interpretieren, dann doch. Und es zeigt erneut, wie vorsichtig man mit diesen Ergebnissen umgehen muss.

 

* Ein Hinweis noch: Die Umfrage lief vom 13. bis 16. März, also an vier Tagen. In dieser Zeit war die Lage hochdynamisch, der Sachstand und die Empfehlungen des Bundes sowie Vorgaben von Ländern und Kommunen haben sich ständig verschärft. Wer am 13. März noch mit „keine Angst“ geantwortet hat, hätte am 16. März durchaus schon „ziemliche Angst“ haben können. Auch deshalb sind die Ergebnisse mit Vorsicht zu betrachten.

Vertrauen in Medien in Deutschland ist weiterhin hoch

Etwa jeder fünfte Bürger in Deutschland wirft den Medien vor, die Bevölkerung systematisch zu belügen. Zugleich wächst die Zahl der Menschen, die solche Vorwürfe zurückweisen. Das zeigen neue repräsentative Befunde der Langzeitstudie „Medienvertrauen“, die am Institut für Publizistik der Johannes Gutenberg-Universität Mainz (JGU) durchgeführt wird.

Demnach sagten bei Befragung Ende vergangenen Jahres 43 Prozent der Befragten, sie würden Medien ganz allgemein eher oder voll und ganz vertrauen, „wenn es um wirklich wichtige Dinge geht – etwa Umweltprobleme, Gesundheitsgefahren, politische Skandale“ – so die Fragestellung.

Über die Studie habe ich in @mediasres im Deutschlandfunk (Audio) mit Tanjev Schultz von der Universität Mainz gesprochen.

Interessant: Das Vertrauen ist viel höher, wenn man spezifischer nach journalistischen Medien und nicht nur nach Medien allgemein fragt.

Der öffentlich-rechtliche Rundfunk und Tageszeitungen schneiden mit 67 bzw. 66 Prozent viel besser ab. Dass immer noch ein Drittel der Nutzer Medien nicht komplett vertrauen, hält Schultz aber nicht per se für ein schlechtes Signal. Zum einen sei das Vertrauen im internationalen Vergleich relativ hoch, zum anderen sei es sinnvoll, dass Nutzer auch skeptisch mit Medien umgingen.

Für bedenklich hält er eher die Gruppe derjenigen, die sagen, man könne Medien eher oder voll und ganz nicht vertrauen, die mittlerweile auf 28 Prozent angestiegen sei.

Lügenpresse-Vorwürfe seien zwar weiterhin verbreitet, allerdings widersprächen dem immer mehr Bürger.

Wie die „Welt“ eine Umfrage schief darstellt

Statt eines Blogeintrags mein Twitter-Thread zum Thema. Es geht um diesen Artikel der „Welt“.