Nur jede zweite Studie ist wirklich aussagekräftig – oder so ähnlich…

 

Journalisten lieben Umfragen. Sie geben vor, verlässlich die Stimmung unter denen abzubilden, für die die Befragten repräsentativ sind – wenn sie es denn sind. Denn nicht immer schreiben Journalisten das auch dazu. Obwohl sie es laut Pressekodex müssten.

Ein Beispiel von heute: Spiegel online berichtet über eine Umfrage aus den USA. Darin heißt es:

(Screenshot: spiegel.de)
(Screenshot: spiegel.de)

Ob die Umfrage repräsentativ ist oder nicht, schreibt Spiegel online nicht. Obwohl es für die Zuverlässigkeit der Daten wichtig ist. Wird es nicht erwähnt, sollte man davon ausgehen, dass die Umfrage nicht repräsentativ ist. Der Text ist aber in sich widersprüchlich. Dort heißt es zwar:

Demnach sagte nur etwa ein Viertel der Befragten, sie vertrauen allem oder fast allem, was sie aus der Kommunikationsabteilung des Weißen Hauses hören.

Das heißt, es wird nur auf die Befragten abgestellt, nicht auf die Amerikaner insgesamt. An anderer Stelle aber wird verallgemeinert:

US-Präsident Donald Trumps Regierung hat offenbar ein Glaubwürdigkeitsproblem beim amerikanischen Volk.

Das klingt doch nach Repräsentativität.

Medien, die sich dem Pressekodex verpflichtet haben, müssen eigentlich darüber aufklären, wie die Umfrage erhoben wurde – ganz gleich, ob sie von ihnen selbst in Auftrag gegeben wurde oder nicht. In Richtlinie 2.1 heißt es:

Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.

Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.

Spiegel online erwähnt lediglich CNN als Auftraggeber, verlinkt aber immerhin auf den CNN-Bericht. Wer kein Englisch versteht oder nicht auf den Link klickt, bleibt aber im Unklaren.

Dort steht jedenfalls, dass die Umfrage von SRSS durchgeführt wurde, und zwar zwischen dem 3. und 6. August 2017 unter 1018 Teilnehmern. Die Fehlerabweichung liegt demnach bei 3,6 Prozent. Einen Hinweis auf die Repräsentativität findet man dort nicht. Wie verlässlich die Umfragedaten also sind, ist offen.

Davon abgesehen, dass Spiegel online damit gegen den Pressekodex verstößt, ist fraglich, ob die Umfrage überhaupt eine Berichterstattung rechtfertigt. Wenn die Daten nicht zuverlässig sind, sagen sie nicht mal tendenziell etwas aus, sondern gar nichts.

Das ist leider kein Einzelfall. Gerade Online-Medien fliegen auf Umfragen. Sie sind leicht generierter Inhalt, der vermutlich auch auf viel Interesse stößt.

Leider produzieren auch eigentlich als seriös geltende Absender solche Umfragen. So heißt es in einer Pressemitteilung der Katholischen Universität Eichstädt-Ingolstadt von gestern:

KU-Studie: Großes Interesse von Erstwählern an der Bundestagswahl 2017

Fast jeder zweite Erstwähler interessiert sich sehr für Politik, 80 Prozent wollen wählen gehen, und Eltern haben einen deutlich größeren Einfluss auf das Wahlverhalten von Erstwählern als die Schule. Diese Erkenntnisse gehen aus einer nicht repräsentativen Befragung von Erstwählern durch ein Master-Seminar des Lehrstuhls für Vergleichende Politikwissenschaft der KU im Sommersemester hervor.

Dass eine nicht repräsentative Befragung durch Überschrift und Teaser so verallgemeinert wird, entspricht eigentlich nicht mehr dem Ergebnis der Studie. Das ist allerdings die Arbeit der Pressestelle und nicht die der Wissenschaftler selbst. Die Pressestelle antwortete mir darauf:

…aus unserer Sicht handelt es sich nicht um eine Verallgemeinerung, wenn wir unmittelbar nach dem von Ihnen zitierten Satz offen darauf hinweisen, dass es sich um eine nicht-repräsentative Studie handelt, die in einem Masterseminar entstand. Der erste Satz fasst lediglich kompakt die Ergebnisse dieser Erhebung zusammen. Im weiteren Verlauf des Textes wird zudem stets formuliert „befragte Erstwähler“ und nicht „die Erstwähler“. Vor diesem Hintergrund halten wir auch die Überschrift für legitim, welche zwangsläufig nicht so ausführlich geraten kann, dass man den kompletten Rahmen der Studie wiedergibt.

Meines Erachtens wäre die Pressemitteilung auch ohne die Verallgemeinerung ausgekommen, hätte man sie so formuliert:

Fast jeder zweite in einer Studie befragte Erstwähler interessiert sich sehr für Politik, 80 Prozent von ihnen wollen wählen gehen, und ihre Eltern haben einen deutlich größeren Einfluss auf das Wahlverhalten der Befragten als die Schule. Diese Erkenntnisse gehen aus einer nicht repräsentativen Befragung von Erstwählern durch ein Master-Seminar des Lehrstuhls für Vergleichende Politikwissenschaft der KU im Sommersemester hervor.

Natürlich klingt das weniger sexy, dafür stimmt es in jedem einzelnen Satz. Möglicherweise wäre es sonst aber auch keine Meldung geworden.

 

Nachtrag, 9. August: Der Autor des Spiegel-Artikels hat diesen nach der Kritik um die notwendigen Daten ergänzt. Dort heißt es jetzt im letzten Absatz:

Für die Umfrage befragte das Institut SSRS telefonisch 1018 US-Amerikaner. Die Meinungsforscher gewichteten das Ergebnis anhand des Zensus, damit ist die Umfrage repräsentativ für die erwachsene Bevölkerung der USA. Der statistische Fehler lag im Gesamtergebnis bei 3,6 Prozentpunkten.

Danke dafür. Das ermöglicht es den Lesern, die Umfrage besser einzuschätzen. Freilich bin ich mir bewusst, dass vielen dennoch die Aussagekraft solcher Umfragen nicht hundertprozentig bewusst ist. Es ist Aufgabe von Journalisten, darauf immer wieder hinzuweisen.

Wie schaffe ich mir ein Publikum?

Der Kampf um Aufmerksamkeit im Netz wird immer schwieriger. Ihr Publikum finden Medien nicht mehr nur auf ihrer eigenen Webseite, sondern auch auf anderen Plattformen wie etwa sozialen Netzwerken. Doch alle machen es nötig, die Nutzer dort anders anzusprechen – weil die Nutzer überall anders sind. Darum kümmert sich in immer mehr Medienhäusern die Abteilung für Audience Development. Für „Breitband“ in Deutschlandfunk Kultur habe ich mal versucht zu erklären, was das eigentlich ist und was die so machen. Das Audio dazu gibt es hier, mehr zur Sendung hier. Meine Interviewpartner waren unter anderem Torsten Beeck von Spiegel Online und Björn Wagner von Zeit Online.

Überraschende Umfrage: 5 Millionen Deutsche würden in die Türkei fahren

Umfragen sind eine heikle Angelegenheit. Manchmal scheinen sie eine Geschichte zu erzählen, die sich bei näherer Betrachtung als gar nicht so spektakulär herausstellt.

Spiegel online hat gestern eine repräsentative Umfrage veröffentlicht, die das Umfrageunternehmen Civey für sie durchgeführt hat. Die Frage lautete: „Können Sie sich angesichts der aktuellen politischen Situation vorstellen, in die Türkei zu reisen?“ Der Umfrage zufolge würden 92 Prozent der Befragten momentan eher nicht in die Türkei reisen. 79,8 Prozent sagten „Nein, auf keinen Fall“, weitere 12,2 Prozent „Eher nein“.

Interessant ist der Umkehrschluss: 6,4 Prozent tendieren eher zum Ja. 3,7 Prozent antworteten demnach mit „Ja, auf jeden Fall“ und weitere 2,7 Prozent mit „Eher ja“.

Freilich kann man daraus nicht schließen, dass all diese Leute tatsächlich in die Türkei reisen werden. Würden sie es aber tun, könnte die Türkei – sagen wir mal auf das Jahr 2017 gerechnet – 5,26 Millionen deutsche Touristen begrüßen können.

Und das liegt gar nicht so weit entfernt von den tatsächlichen Besucherzahlen vor Beginn der politischen Umbrüche in der Türkei. Im Jahr 2015 kamen 5,6 Millionen Urlauber in organisierten Reisen in die Türkei, weitere als Individualtouristen. „Die Welt“ schreibt weiter:

Schätzungen zufolge dürfte diese Zahl 2016 schlagartig auf nur noch rund vier Millionen zurückgefallen sein.

Angesichts dessen könnte sich die türkische Tourismusbranche über einen Zuwachs für 2017 freuen.

Natürlich können sich immer mehr Menschen vorstellen, an einem bestimmten Ort ihren Urlaub zu verbringen, als dann tatsächlich hinfahren. Insofern wären die eher zustimmenden Antworten in anderen Zeiten sicher höher ausgefallen.

Aber es zeigt sich auch, dass eine Umfrage eben nur eine Umfrage ist. Womöglich machen sich nur wenige Befragte ernsthaft Gedanken darüber, wie wohl ein Urlaub in der Türkei zu realisieren würde, ob Touristen betroffen wären, wie der Alltag am Urlaubsort wäre. Stattdessen schließen die Befragten auf die eigentliche Frage, die der Umfrage implizit zugrunde liegt, nämlich wie ihre politische Einstellung oder auch ihre Gefühlslage gegenüber der Türkei gerade ist. Gerade der Spin der Fragestellung „Können Sie sich angesichts der aktuellen politischen Situation vorstellen, in die Türkei zu reisen?“ lenkt die Antworten bereits in eine bestimmte Richtung.

Letztlich sagt diese Umfrage also weniger aus als man erst mal aus ihr herauszulesen glaubt.

Eine kleine Prosa über Thomas Hitzlsperger in der „Welt“

Es ist bemerkenswert, wie Welt online eine kleine Unterhaltung zwischen zwei Fußballern zu einem großen Artikel aufpumpt. Der Autor Stephan Flor wagt dabei Ausflüge in die Prosa, um aus einem kurzen Moment einen möglichst langen Artikel zu machen.

Und darum geht es: Fußballer Clarence Seedorf fragt seine Kollegen Thomas Hitzlsperger, warum dieser so offen darüber spreche, dass er schwul ist. Anschauen kann man sich das hier:

Das reicht Welt-Autor Flor aber nicht. Zunächst stellt er Hitzlsperger vor, dem er dann lobend bescheinigt:

Hitzlsperger macht aus seiner Homosexualität kein Geheimnis mehr, stellt sie aber auch nicht ins Schaufenster. Wenn es darauf ankommt und es wichtig ist, thematisiert er sie.

In diesem Stil geht es weiter. Immer wieder driftet Flor in Prosa ab, etwa wenn er schreibt:

Der Deutsche lockerte die Stimmung mit einem Spruch auf…

Dann wandte er sich mit einer ernsten Frage an Hitzlsperger.

Hitzlsperger erklärte Seedorf in zwei Minuten in beeindruckender Weise…

…sagte Hitzlsperger in geschliffenem Englisch.

Dann kommt Hitzlsperger zum entscheidenden Punkt, warum er es für so wichtig hält, über seine Homosexualität zu reden.

Hitzlsperger will niemanden mit seinen Aussagen ärgern, schon gar nicht Seedorf.

Die Worte beeindruckten Seedorf.

Es ist eine kleine subjektive Geschichte, die die „Welt“ hier erzählt, keine neutrale Erzählung dessen, was passiert ist. Woher weiß der Autor, was Hitzlsperger will? Wie beeindruckt Seedorf ist? Es sind eine ungewöhnliche Art, die kurze Episode zu erzählen.

Lesezeit laut „Welt“ übrigens: 4 Minuten. Dauer der Episode: rund 2 Minuten.

P.S.: Spiegel online macht vor, wie man das auch etwas sachlicher tun kann.

Journalisten auf der schiefen Bahn – eine kleine Presseschau

Der Aufsichtsrat der Deutschen Bahn AG hat kein grünes Licht für eine Vertragsverlängerung für Bahnchef Grube gegeben. Das hat in vielen Redaktionen die Weichen gestellt: Vorsicht an der Bahnsteigkante und Bahn frei für einen ganzen Zug an Floskeln.

Spiegel online

(Screenshot: spiegel.de)
(Screenshot: spiegel.de)

Tagesschau um 20 Uhr

„Nun also Bahn frei für die Nachfolgersuche…“

„Die SPD betonte heute, sie wolle auf jeden Fall mitentscheiden, wer künftig die Weichen bei der Bahn stellt.“

Süddeutsche.de

„Am Donnerstagmorgen vergangener Woche liegt Rüdiger Grubes Leben Leben noch voll im Plan.“

„Draußen geht gerade die Sonne auf, drinnen ist Grube nur schwer zu bremsen.“

FAZ.net

(Screenshot: faz.net)
(Screenshot: faz.net)

(Die FAZ reagierte im Übrigens mit dem Artikel „Wie das Netz auf Rücktritt von Bahnchef Rüdiger Grube reagiert“ und spricht von einem „gefundenen Fressen“. Da kannte der Autor aber seine eigenen Kollegen nicht.)

ZEIT online

(Screenshot: zeit.de)
(Screenshot: zeit.de)

Berliner Morgenpost

(Screenshot: morgenpost.de)
(Screenshot: morgenpost.de)

Deutschlandfunk, Kommentar

(Screenshot: deutschlandfunk.de)
(Screenshot: deutschlandfunk.de)

„Auch an der Spitze des Unternehmens Deutsche Bahn gibt es keine reservierten Vertragsverlängerungen und keine ungestörten Betriebsabläufe beim Übergang von einem Chef zum anderen.“

„Hatte er den Bahn-Konzern nach der Ära Hartmut Mehdorn doch wieder auf die Spur gesetzt…“

„…die Verantwortung für die Weichenstellungen der Zukunft“

„Streiterei um die Konzernführung braucht die Bahn aber nicht, sondern einen entschlossenen Lokführer an der Spitze.“

Tagesspiegel

„Grube musste die S-Bahn wieder aufs Gleis stellen…“

Wirtschaftswoche

(Screenshot: wiwo.de)
(Screenshot: wiwo.de)

Handelsblatt

(Screenshot: handelsblatt.com)
(Screenshot: handelsblatt.com)

Von der Eilmeldung zur Voreiligmeldung

Manchmal hat man den Eindruck, eine Eilmeldung zu wichtigen, absehbaren Ereignissen müsse fast noch vor deren Stattfinden versendet werden. Kein Wunder, dass es dann zu Fehlern wie diesem kommt:

 

Dazu trägt vermutlich auch eine gewisse Hektik in Reaktionen bei. Wer nur einen kleinen Satz von Bundesverfassungsgerichtspräsident Andreas Voßkuhle bei der Urteilsverkündung verpasst hat, kann ihn sogleich völlig missverstehen.

Der Spiegel hat sich für den Irrtum entschuldigt:

Mit einem anderen Aspekt zum Thema Eilmeldung, ihrer Entwertung durch zu viele davon, habe ich mich neulich schon beschäftigt.

Ein Hoeneß muss nicht gewählt werden

Gut, gut, offenbar gibt es wenige Zweifel daran, dass Uli Hoeneß demnächst wieder Präsident des FC Bayern München sein wird. Allerdings haben sich manche Journalisten heute dermaßen überschlagen, dass ganz durcheinander ging, wie das eigentlich ablaufen soll. Kandidatur? Wahl? Offenbar nicht nötig.

So war sich die Sportschau etwa schon sehr sicher, dass Hoeneß zurückkehrt – laut Tweet und Überschrift des Artikels in jedem Fall. Sogar der ersten Satz im Text lautete „Honeß wird sich (…) wählen lassen.“ Das ist kühn. Auch MDR Aktuell formulierte das so, als sei Hoeneß soeben gewählt worden.

ZDF heute schrieb zwar zuerst richtig, dass Hoeneß kandidiere, rutschte dann aber später wieder teilweise in den Indikativ ab.

Während die Süddeutsche Zeitung sich zumindest sprachlich ein wenig distanzierte.

Vielleicht haben sich einige Journalisten auch zu sehr auf die Formulierung der Nachrichtenagentur SID verlassen. Der Sport-Informationsdienst etwa meldete die Kandidatur ebenfalls als praktisch unnötig.

SIDSehr schön hat die ganze Geschichte SPIEGEL online zusammengefasst.

Am Ende gilt aber in jedem Fall:

Wie sich Medien zum Sprachrohr eines Tatverdächtigen machen

Hey, das lief ja gut für den Bielefelder Rechtsanwalt Detlev Binder. Er vertritt Wilfried W., der in seinem Haus in Höxter zwei Frauen zu Tode gequält haben soll.

Schlagzeile im Westfalen-Blatt (Screenshot: http://www.westfalen-blatt.de/OWL/Lokales/Kreis-Hoexter/Hoexter/2385095-Horror-Haus-Anwalt-kritisiert-Polizei-mit-Video-Die-Opfer-von-Hoexter-koennten-noch-leben)
Schlagzeile im Westfalen-Blatt (Screenshot: http://www.westfalen-blatt.de/OWL/Lokales/Kreis-Hoexter/Hoexter/2385095-Horror-Haus-Anwalt-kritisiert-Polizei-mit-Video-Die-Opfer-von-Hoexter-koennten-noch-leben)

Er hat dem „Westfalen-Blatt“ ein Interview gegeben. In einem Video-Interview dort sagt er, die beiden Opfer könnten noch leben, wenn die Polizei damals richtig reagiert hätte.

Binder macht seinen Job richtig: Er verteidigt seinen Mandanten. Es steht ihm frei, dessen Version in die Öffentlichkeit zu geben. Auch wenn es manch einem merkwürdig erscheinen mag, dass er einen Teil der Verantwortung auf die Polizei abwälzt, darf er das tun. Wahrscheinlich hätte er aber nicht gedacht, dass ihm viele Medien so willfährig folgen und seine Version fast ungefiltert weitergeben.

So schreibt etwa der Kölner Stadt-Anzeiger:

„Das Täterpaar wollte die Frau freilassen und fuhr mit ihr zur Polizeiwache“, heißt im Anreißer zum Link. Tat es das wirklich? Wollte es das wirklich? Die Indikative im Satz legen das nahe. Aber wir wissen es nicht; die einzige Quelle dafür ist parteilich.

Auch der Tagesspiegel erweckt mit seiner Überschrift den Eindruck von Tatsachenbehauptungen:

Bericht auf tagesspiegel.de (Screenshot: http://www.tagesspiegel.de/weltspiegel/hoexter-bosseborn-taeterpaar-wollte-frau-aus-berlin-2012-in-polizeiwache-freilassen/13641862.html)
Bericht auf tagesspiegel.de (Screenshot: http://www.tagesspiegel.de/weltspiegel/hoexter-bosseborn-taeterpaar-wollte-frau-aus-berlin-2012-in-polizeiwache-freilassen/13641862.html)

Der Stern versteckt immerhin den Urheber der Aussagen in der Dachzeile:

Überschrift bei stern.de (Screenshot: http://www.stern.de/panorama/stern-crime/hoexter-polizei-anwalt-vorwuerfe-6866614.html)
Überschrift bei stern.de (Screenshot: http://www.stern.de/panorama/stern-crime/hoexter-polizei-anwalt-vorwuerfe-6866614.html)

Überrascht bin ich, dass sich die Clickbaiting-Maschine focus.de zurückhält und sich sogar in der Überschrift von der Aussage des Anwalts distanziert:

Schlagzeile auf focus.de (Screenshot: http://www.focus.de/panorama/welt/horror-paar-von-hoexter-anwalt-erhebt-schwere-anschuldigung-polizei-haette-tod-der-frauen-verhindern-koennen_id_5564762.html)
Schlagzeile auf focus.de (Screenshot: http://www.focus.de/panorama/welt/horror-paar-von-hoexter-anwalt-erhebt-schwere-anschuldigung-polizei-haette-tod-der-frauen-verhindern-koennen_id_5564762.html)

Ebenso wie Spiegel online:

Bericht auf spiegel.de (Screenshot: http://www.spiegel.de/panorama/justiz/hoexter-mutmassliches-folterpaar-soll-mit-opfer-zu-polizeiwache-gefahren-sein-a-1094105.html)
Bericht auf spiegel.de (Screenshot: http://www.spiegel.de/panorama/justiz/hoexter-mutmassliches-folterpaar-soll-mit-opfer-zu-polizeiwache-gefahren-sein-a-1094105.html)

Sowohl Focus als auch Spiegel tun dann aber auch kaum anderes, als die Aussagen des Anwalts wiederzugeben. Zwar gibt es den Hinweis darauf, dass sich die Polizei wegen der laufenden Ermittlungen nicht dazu äußern möchte. Aber beide geben dem Tatverdächtigen breiten Raum, ohne den Vorwürfen eine zweite Meinung oder Fakten entgegenstellen zu können. Und rücken damit die Polizei in den Mittelpunkt des Falls.

Ich weiß nicht, ob die Geschichte stimmt. Die Journalisten wissen es auch nicht. Was sich der Leser denkt: keine Ahnung.

Vorwürfe erheben kann jeder. Aber es liegt in der Verantwortung von Journalisten, diesen Vorwürfen entweder nachzugehen und sie zu erhärten – oder die Geschichte erst mal liegenzulassen.

Aber sie klang einfach zu spektakulär. Vielleicht wusste Detlev Binder das.