Wie aussagekräftig Umfragen sind, verstecken manche Journalisten bei der Berichterstattung darüber gerne mal. Schließlich könnte man den eigenen Bericht kaputtmachen, wenn man die tatsächliche Aussagekraft der Daten zu deutlich kennzeichnet. Darüber habe ich ganz allgemein neulich bereits für den Deutschlandfunk berichtet.
Einige Medien machen es seit ein paar Monaten trotzdem. Spiegel online und die Süddeutsche Zeitung online zum Beispiel geben jetzt bei den Ergebnissen der Sonntagsfrage immer auch die Fehlertoleranz mit an. Statt eines festen Werts wie etwa 34 Prozent für die CDU nennen sie die statistische Schwankungsbreite, die in diesem Fall ungefähr zwischen 31 und 37 Prozent liegt. Über diese neuen Darstellungen im Speziellen habe ich ebenfalls neulich für den DLF berichtet.
So deutlich wie jetzt bei Zeit online habe ich es aber noch nicht gesehen, dass Journalisten genau sagen, was so eine Umfrage aussagen kann und was nicht.
Im gestrigen Artikel über die Ergebnisse einer Sonntagsfrage wird zwar mehrmals auf „die Deutschen“ verallgemeinert; weil die Umfrage repräsentativ, kann man das machen. Allerdings wird im Fließtext fast ausschließlich „die Befragten“ verwendet, wenn die einzelnen Werte für die Parteien genannt werden. Das macht durchgehend deutlich, dass es sich um eine Umfrage handelt.
In der dazugehörigen Grafik sind außerdem keine dünnen Linien für die Parteien eingezeichnet, sondern dicke. Auch hier wird also die Schwankungsbreite mit angegeben. Außerdem kann man unterhalb der Grafik zwischen den Ergebnissen verschiedener Umfrageunternehmen hin- und herspringen – und sich auch ein gewichtetes Mittel dieser Umfragen anzeigen lassen.
Dadurch wird ziemlich gut sichtbar, dass zwischen Anfang Februar und Anfang April unklar wer, ob CDU/CSU oder SPD bei einer anstehenden Wahl vorne gelegen hätten, selbst wenn die festen Zahlenwerte womöglich die Führung einer der beiden Seiten angezeigt hätte.
Am besten aber finde ich den Disclaimer am Ende des Artikels. Im letzten Absatz heißt es, konkret auf die berichtete Umfrage bezogen:
Die Fragen zu Koalitionswünschen, der FDP und den Grünen stellte Infratest dimap von Montag bis Mittwoch an 1.013 Wahlberechtigte.
Und im darunterstehenden Kasten wird sehr gut erläutert, welche Aussagekraft Umfragedaten überhaupt haben. So steht dort unter anderem völlig ohne jedes Demoskopendeutsch:
Die Ergebnisse basieren immer auf Stichprobenbefragungen. Diese decken in der Regel nur spezielle Teile der Bevölkerung ab (z.B. Menschen mit Festnetz-Telefonanschluss oder Internetnutzer). Einige potenzielle Teilnehmer sind ablehnend und wollen erst gar nicht befragt werden. Fragen werden mitunter auch falsch verstanden und nicht immer aufrichtig beantwortet. Zum Beispiel auch in Reaktion auf vorangegangene Umfragen.
Das ist mehr als vorbildlich und geht weit über die in Artikel 2.1 des Pressekodex geforderten Angaben hinaus. Dort heißt es lediglich:
Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind.
Sofern es keinen Auftraggeber gibt, soll vermerkt werden, dass die Umfragedaten auf die eigene Initiative des Meinungsbefragungsinstituts zurückgehen.
In einem längeren Text im ZEIT-Online-Blog „Glashaus“ erläutern Sascha Venohr und Andreas Loos, wie sie künftig mit Umfragen umgehen wollen. Dort beziehen sie sich zum Beispiel auf die Fehlertoleranz, die meistens größer ist als die Veränderung der Parteiwerte von der einen zur anderen Umfrage. Sie ziehen daraus den einzig vernünftigen Schluss:
Die vermeintliche Nachricht, wonach Partei X einen oder zwei Prozentpunkte hinzugewonnen habe, werden Sie bei uns nicht mehr finden. (…)
Erst wenn sich ein Trend für eine Partei über einen längeren Zeitraum bei einem Institut bestätigt, berichten wir darüber.
Wenn sich alle Journalisten bei ZEIT online tatsächlich an diese Vereinbarung halten, könnte die Seite bald die seriöseste sein, was die Berichterstattung über Umfragen angeht.