Eine Frau macht eine Telefonumfrage

Telefonumfrage oder Onlineumfrage? Die entscheidende Frage ist eine andere.

/ 22. Oktober 2021

Auch wenn Meinungsumfragen nicht manipuliert sind, ist die mediale Berichterstattung über und mittels Meinungsumfragen oft manipulativ. Einzelnen Umfragen wird dabei zu großes Gewicht eingeräumt. Stattdessen sollten Medien mehr mit dem Durchschnitt verschiedener Umfragen arbeiten.

Im Zuge der Debatte über die Veröffentlichung mutmaßlich frisierter Meinungsumfragen steht die mediale Präsentation von Umfragen ganz allgemein am Prüfstand. Thema ist dabei unter anderem die Frage, ob per Telefon durchgeführte Meinungsumfragen besser als Online-Umfragen sind. Der Verband der Meinungsforschungsinstitute vertritt offenbar diese Position und verbietet seinen Mitgliedern bestimmte Themen wie die Sonntagsfrage rein per Online-Befragung zu erheben. Für Aufsehen sorgte in diesem Zusammenhang auch der Ausschluss des Meinungsforschungsinstituts OGM aus dem Verband.

Doch ab sofort nur noch auf Telefonumfragen zu setzen, wäre auch kein verantwortungsvoller medialer Umgang mit Meinungsumfragen. Im Gegenteil, ein Verzicht auf reine Online-Umfragen könnte sogar Nachteile mit sich bringen.

Jede Befragungsmethode kämpft mit systematischen Verzerrungen

Denn prinzipiell kämpft jede Befragungsmethode mit mehr oder weniger systematischen Verzerrungen. Manche Personengruppen (z.B. ältere Menschen) sind telefonisch einfacher erreichbar als andere. Online-Umfragen tun sich möglicherweise leichter, jüngere Menschen zu erreichen.

Bei jeder Befragungsmethode werden die unmittelbaren Befragungsergebnisse (“Rohdaten”) deshalb in der Regel um bestimmte Verzerrungen korrigiert. Zum Beispiele werden einzelne Antworten anhand bestimmter Kriterien stärker oder weniger stark gewichtet. Kriterien für solche Gewichtungen sind beispielsweise bestimmte demographische Merkmale wie Geschlecht, Alter oder Bildungsgrad, von denen man sehr gut weiß, wie sie in der Gesellschaft ungefähr verteilt sind.

Trotz aller Bemühungen Verzerrungen mittels Gewichtung zu korrigieren, sind mit unterschiedlichen Befragungsmethoden dennoch weiterhin unterschiedliche, teilweise systematische Verzerrungen verbunden. Es gibt also erstmal keinen Grund, warum eine Online-Befragung automatisch schlechter sein sollte als eine telefonisch Befragung.

Manipulierte Meinungsumfragen? Telefonumfragen sind nicht per se besser als Online-Umfragen

Auch der Papst des US-amerikanischen Umfragejournalismus Nate Silver von der Plattfrom FiveThiryEight hat sich in seinem Ranking von US-Umfrageinstituten inzwischen von einem “Bonus” für Telefonumfragen verabschiedet:

“Es ist nicht länger klar, dass Live-Telefonumfragen bessere Ergebnisse liefern, als andere Methoden, weshalb sie nicht länger eine bevorzugte Berücksichtigung in den Modellen und der Bewertung von Umfrageinstituten von FiveThirtyEight eingehen.”

Wichtiger wäre deshalb, und auch das lässt sich von Nate Silver lernen, Umfragen in der medialen Berichterstattung immer mit einem Durchschnitt aller durchgeführten Umfragen zu messen. Für europäische Staaten liefert Politico mit “Poll of Polls” tagesaktuell solche Durchschnittswerte, wobei Umfragen mit besonders kleinen Sample-Größen etwas weniger Stark berücksichtigt werden als solche mit einer höheren Zahl an Befragten.

Sobald wir aber mehr auf Umfragedurchschnitte statt auf Einzelumfragen schauen wird es plötzlich sogar erstrebenswert, verschiedene Befragungsmethoden unter den Umfragen zu haben. In der Gesamtschau führt es nämlich zu robusteren Ergebnissen, weil sich die unterschiedlichen Verzerrungen verschiedener Umfragemethoden zumindest teilweise gegenseitig ausgleichen. Deshalb eignet sich der Durchschnitt mehrerer Umfragen mit verschiedenen Befragungsmethoden sehr gut zur Einordnung einzelner Umfragen.

Worauf es bei Berichten über Umfragen ankommt

Gleichzeitig gibt es wenig Grund, einer einzelnen Online-Umfrage mehr oder weniger zu vertrauen, als einer einzelnen Telefonumfrage. Wichtiger als die Frage, ob eine Umfrage per Telefon, online oder im persönlichen Gespräch durchgeführt wurde, ist und bleibt ihre vernünftige mediale Einordnung. Für eine solche Einordnung braucht es vor allem folgende Punkte:

  • Um die Qualität einer Umfrage beurteilen zu können, braucht es Angaben über Erhebungszeitraum, genau Formulierung der Frage, Befragungsmethodik und natürlich über die Zahl der Befragten Personen.
  • Änderungen zwischen zwei Befragungen, die sich innerhalb der statistischen Schwankungsbreite bewegen,  sollten nur mit größter Zurückhaltung interpretiert werden. (Üblich ist leider häufig das Gegenteil, da wird aus einer Änderungen von einem Prozentpunkt eine Schlagzeile, wonach jemand “zulegt” oder “verliert”.)
  • Neben einem Vergleich der Umfrage-Ergebnisse im Zeitverlauf wäre auch ein Vergleich mit dem Durchschnitt von anderen aktuellen Umfragen empfehlenswert.

Ob sich die Politik dann aber primär an solchen Umfrage-Ergebnissen, oder nicht eher an politischen Prinzipien und Überzeugungen orientieren sollte, das ist eine ganz andere Frage.

 

 

 

Dir gefällt unsere Arbeit?

Das freut uns! Wir sind unabhängig von Parteien und Konzernen. Unterstütze unsere Arbeit mit deiner SPENDE. Jeder Beitrag, ist er noch so klein, ist wichtig!

Fünf wichtige Themen in nur drei knackigen Minuten. Hol dir deinen täglichen Morgenmoment per E‑Mail!

Ich bin einverstanden, einen regelmäßigen Newsletter zu erhalten. Mehr Informationen: Datenschutz.