Es gibt in meinem Blog eine ganze Kategorie dazu. Aus Gründen.
Etwa aus diesem:
Auf Grundlage dieser „bezahlten Umfragen“ kommt zuletzt Plan International auf die Idee, junge Männer zu befragen. Die Umfrage macht Schlagzeilen. Viele. Solche:
Ausgangspunkt: eine „Umfrage“ von Plan International. Diese behauptete, repräsentativ zu sein. Online erhoben. Plan International steht dafür, dass Frauen zu fördern die Lösung aller Probleme zu sein hat, umgekehrt: das Männer das Problem sind. DAS PROBLEM. Das muss man ebenso wissen wie die Tatsache, dass Plan sehr clever seine „Umfrageergebnisse“ an einem Sonntag veröffentlichte. Soweit ich das sehe hat nur eine Nachrichtenagentur (afp) das aufgegriffen. Sonntags (und sonst ja meistens auch) sind Online-Redaktionen gar nicht in der Lage, solchen Meldungen nachzurecherchieren, sich Studiendesign, Stichprobengröße, Methodik anzusehen. Abgesehen davon, dass sicher auch nur ein paar der arbeitenden Journalist:innen geschult sind, hinter die Kulissen zu sehen. Also: Schlagzeile. Weil Ergebnis krass.
Backlash
Diesmal und ausnahmsweise melden sich schnell Stimmen zu Wort, die am Ergebnis zweifeln.
Zweifelhafte Umfrageergebnisse erhalten durch die Medien eine hohe Reichweite, woraufhin die Politik handelt. NGO bemerken den politischen Erfolg und geben die nächste Umfrage in Auftrag. Auch Plan International wurde für diesen Artikel von der NZZ für eine Stellungnahme angefragt. Die Organisation hat bisher nicht geantwortet.
Der Sozialforscher Ulrich Kohler kritisiert den Umgang der Medien mit solchen Umfragedaten: «Ich bin der Ansicht, dass für Umfrageergebnisse im Mittelpunkt der Öffentlichkeit die höchsten Massstäbe gelten sollten. Das ist hier sicher nicht der Fall gewesen.»
https://www.nzz.ch/panorama/gewalt-gegen-frauen-warum-die-plan-umfrage-problematisch-ist-ld.1742119
Auch dass die Antwortmöglichkeiten im Ergebnis zusammengefasst worden sind, sei methodisch nicht ganz sauber, kritisiert Schüller. Es gebe andere Instrumente in der Sozialforschung, um beispielsweise mit Tendenzen umzugehen, dass jemand bei einer Skala nie volle Zustimmung oder Ablehnung auswählt. Anstatt die Antwortoptionen zusammenzufassen, sei es daher sinnvoller, Menschen mit solchen Antworttendenzen zu identifizieren und herauszurechnen.
https://www.tagesschau.de/faktenfinder/umfrage-maennlichkeit-plan-100.html
Sehr grundsätzlich
Im Vergleich zu Umfragen an Wahrscheinlichkeitsstichproben bieten Umfragen an Access-Panels, die auf Nicht-Wahrscheinlichkeitsstichproben basieren, unbestreitbare wirtschaftliche Vorteile. Diese Vorteile gehen jedoch mit unvermeidbaren Qualitätseinbußen einher, die auch dann bestehen bleiben, wenn Erstere sehr niedrige Responseraten haben. Daher müssen die wirtschaftlichen Vorteile und die methodischen Einschränkungen gegeneinander abgewogen werden. Es wird argumentiert, dass diese Abwägung anhand normativer Festlegungen erfolgen muss. Unter Anwendung der hier vorgeschlagenen Maßstäbe kommt der Beitrag zu dem Schluss, dass die Qualitätsansprüche an über Massenmedien verbreitete Meinungsumfragen höher sein sollten als für rein (sozial)wissenschaftliche Zwecke.
https://www.degruyter.com/document/doi/10.1515/zfsoz-2023-2001/html
Studien und Umfragen als Instrument von Public Relations
Und deshalb: Nur weil etwas Studie heißt ist es noch keine Nachricht. Aussagen bitte mit „soll“ und „könnte“ einordnen. Und mehr Methodenlehre in den Redaktionen. Bitte.
Das Problem ist: Sind die Artikel geschrieben, ist die Studie veröffentlicht, und passt sie „ins Narrativ“ – dann holt sie niemand mehr zurück, dann werden die Artikel zu „common knowledge“ und keine/r schert sich mehr. Wie etwa in diesem Interview der taz mit einem Männlichkeitsforscher (der zufällig gerade ein Buch geschrieben hat, seufz).
So geht’s. Ist der Geist aus der Flasche fangen vor allem Journalisten ihn nicht mehr ein. Und selbst Forscher übernehmen das Märchen der „aktuellen Ergebnisse“. Ob man (!) auch mal sagen könnte: „ich kenne die Studie nicht gut genug um sie in meine Argumentation einzubauen“? Schon klar, rhetorische Frage.
Bild: Midjourney KI