Das politische Berlin sortiert sich neu – und in den großen Umfrageinstituten genauso wie in den neuen Demoskopie-Startups arbeiten die Mitarbeiter an ihrer Deutung des Geschehens. Einen groben inhaltlichen Schnitzer wie beim Brexit oder bei Donald Trump haben wir nicht erlebt: In Richtung und Reihenfolge waren die meisten Meinungsforscher recht gut. Im Detail lagen sie aber bei einigen Parteien deutlich daneben. Wir haben ausgewertet, welche Einzelinstitute oder Aggregatoren besonders gut gearbeitet haben.
Problematisch für die Institute: Union und AfD
Auffällig ist, dass die Umfragen und Prognosen besonders bei der Union und der AfD stark danebenlagen. Ausgerechnet eine Expertenbefragung vom Forschungsprojekt Pollyvote, einst gestartet an der Ludwig-Maximilians-Universität in München, lag bei der Union mit 4,9 Prozentpunkten am weitesten daneben – allerdings war sie auch von Anfang September. Die AfD wurde wiederum meistens unterschätzt, am deutlichsten von Forsa: Um 3,6 Prozentpunkte lag das Unternehmen bei den erstmals ins Parlament einziehenden Rechten daneben.
Der Spickzettel mit allen Umfragen, Wahlbörsen und Orakeln vor dem Wahltag – sowie die Abweichung zum vorläufigen amtlichen Endergebnis. Wer ins Detail gehen will: Link
Für diese Abweichungen gibt es Gründe: Das schlechte Abschneiden der Union ist wohl vor allem auf mangelnde Mobilisierung zurückzuführen. „Man muss den Erfolg der AfD auch vor dem Hintergrund sehen, dass der Ausgang der Wahl schon klar war“, sagt Matthias Jung von der Forschungsgruppe Wahlen. „Der Sieg der Union war schon eingepreist, das heißt, Sympathisanten mussten der Union nicht unbedingt ihre Stimme geben.“ Viele Wähler dürften sich sicher gewesen sein, dass Angela Merkel die Wahl gewinnt, einige von ihnen vermutlich so sehr, dass sie gar nicht erst zur Wahl gingen. „Wer in den letzten Wochen vor der Wahl im Konrad-Adenauer-Haus [Anm.: Parteizentrale der CDU] war, konnte merken, dass die Nervosität steigt, weil die Mobilisierung der Wähler ein Problem wird”, sagt Nico Siegel vom ARD-nahen Unternehmen infratest dimap.
Ein weiterer Faktor, der möglicherweise zuvor zu wenig Beachtung fand: „Unionsparteien litten auch sehr unter ihren internen Kontroversen. 70 Prozent der Bevölkerungen meinten, dass das eine zerstrittene Partei ist“, sagt Renate Köcher vom Institut Allensbach am Tag nach der Wahl.
Bei der AfD fällt auf, dass erst die besonders kurz vor der Wahl erschienenen Umfragen das starke Momentum abbildeten, das die Partei am Ende erzeugt hatte – und solche Entwicklungen bilden sich in Umfragen mit einer Verzögerung ab. Außerdem haben sich viele Wähler spät für eine Proteststimme entschieden. Auch das ist schwer vorab zu erfassen.
„Interessant wurde es in den letzten vier Wochen“, sagte Köcher weiter. „Die Unionsparteien haben mit Näherung der Wahl massiv verloren. Das hat auch damit zu tun, dass auf einmal die Flüchtlinge wieder in den Medien erschienen sind. Auch dadurch, dass alle Parteien sich an der AfD abgearbeitet haben, hat sie Aufmerksamkeit bekommen und davon profitiert“, analysiert sie.
Doch auch schon 2013 habe es in der Bevölkerung eine Mehrheit für eine restriktivere Flüchtlingspolitik gegeben, sagt Siegel. Die AfD fülle nun die „Repräsentationslücke am rechten Rand”, die das bisherige Parteienspektrum hatte.
Der AfD-Erfolg beruhte zudem auf einer weiteren Überraschung, denn viele Wähler nutzten die Bundestagswahl als Denkzettel für die Regierungsparteien. Ein sonst eher von Landtagswahlen bekannter Effekt. „Wir haben eine steigende Wahlbeteiligung gesehen”, sagte Peter Matuschek von forsa. Die AfD habe viele frühere Nichtwähler dazugewinnen können. Hier könnte neben der vielen Zugewinne in letzter Minute ein weiterer Grund für die Unterschätzung der AfD liegen: Frühere Nichtwähler sind traditionell für Meinungsforscher schwer zu erreichen. „Nichtwähler entziehen sich noch mehr als andere Wähler der Befragung”, sagt Jung von der ZDF-nahen Forschungsgruppe Wahlen.
Angesichts der zuletzt bei der AfD recht korrekt vorhergesehenen Werte bei Landtagswahlen fällt ein weiterer Erklärungsansatz wohl raus: die „schweigende Mehrheit“, die sich bei Befragungen nicht zur mutmaßlich unpopulären Meinung bekennt – wenn es den Instituten bereits gelungen war, diese Gruppe einigermaßen korrekt einzuschätzen, dann dürfte dies hier auch der Fall gewesen sein.
„Viele bürgerliche Wähler trauen sich nicht, offen zu sagen, dass sie AfD wählen. Aber das Gros der AfD Wähler bekennt sich voller Überzeugung dazu“, sagt Köcher von Allensbach.
Bei uns: Ein wenig Signal und etwas Rauschen
Fehlende Mobilisierung und der Zeitverzug von Umfragen sorgen auch dafür, dass die Modelle, die ältere Umfragen berücksichtigen, schlechter abschneiden. Dazu zählen auch Schnitt und Prognose in unserem Demoskopie-Projekt Signal & Rauschen. Mit konstant sechs von sieben Parteien innerhalb der Schwankungsbreite sind wir zufrieden, doch mit Abweichungen von um die 1,4 Prozentpunkten pro Partei liegen wir gerade noch so im oberen Mittelfeld. Einige Einzelinstitute sind ein wenig schlechter, andere wie INSA deutlich besser.
Auch hier liegt eine weitere wichtige Erkenntnis neben den Faktoren, die bei der Union auf fehlende Mobilisierung hätten hindeuten können: Künftige Modelle müssten eine noch steilere Gewichtung der neuesten Umfragen vornehmen.
Statistiker mit Umfragen zufrieden
Umfragen bringen immer einen gewissen Fehler mit sich, häufig wird deshalb eine Bandbreite angegeben, innerhalb derer sich der tatsächliche Wert bewegen dürfte. Wir haben für unsere Auswertung bei Union und SPD eine Bandbreite von +/- drei Prozentpunkte und bei den anderen vier Parteien sowie den Sonstigen +/- zwei Prozentpunkte angelegt.
Bei dieser Zählweise haben die allermeisten Institute sechs der sieben Werte korrekt eingeschätzt. Die am Freitag vor der Wahl veröffentlichten Umfragen von Emnid und Insa hatten alle Werte innerhalb dieser Bandbreiten richtig beziffert, ebenso das Portal zweitstimme.org und die Wahlbörse PESM.
Addierte Abweichungen: Bestes Institut im Schnitt ein Prozentpunkt daneben
Für eine zweite Auswertung haben wir alle Zehntelpunkte Abweichungen zusammengezählt. Bei den großen Instituten ist dem Newcomer INSA die beste Sonntagsfrage gelungen. Er kommt zusammen auf eine Abweichung von 7,4 Prozentpunkten – im Schnitt also lag INSA bei allen Parteien um rund ein Prozentpunkt daneben. Einzig die Überschätzung der Linken und ein zu schlechter Wert für die FDP stechen heraus.
Auch süddeutsche.de kommt in dieser Auswertung nur auf eine auf 7,6 Prozentpunkte zusammengerechnete Abweichung. Allerdings finden sich hier nur die mittleren Werte einer auf der Seite angegebenen Bandbreite. Wir selbst haben uns erlaubt, diese Werte für unseren Vergleich heranzuziehen, die Kollegen hatten nur die Bandbreite veröffentlicht.
18-Uhr-Prognosen waren erneut sehr genau
Wirklich hervorragend waren wieder die am Wahltag um 18 Uhr von ARD und ZDF veröffentlichten Prognosen. Bei keiner einzigen Partei lagen sie mehr als einen Prozentpunkt daneben. Gerade einmal vier Zehntel Punkte Abweichung waren es im Schnitt.
Fazit
Was wir daraus gelernt haben: Die Qualität der Umfragen hierzulande ist deutlich besser als ihr Ruf – und wohl auch besser als in den USA und Großbritannien. Die Bindung der Wähler an die Parteien nimmt kontinuierlich ab, Wahlentscheidungen in letzter Minute werden immer häufiger. Genau diese sind aber für Demoskopen nahezu unmöglich einzupreisen.
Unsere Tabelle mit allen Abweichungen zum eigenen Export gibt es hier.
Beim Erarbeiten des Textes hat Alexander von Streit geholfen; gegengelesen hat Vera Fröhlich; Martin Gommel hat das Aufmacherbild ausgesucht (von Matt Palmer auf Unsplash)