Der englische Kriegspremierminister Churchill hat in einem parlamentarischen Zwischenruf verkündet, er vertraue nur jenen Statistiken, die er selbst gefälscht hat. Diese Geschichte ist allgemein bekannt. Tatsächlich stecken schon in unverfälschten Statistiken unglaublich viele Fehler.
Was passiert, wenn man Studenten einer Universität fragt, ob sie beabsichtigen, zu studieren? Was bekommt man zur Antwort, wenn man Zuseher auf dem Fußballplatz fragt, ob sie Fußballspiele besuchen? Genau so eine Frage hat das brasilianische Medienunternehmen „Globo“ gestellt. Internetnutzer wurden gefragt, ob sie das Internet nutzen. 68 Prozent antworteten online (!), dass sie das Internet nicht nutzen. Dies ist ein grotesker Fall, der allerdings nicht selten zu beobachten ist. Es geht noch verrückter. Eine Firma, die Elektrogeräte herstellt, behauptete in einer Werbung, dass 98 Prozent aller Männer ihrem Rasierapparat die Treue halten, 46 Prozent der Partnerin und 30 Prozent der Automarke. Davon abgesehen, dass die Zahlen auf abenteuerliche Weise zustande kamen, wurden hier nicht bloß Äpfel und Birnen zusammengezählt, sondern Geräte, Frauen und Autos. Viele Leser glaubten den Unsinn, und das war der Zweck der Albernheit.
Statistikexperten zucken nicht einmal mit einer Augenbraue, wenn in einer „Studie“ bekanntgegeben wird, dass laut einer Umfrage so und so viele Bürger angaben, dass sie dies und jenes tun oder glauben. Manche Umfrageresultate sind aussagekräftig, mindestens genauso viele sind wertlos. Es fragt sich nur, welche.
Anschauliche Beispiele für statistische Abgründe sind die PISA-Studien. Mathematiker wissen, dass jede Vorauswahl von Stichproben eine statistische Todsünde ist und das Ergebnis verfälscht. Werden beispielsweise bei einer Wahlumfrage fünfzig Menschen befragt, die alle im gleichen Stadtviertel wohnen, dann ist das Ergebnis unbrauchbar. Genau das wird bei den internationalen PISA-Tests gemacht. Man wählt die Schüler nicht zufällig aus, sondern testet aus Kostengründen mehrere Schüler aus einer Schule. Das hat zur Folge, dass die statistischen Schwankungsbreiten („Konfidenzintervalle“) mindestens viermal so hoch sind, als es bei zufälligen Stichprobenauswahlen wäre. Der Witz an der Sache ist nun, dass die PISA-Statistiker diesen Fehler in den Studien korrekt angeben. Auch auf die unterschiedlichen Methoden der Schülerauswahl in den einzelnen Ländern wird verwiesen. Es wird also weder geschwindelt noch wird etwas verschwiegen. In den Medien werden die statistischen Fehler aber nicht erwähnt. Die Zahlen werden stattdessen von mathematikfreien „Experten“ wie ein Evangelium präsentiert und diskutiert.