Dein Gehirn irrt sich bei Daten: Eine Lektion aus Konfidenzintervallen
Einleitung: Jenseits des Durchschnitts
Eine Umfrage erscheint auf dem Bildschirm: Ein Kandidat hat 33 % der Stimmen. Ein Sportkommentator verkündet, ein Basketballspieler habe eine Freiwurfquote von 85 %. Solche Einzelwertschätzungen begegnen uns überall, aber wie sicher können wir uns wirklich darauf verlassen? Beträgt der tatsächliche Wert exakt 33 % oder 85 %? Oder könnte er höher sein? Niedriger?
Das Konfidenzintervall (KI) ist das statistische Instrument, das entwickelt wurde, um diese Frage zu beantworten. Es liefert eine Bandbreite plausibler Werte für die tatsächliche Zahl, nicht nur eine einzelne Schätzung. Wie wir jedoch sehen werden, werden im allgemeinen Verständnis dessen, was ein Konfidenzintervall darstellt, oft einige überraschend tiefgreifende und kontraintuitive Wahrheiten über Daten und Unsicherheit.
Der erste Grundsatz lautet: Du darfst dich nicht selbst täuschen – und du bist die Person, die am leichtesten zu täuschen ist.
1. Ihre Intuition bezüglich Unsicherheit ist wahrscheinlich falsch.
Unser Gehirn ist von Natur aus nicht darauf ausgelegt, den tatsächlichen Umfang der Unsicherheit anhand weniger Daten abzuschätzen. Wir neigen dazu, den Zahlen, die wir sehen, zu viel Vertrauen zu schenken.
Betrachten wir folgendes Beispiel: Ein professioneller Basketballspieler trifft 17 von 20 Freiwürfen, was einer Trefferquote von 85 % entspricht. Bevor Sie fortfahren, halten Sie kurz inne und wagen Sie eine Schätzung. Was halten Sie für die realistische Spanne der langfristigen Fähigkeiten dieses Spielers? Notieren Sie Ihre Antwort wahr Wir warten.
Die meisten Menschen schätzen einen recht engen Bereich. Das tatsächliche 95%-Konfidenzintervall liegt jedoch zwischen 63.1 % und 95.6 %.
Diese Spanne ist deutlich größer, als die meisten intuitiv erwarten würden. Sie verdeutlicht eine wichtige Erkenntnis: Kleine Stichproben bergen ein hohes Maß an Unsicherheit. Sich allein auf die Schätzung von 85 % zu verlassen, ist ohne den Kontext des Konfidenzintervalls gefährlich irreführend. Die Schätzung beschreibt zwar das Ergebnis, aber das Konfidenzintervall zeigt an, inwieweit (oder wie wenig) sich daraus verallgemeinern lässt.
2. „95 % sicher“ bedeutet nicht das, was Sie denken.
Dies ist das häufigste und gravierendste Missverständnis von Konfidenzintervallen. Die Formulierung „95 % Konfidenz“ bedeutet not , dass die Wahrscheinlichkeit, dass der wahre Populationswert innerhalb des gerade berechneten Intervalls liegt (z. B. 63.1 % bis 95.6 %), 95 % beträgt.
Die korrekte Interpretation ist differenzierter. Es geht um den Prozess, nicht um das Ergebnis. Würde man das Experiment viele Male wiederholen und jedes Mal ein 95%-Konfidenzintervall berechnen, wären 95 % dieser berechneten Intervalle im Durchschnitt mit dem wahren Populationswert verknüpft. Anders ausgedrückt: Das Vertrauen in die Methode beruht auf ihrer langfristigen Zuverlässigkeit, nicht auf der Genauigkeit eines einzelnen berechneten Intervalls.
Stellen Sie sich eine große Schüssel mit 100 Kugeln vor, davon 25 rote und 75 schwarze. Der tatsächliche Anteil roter Kugeln beträgt 25 %. Nun ziehen Sie wiederholt zufällig 15 Kugeln, berechnen den Anteil roter Kugeln in Ihrer Stichprobe und ermitteln daraus ein 95%-Konfidenzintervall. Im Laufe der Zeit werden 5 % dieser Intervalle rein zufällig den tatsächlichen Wert von 25 % nicht enthalten. Sie wissen also nie, ob das berechnete Intervall zu den 95 % gehört, die den tatsächlichen Wert korrekt enthalten, oder zu den 5 %, die ihn nicht enthalten.
Diese Unterscheidung ist für die intellektuelle Redlichkeit in der Statistik von entscheidender Bedeutung.
Da das Intervall zufälligen Schwankungen unterliegt, ist es korrekt zu fragen, wie wahrscheinlich es ist, dass der Populationswert im Intervall enthalten ist. Der Populationswert selbst unterliegt keinen zufälligen Schwankungen, daher ist es nicht korrekt zu fragen, wie wahrscheinlich es ist, dass der Populationswert innerhalb des Intervalls liegt.
3. Ihre Annahmen sind wichtiger als Ihre Berechnungen.
Ein Konfidenzintervall ist das Ergebnis einer mathematischen Formel. Diese Formel ist jedoch nur gültig, wenn die zugrunde liegenden Annahmen über Ihre Daten zutreffen. Ist der Datenerhebungsprozess fehlerhaft, ist die Mathematik bedeutungslos.
Hier die wichtigsten Annahmen:
- Zufallsstichprobe (oder repräsentative Stichprobe): Die Daten müssen eine faire und unvoreingenommene Repräsentation der größeren Population darstellen, über die Sie Schlussfolgerungen ziehen möchten.
- Unabhängige Beobachtungen: Jeder Datenpunkt muss unabhängig von den anderen ausgewählt werden. Eine Befragung von Ehemann und Ehefrau beispielsweise würde dagegen verstoßen.
- Genaue Daten: Die Daten müssen korrekt gezählt, aufgezeichnet und tabellarisch erfasst werden, frei von Fehlern oder vorsätzlicher Manipulation.
Die Geschichte liefert eindrucksvolle Beispiele dafür, was passiert, wenn diese Annahmen nicht zutreffen.
- In the Roosevelt-Landon-Wahl 1936Die Meinungsforscher sagten bekanntermaßen einen Erdrutschsieg für Landon voraus. Ihre Stichprobe stammte jedoch aus Telefonbüchern und Kfz-Zulassungslisten. 1936 besaßen wohlhabendere Menschen deutlich häufiger Telefone und Autos und neigten zudem eher zu Landon, was zu einer verzerrten Stichprobe führte. Doch es gab ein zweites Problem: Landons Anhänger beantworteten die Umfrage viel häufiger als Roosevelt-Anhänger. Die Umfrage war somit sowohl durch Stichprobenverzerrung als auch durch Antwortverweigerung beeinträchtigt und erwies sich als katastrophal falsch.
- In the Dewey-Truman-Wahl von 1948Umfragen sagten einen Sieg Deweys voraus. Zeitungen druckten sogar schon die Schlagzeile „Dewey schlägt Truman“ vor. Die Umfragen selbst waren für ihre Zeit wahrscheinlich zutreffend, wurden aber Wochen vor der Wahl durchgeführt. Die Annahme, die Wählermeinung würde sich nicht ändern, war falsch; viele Wähler änderten in den letzten Wochen ihre Meinung.
Die Lehre daraus ist klar: Ein Konfidenzintervall kann lediglich die Unsicherheit aufgrund zufälliger Stichprobenfehler quantifizieren. Systematische Verzerrungen bei der Datenerhebung lassen sich damit weder erkennen noch korrigieren. Was man hineingibt, kommt auch wieder heraus – egal wie ausgefeilt die Formel ist.
4. Die „Dreierregel“: Ein einfacher Trick, wenn man nichts sieht
Wie berechnet man ein Konfidenzintervall, wenn in einer Stichprobe kein einziges Ereignis auftritt? Kann man beispielsweise, wenn eine neue medizinische Behandlung in der ersten Studie keine Nebenwirkungen zeigt, daraus schließen, dass sie vollkommen sicher ist? Natürlich nicht.
Die „Dreierregel“ ist eine einfache und nützliche Abkürzung für genau diese Situation.
Die Regel besagt: Wenn Sie in 'n' Versuchen null Ereignisse beobachten, erstreckt sich das ungefähre 95%-Konfidenzintervall für die Rate dieses Ereignisses von 0 bis 3/n.
Das ist äußerst praktisch. Zeigt ein neues Medikament bei den ersten 250 Patienten keine Nebenwirkungen, ermöglicht uns die Dreierregel, mit 95%iger Wahrscheinlichkeit davon auszugehen, dass die tatsächliche Nebenwirkungsrate zwischen 0 % und 1.2 % liegt (da 3/250 = 0.012). Sie liefert eine sinnvolle Obergrenze für das Risiko, selbst wenn bisher keine Probleme aufgetreten sind.
Fazit: Nutze die Pausen!
Eine einzelne Zahl – ein Durchschnitt, ein Prozentsatz, eine Rate – erzählt nie die ganze Geschichte. Sie ist eine Schätzung, eine einzelne Vermutung inmitten unzähliger Unsicherheiten.
Konfidenzintervalle zwingen uns, uns mit dieser Unsicherheit auseinanderzusetzen. Sie bieten eine entscheidende, ernüchternde und ehrlichere Sichtweise darauf, was unsere Daten uns tatsächlich über die Welt aussagen können. Indem sie uns die Bandbreite plausibler Wahrheiten aufzeigen, bewahren sie uns davor, uns von der Illusion der Gewissheit täuschen zu lassen.
Wenn Sie das nächste Mal eine Statistik sehen, fragen Sie dann nach der Zahl selbst oder nach der damit verbundenen Unsicherheit?
