← Übersicht ESTO
ESTO · Übungsblatt 7 · Aufgabe 4

Binomialtest: arbeitet der neue Arzt besser?

Im Krankenhaus gelingen 70 % der Tumor-Operationen. Ein neuer Arzt schafft 40 von 50, also 80 %. Ist er wirklich besser, oder hatte er Glück? Der Binomialtest fragt: Wie wahrscheinlich wären 40 oder noch mehr Erfolge, wenn er nur so gut wäre wie die anderen? Diese Wahrscheinlichkeit ist der p-Wert. In (i) wird er berechnet und mit dem Niveau 5 % verglichen, in (ii) wird gesucht, wie viele Erfolge gereicht hätten, in (iii) wird der p-Wert als Maß für die Beweiskraft gedeutet. Rechts steht der ganze Lösungsweg, links die Erklärung zum aktuellen Schritt. Mit Weiter geht es Schritt für Schritt voran. Ein Klick auf einen Schritt springt direkt dorthin.

Schritt 0 Die Aufgabe

In einem Krankenhaus werden 70 % bestimmter Tumoren erfolgreich entfernt. Ein neuer Arzt entfernt erfolgreich 40 Tumore in seinen ersten 50 Operationen.

  1. Kann man zum Niveau α=5 %\alpha = 5\,\% zeigen, dass der neue Arzt besser arbeitet als die Anderen und dass er deshalb zum Oberarzt ernannt werden sollte?
  2. Wie viele erfolgreiche Operationen (in den ersten 50 Operationen) wären mindestens nötig gewesen, um zum Niveau α=5 %\alpha = 5\,\% zeigen zu können, dass der neue Arzt besser arbeitet?
  3. Interpretieren Sie den in (i) erhaltenen pp-Wert als Evidenzmaß gegen H0H_0 (vgl. untenstehende Tabelle).

Die Tabelle, auf die (iii) verweist („Evidenzmaß“ heißt: Maß für die Beweiskraft):

p-Wert gegen H0H_0 spricht
größer als 15 % nichts
10 % bis unter 15 % kaum etwas
5 % bis unter 10 % einiges
1 % bis unter 5 % vieles
unter 1 % sehr vieles
Zur Musterlösung: Alle Ergebnisse der Musterlösung stimmen (0,0789; mindestens 41; „einiges“). Kleine Unterschiede in der Schreibweise stehen in Schritt 3 und Schritt 11.

(i) Ist der neue Arzt nachweislich besser?

Binomialtest zum Niveau α = 5 %

Schritt 1 40 von 50: besser oder nur Glück?

Beobachtet: Erfolge xx in nn Operationen
n=50,x=40n = 50, \qquad x = 40
Beobachtete Erfolgsquote p^\hat p des neuen Arztes, verglichen mit dem Krankenhaus
p^=xn=4050=0,8=80 %gegenu¨ber70 %\hat p = \frac{x}{n} = \frac{40}{50} = 0{,}8 = 80\,\% \qquad \text{gegenüber} \qquad 70\,\%
Zwei mögliche Erklärungen für die 80 %
(a) er ist wirklich besseroder(b) er ist so gut wie alle, hatte aber Glu¨ck\text{(a) er ist wirklich besser} \qquad \text{oder} \qquad \text{(b) er ist so gut wie alle, hatte aber Glück}

Schritt 2 Welcher Test: der Binomialtest

Die Zufallsvariable: gezählt werden Erfolge, nichts wird gemessen
X=Anzahl erfolgreicher Operationen unter den ersten 50X = \text{Anzahl erfolgreicher Operationen unter den ersten 50}
Voraussetzungen der Binomialverteilung
zwei Ausga¨nge je Operation  ⋅  Operationen unabha¨ngig  ⋅  gleiche Erfolgswahrscheinlichkeit p\text{zwei Ausgänge je Operation} \;\cdot\; \text{Operationen unabhängig} \;\cdot\; \text{gleiche Erfolgswahrscheinlichkeit } p
Das Modell; pp ist die unbekannte Erfolgswahrscheinlichkeit des neuen Arztes
X∼B(50; p)X \sim B(50;\,p)
Der Test, der eine Wahrscheinlichkeit pp mit einem Vergleichswert p0p_0 vergleicht
Binomialtest mit p0=0,7\text{Binomialtest mit } p_0 = 0{,}7

Schritt 3 Hypothesen und Signifikanzniveau

Was man zeigen möchte, kommt in die Alternative HAH_A
H0:  p≤0,7gegenHA:  p>0,7H_0:\; p \le 0{,}7 \qquad \text{gegen} \qquad H_A:\; p > 0{,}7

Die Musterlösung schreibt H1H_1 statt HAH_A; gemeint ist dasselbe.

Signifikanzniveau: so oft darf man sich höchstens irren, wenn man H0H_0 verwirft
α=5 %=0,05\alpha = 5\,\% = 0{,}05

Schritt 4 Was wäre bei 70 % zu erwarten?

Gerechnet wird am Rand von H0H_0, mit p=p0=0,7p = p_0 = 0{,}7
X∼B(50; 0,7)X \sim B(50;\,0{,}7)
Erwartungswert: so viele Erfolge im Mittel
E(X)=n⋅p0=50⋅0,7=35E(X) = n \cdot p_0 = 50 \cdot 0{,}7 = 35
Standardabweichung: so weit streut XX typischerweise um 35
σX=n⋅p0⋅(1−p0)=50⋅0,7⋅0,3=10,5≈3,24\sigma_X = \sqrt{n \cdot p_0 \cdot (1 - p_0)} = \sqrt{50 \cdot 0{,}7 \cdot 0{,}3} = \sqrt{10{,}5} \approx 3{,}24
Die Beobachtung liegt 5 Erfolge über dem Erwartungswert, in Standardabweichungen gemessen
40−35=5,53,24≈1,5440 - 35 = 5, \qquad \frac{5}{3{,}24} \approx 1{,}54

Schritt 5 Der p-Wert: 40 oder noch mehr Erfolge

p-Wert: Wahrscheinlichkeit unter H0H_0 für das Beobachtete oder etwas noch Extremeres
beobachtet: 40noch extremer (noch mehr fu¨r HA): 41,42,…,50\text{beobachtet: } 40 \qquad \text{noch extremer (noch mehr für } H_A\text{): } 41, 42, \dots, 50
Also alle Säulen ab 40
p-Wert=P(X≥40)=P(X=40)+P(X=41)+⋯+P(X=50)\text{p-Wert} = P(X \ge 40) = P(X = 40) + P(X = 41) + \dots + P(X = 50)
Warum nicht nur P(X=40)P(X = 40)? Jede einzelne Anzahl ist selten, sogar die häufigste:
P(X=35)≈0,1223P(X = 35) \approx 0{,}1223

Schritt 6 Eine Säule von Hand: P(X=40)P(X = 40)

Binomialformel mit n=50n = 50 und p0=0,7p_0 = 0{,}7
P(X=k)=(50k)⋅0,7 k⋅0,3 50−kP(X = k) = \binom{50}{k} \cdot 0{,}7^{\,k} \cdot 0{,}3^{\,50-k}
Für k=40k = 40: 40 Erfolge, 50−40=1050 - 40 = 10 Misserfolge
P(X=40)=(5040)⋅0,740⋅0,310P(X = 40) = \binom{50}{40} \cdot 0{,}7^{40} \cdot 0{,}3^{10}
Wie viele Möglichkeiten gibt es, welche 40 der 50 Operationen gelingen? (40!40! kürzt sich weg)
(5040)=50!40!⋅10!=50⋅49⋅…⋅4110⋅9⋅…⋅1=37.276.043.023.296.0003.628.800=10.272.278.170\binom{50}{40} = \frac{50!}{40! \cdot 10!} = \frac{50 \cdot 49 \cdot \ldots \cdot 41}{10 \cdot 9 \cdot \ldots \cdot 1} = \frac{37.276.043.023.296.000}{3.628.800} = 10.272.278.170
Die beiden Potenzen (Taschenrechner)
0,740≈0,000000636681,0,310=0,00000590490{,}7^{40} \approx 0{,}000000636681, \qquad 0{,}3^{10} = 0{,}0000059049
Multiplizieren, von links
10.272.278.170⋅0,000000636681≈6540,1610.272.278.170 \cdot 0{,}000000636681 \approx 6540{,}16
6540,16⋅0,0000059049≈0,038626540{,}16 \cdot 0{,}0000059049 \approx 0{,}03862

Schritt 7 Der p-Wert als Summe von elf Säulen

Erfolge kk P(X=k)P(X = k)
40 0,03862
41 0,02198
42 0,01099
43 0,00477
44 0,00177
45 0,00055
46 0,00014
47 0,00003
48, 49, 50 je unter 0,00001
Σ\Sigma = P(X≥40)P(X \ge 40) 0,07885
Die Summe, auf vier Nachkommastellen gerundet
p-Wert=P(X≥40)=0,03862+0,02198+⋯≈0,07885≈0,0789\text{p-Wert} = P(X \ge 40) = 0{,}03862 + 0{,}02198 + \dots \approx 0{,}07885 \approx 0{,}0789

Schritt 8 Mit R: warum pbinom(39, …) und nicht 40

Das Gegenteil von „mindestens 40“ ist „höchstens 39“
P(X≥40)=1−P(X≤39)P(X \ge 40) = 1 - P(X \le 39)
pbinom(39, 50, 0.7)          # P(X <= 39)
#[1] 0.9211494
1 - pbinom(39, 50, 0.7)      # P(X >= 40), der p-Wert
#[1] 0.07885062
Vergleich mit Schritt 7
1−0,9211494=0,0788506≈0,0789✓1 - 0{,}9211494 = 0{,}0788506 \approx 0{,}0789 \quad \checkmark
1 - pbinom(40, 50, 0.7)      # falsch: das ist P(X >= 41)
#[1] 0.04023163

Schritt 9 Entscheidung: H0H_0 beibehalten

Regel: H0H_0 verwerfen, wenn p-Wert ≤α\le \alpha
p-Wert≈0,0789  >  0,05=α⟹H0 beibehalten\text{p-Wert} \approx 0{,}0789 \; > \; 0{,}05 = \alpha \qquad \Longrightarrow \qquad H_0 \text{ beibehalten}

Antwort: Zum Niveau α=5 %\alpha = 5\,\% lässt sich nicht zeigen, dass der neue Arzt besser arbeitet als die anderen. Mit diesem Test ist die Ernennung zum Oberarzt also nicht begründbar. Widerlegt ist damit aber auch nicht, dass er besser ist: Die 50 Operationen reichen nur nicht als Nachweis.

Schritt 10 Probe mit binom.test

binom.test(40, 50, p = 0.7, alternative = "greater")
#       Exact binomial test
#
# data:  40 and 50
# number of successes = 40, number of trials = 50, p-value = 0.07885
# alternative hypothesis: true probability of success is greater than 0.7
# …
# sample estimates:
# probability of success
#                    0.8
Vergleich mit Schritt 7 und Schritt 1
p-value=0,07885=P(X≥40)✓p^=0,8✓\text{p-value} = 0{,}07885 = P(X \ge 40) \quad \checkmark \qquad \hat p = 0{,}8 \quad \checkmark

(ii) Wie viele Erfolge hätten gereicht?

der kleinste Wert mit p-Wert ≤ 5 %

Schritt 11 Gesucht: die kleinste Anzahl, die reicht

Hätte der Arzt xx Erfolge gehabt, wäre sein p-Wert P(X≥x)P(X \ge x) gewesen
gesucht: das kleinste x mit P(X≥x)≤0,05\text{gesucht: das kleinste } x \text{ mit } P(X \ge x) \le 0{,}05
Ein Erfolg mehr heißt: eine Säule weniger in der Summe, der p-Wert wird kleiner
P(X≥x+1)=P(X≥x)−P(X=x)P(X \ge x + 1) = P(X \ge x) - P(X = x)

Schritt 12 Die Tabelle durchgehen: 41 ist die Grenze

Erfolge xx P(X=x)P(X = x) P(X≥x)P(X \ge x) ≤0,05\le 0{,}05?
38 0,08383 0,22287 nein
39 0,06019 0,13904 nein
40 0,03862 0,07885 nein
41 0,02198 0,04023 ja, als erste
42 0,01099 0,01825 ja
43 0,00477 0,00726 ja
Herkunft: P(X=x)P(X = x) mit dbinom(38:43, 50, 0.7); P(X≥x)P(X \ge x) aus P(X≥40)=0,07885P(X \ge 40) = 0{,}07885 durch Säulen abziehen bzw. dazuzählen
0,07885−0,03862=0,04023,0,04023−0,02198=0,01825,0,01825−0,01099=0,007260{,}07885 - 0{,}03862 = 0{,}04023, \quad 0{,}04023 - 0{,}02198 = 0{,}01825, \quad 0{,}01825 - 0{,}01099 = 0{,}00726
0,07885+0,06019=0,13904,0,13904+0,08383=0,222870{,}07885 + 0{,}06019 = 0{,}13904, \quad 0{,}13904 + 0{,}08383 = 0{,}22287
Von 40 auf 41: die Säule P(X=40)P(X = 40) aus Schritt 6 fällt weg
P(X≥41)=P(X≥40)−P(X=40)=0,07885−0,03862=0,04023P(X \ge 41) = P(X \ge 40) - P(X = 40) = 0{,}07885 - 0{,}03862 = 0{,}04023
Vergleich mit α\alpha
P(X≥40)≈0,0789>0,05,P(X≥41)≈0,0402≤0,05P(X \ge 40) \approx 0{,}0789 > 0{,}05, \qquad P(X \ge 41) \approx 0{,}0402 \le 0{,}05
Ergebnis: mindestens 41 Erfolge; der Ablehnbereich
xmin⁡=41,H0 verwerfen fu¨r X∈{41,42,…,50}x_{\min} = 41, \qquad H_0 \text{ verwerfen für } X \in \{41, 42, \dots, 50\}

Schritt 13 Probe mit R: 1 − pbinom(40, 50, 0.7)

1 - pbinom(40, 50, 0.7)      # P(X >= 41) = 1 - P(X <= 40)
#[1] 0.04023163
binom.test(41, 50, p = 0.7, alternative = "greater")
# number of successes = 41, number of trials = 50, p-value = 0.04023
Vergleich mit Schritt 12
0,04023≤0,05✓0{,}04023 \le 0{,}05 \quad \checkmark

Schritt 14 Warum qbinom(0.95, 50, 0.7) = 40 nicht die Antwort ist

qbinom(0.95, 50, 0.7)        # 95-%-Quantil von B(50; 0,7)
#[1] 40
Das 95-%-Quantil: die kleinste Anzahl qq mit P(X≤q)≥0,95P(X \le q) \ge 0{,}95
P(X≤39)≈0,9211<0,95,P(X≤40)≈0,9598≥0,95⟹q=40P(X \le 39) \approx 0{,}9211 < 0{,}95, \qquad P(X \le 40) \approx 0{,}9598 \ge 0{,}95 \qquad \Longrightarrow \qquad q = 40 
pbinom(40, 50, 0.7)          # P(X <= 40)
#[1] 0.9597684
Oberhalb des Quantils bleibt höchstens 5 %: erst X>40X > 40, also ab 41, wird verworfen
P(X>40)=P(X≥41)=1−P(X≤40)=1−0,9598=0,0402≤0,05P(X > 40) = P(X \ge 41) = 1 - P(X \le 40) = 1 - 0{,}9598 = 0{,}0402 \le 0{,}05
Die 40 selbst gehört nicht in den Ablehnbereich (Schritt 12)
xmin⁡=q+1=40+1=41x_{\min} = q + 1 = 40 + 1 = 41

(iii) Der p-Wert als Evidenzmaß

wie viel spricht gegen H₀?

Schritt 15 Den p-Wert einordnen: „einiges“

Der p-Wert aus (i) in Prozent, auf eine Nachkommastelle
p-Wert≈0,0789=7,89 %≈7,9 %\text{p-Wert} \approx 0{,}0789 = 7{,}89\,\% \approx 7{,}9\,\%
In welchem Bereich der Tabelle liegt er?
5 %  ≤  7,9 %  <  10 %5\,\% \;\le\; 7{,}9\,\% \;<\; 10\,\%
p-Wert gegen H0H_0 spricht
größer als 15 % nichts
10 % bis unter 15 % kaum etwas
5 % bis unter 10 % einiges
1 % bis unter 5 % vieles
unter 1 % sehr vieles

Schritt 16 Ein Hinweis, kein Nachweis

Was 7,9 % bedeuten: ein Arzt mit genau 70 % Erfolgsquote …
… ka¨me in rund 8 von 100 Fa¨llen auf 40 oder mehr Erfolge in 50 Operationen\text{… käme in rund 8 von 100 Fällen auf 40 oder mehr Erfolge in 50 Operationen}
Das Niveau bleibt, wie vor dem Test festgelegt
α=5 % bleibt fest— nicht nachtra¨glich auf 10 % erho¨hen\alpha = 5\,\% \text{ bleibt fest} \quad \text{— nicht nachträglich auf } 10\,\% \text{ erhöhen}
Zum Vergleich mit einem Erfolg mehr (Schritt 12): Bereich „vieles“ und höchstens α\alpha
P(X≥41)≈4,0 %,1 %≤4,0 %<5 %=αP(X \ge 41) \approx 4{,}0\,\%, \qquad 1\,\% \le 4{,}0\,\% < 5\,\% = \alpha

Schritt 17 Ergebnis

✓(i) p-Wert =P(X≥40)≈0,0789>0,05= P(X \ge 40) \approx \mathbf{0{,}0789} > 0{,}05: H0H_0 wird beibehalten. Zum Niveau 5 % lässt sich nicht zeigen, dass der neue Arzt besser arbeitet — die Ernennung zum Oberarzt lässt sich mit diesem Test nicht begründen.
✓(ii) Nötig wären mindestens 41 Erfolge gewesen: P(X≥41)≈0,0402≤0,05P(X \ge 41) \approx 0{,}0402 \le 0{,}05.
✓(iii) 7,9 %7{,}9\,\% liegt zwischen 5 % und 10 %: Gegen H0H_0 spricht einiges — ein Hinweis, dass er besser ist, aber kein Nachweis.

Proben: Die Summe der elf Säulen (Schritt 7) und 1 - pbinom(39, 50, 0.7) geben beide 0,07885; binom.test bestätigt 0,07885 und 0,04023. Plausibel ist das auch: 40 liegt nur gut 1,5 Standardabweichungen über dem Erwartungswert 35, so etwas kommt auch bei 70 % Erfolgsquote nicht selten vor.

Typische Fehler: Nur P(X=40)≈0,0386P(X = 40) \approx 0{,}0386 statt P(X≥40)P(X \ge 40) nehmen — das ist kleiner als 0,05 und führte zur falschen Entscheidung. In R 1 - pbinom(40, …) statt 1 - pbinom(39, …) schreiben — das ergibt 0,0402 und würde ebenfalls fälschlich verwerfen. In (ii) qbinom(0.95, 50, 0.7) = 40 direkt als Antwort nehmen — richtig ist die nächste Zahl, 41. „H0H_0 beibehalten“ als „der Arzt ist nicht besser“ lesen — es heißt nur „nicht nachweisbar“.