Likelihood-Quotienten-Test

Dieser Artikel oder nachfolgende Abschnitt ist nicht hinreichend mit Belegen (beispielsweise Einzelnachweisen) ausgestattet. Angaben ohne ausreichenden Beleg könnten demnächst entfernt werden. Bitte hilf Wikipedia, indem du die Angaben recherchierst und gute Belege einfügst.

Der Likelihood-Quotienten-Test (kurz LQT), auch Plausibilitätsquotiententest (englisch likelihood-ratio test), ist ein statistischer Test, der zu den typischen Hypothesentests in parametrischen Modellen gehört. Viele klassische Tests wie der F-Test für den Varianzenquotienten oder der Zwei-Stichproben-t-Test lassen sich als Beispiele für Likelihood-Quotienten-Tests interpretieren. Einfachstes Beispiel eines Likelihood-Quotienten-Tests ist der Neyman-Pearson-Test.

Definition

Formal betrachtet man das typische parametrische Testproblem: Gegeben ist eine Grundmenge von Wahrscheinlichkeitsverteilungen ${\displaystyle P_{\theta }}$, abhängig von einem unbekannten Parameter ${\displaystyle \theta }$, der aus einer bekannten Grundmenge ${\displaystyle \Theta }$ stammt. Als Nullhypothese ${\displaystyle H_{0}}$ soll getestet werden, ob der Parameter zu einer echten Teilmenge ${\displaystyle \Theta _{0}}$ gehört. Also:

${\displaystyle H_{0}\colon \theta \in \Theta _{0}}$.

Die Alternative ${\displaystyle H_{1}}$ lautet entsprechend:

${\displaystyle H_{1}\colon \theta \in \Theta _{1}}$,

wobei ${\displaystyle \Theta _{1}}$ das Komplement zu ${\displaystyle \Theta _{0}}$ in ${\displaystyle \Theta }$ bezeichnet.

Die beobachteten Daten sind Realisierungen von Zufallsvariablen ${\displaystyle X_{1},\dotsc ,X_{n}}$, die jeweils die (unbekannte) Verteilung ${\displaystyle P_{\theta }}$ besitzen und stochastisch unabhängig sind.

Der Begriff des Likelihood-Quotienten-Tests suggeriert bereits, dass die Entscheidung des Tests auf der Bildung eines Likelihood-Quotienten bzw. Plausibilitätsquotienten (Quotient zweier Likelihood-Funktionen bzw. Plausibilitätsfunktionen) beruht. Man geht dabei so vor, dass man ausgehend von den Daten ${\displaystyle x=(x_{1},\dotsc ,x_{n})\;}$ und den zu den einzelnen Parametern gehörenden Dichtefunktionen ${\displaystyle f^{X_{1},\dotsc ,X_{n}}(\cdot ;\theta )}$ den folgenden Ausdruck berechnet:

${\displaystyle \Lambda (x):={\frac {\sup _{\theta \in \Theta _{0}}f^{X_{1},\dotsc ,X_{n}}(x_{1},\dotsc ,x_{n};\theta )}{\sup _{\theta \in \Theta }f^{X_{1},\dotsc ,X_{n}}(x_{1},\dotsc ,x_{n};\theta )}}}$.

Heuristisch gesprochen: Man bestimmt anhand der Daten zunächst den Parameter aus der gegebenen Grundmenge, der die größte Wahrscheinlichkeit dafür liefert, dass die gefundenen Daten gemäß der Verteilung ${\displaystyle P_{\theta }}$ realisiert worden sind. Der Wert der Dichtefunktion bezüglich dieses Parameters wird dann als repräsentativ für die gesamte Menge gesetzt. Im Zähler betrachtet man als Grundmenge den Raum der Nullhypothese, also ${\displaystyle \Theta _{0}}$; für den Nenner betrachtet man die gesamte Grundmenge ${\displaystyle \Theta }$.

Es lässt sich intuitiv schließen: Je größer der Quotient ist, desto schwächer ist die Evidenz gegen ${\displaystyle H_{0}}$. Ein Wert von ${\displaystyle \Lambda (x)}$ in der Nähe von Eins bedeutet, dass anhand der Daten kein großer Unterschied zwischen den beiden Parametermengen ${\displaystyle \Theta }$ und ${\displaystyle \Theta _{0}}$ zu erkennen ist. Die Nullhypothese sollte in solchen Fällen also nicht verworfen werden.

Demnach wird bei einem Likelihood-Quotienten-Test die Hypothese ${\displaystyle H_{0}}$ zum Niveau ${\displaystyle \alpha }$ abgelehnt, falls

${\displaystyle \Lambda (x)<k_{\alpha }^{*}}$

gilt. Hierbei ist der kritische Wert ${\displaystyle k_{\alpha }^{*}}$ so zu wählen, dass ${\displaystyle \sup _{\theta \in \Theta _{0}}P_{\theta }(\Lambda (X)<k_{\alpha }^{*})=\alpha }$ gilt.

Die konkrete Bestimmung dieses kritischen Werts ist in der Regel problematisch.

Beispiel 1

Für unabhängige Zufallsvariablen ${\displaystyle X_{1},\dotsc ,X_{n}}$, die jeweils eine Normalverteilung mit bekannter Varianz ${\displaystyle \sigma ^{2}}$ und unbekanntem Erwartungswert ${\displaystyle \mu }$ besitzen, ergibt sich für das Testproblem ${\displaystyle H_{0}\colon \mu =\mu _{0}}$ gegen ${\displaystyle H_{1}\colon \mu =\mu _{1}}$ mit ${\displaystyle \mu _{0}<\mu _{1}}$ der folgende Likelihood-Quotient:

${\displaystyle \Lambda (X)=\exp \left({\frac {1}{\sigma ^{2}}}\sum _{l=1}^{n}X_{l}\left(\mu _{1}-\mu _{0}\right)\right)k\left(\mu _{0},\mu _{1},\sigma ^{2}\right)}$

mit der von den konkreten Daten unabhängigen Konstanten ${\displaystyle k(\mu _{0},\mu _{1},\sigma ^{2})=\exp \left(-{\frac {n}{2\sigma ^{2}}}(\mu _{1}^{2}-\mu _{0}^{2})\right)}$. Man erhält dann, dass ${\displaystyle \Lambda (X)>{\tilde {c}}}$ äquivalent zur Ungleichung

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}X_{i}>c}$

ist. Dies liefert als Resultat den bekannten Gauß-Test; man wählt ${\displaystyle c=\mu _{0}+{\frac {\sigma }{\sqrt {n}}}u_{1-a}}$, wobei ${\displaystyle u_{1-a}}$ das ${\displaystyle (1-\alpha )}$-Quantil einer Standardnormalverteilung bezeichnet.

Approximation der Likelihood-Quotienten-Funktion durch eine Chi-Quadrat-Verteilung

Unter bestimmten Voraussetzungen lässt sich die im Allgemeinen schwierig zu betrachtende Teststatistik ${\displaystyle \Lambda (X)}$ durch Chi-Quadrat-verteilte Zufallsvariablen annähern, so dass sich vergleichsweise leicht asymptotische Tests herleiten lassen. In der Regel ist das möglich, wenn die Nullhypothese sich durch eine lineare Parameter-Transformation als ein Spezialfall der Alternativ-Hypothese darstellen lässt, wie im unten genannten Beispiel des Münzwurfes. Präzise formuliert ist neben eher technischen Annahmen an die Verteilungsfamilie ${\displaystyle P_{\theta }}$ die folgende Annahme einer „Parametrisierbarkeit der Nullhypothese“ fundamental:

Es seien der Parameterraum der Alternative ${\displaystyle \Theta \subset \mathbb {R} ^{d}}$ und der Nullhypothese ${\displaystyle \Delta \subset \mathbb {R} ^{c}}$ gegeben, beide Mengen seien offen und es gelte: ${\displaystyle c<d}$. Zudem existiere eine zweimal stetig differenzierbare Abbildung ${\displaystyle h\colon \Delta \rightarrow \Theta }$ mit ${\displaystyle h(\Delta )=\Theta _{0}}$, deren Jacobi-Matrix ${\displaystyle h'(\eta )}$ für jedes ${\displaystyle \eta \in \Delta }$ vollen Rang besitzt.

Dann gilt:

${\displaystyle T_{n}:=-2\log \Lambda (X)\rightarrow \chi _{d-c}^{2}}$,

wobei die Zufallsvariablen in Verteilung konvergieren.

Die Beweisidee beruht auf einer Aussage über die Existenz von Maximum-Likelihood-Schätzern in allgemeinen parametrischen Familien und ihrer Konvergenz gegen eine normalverteilte Zufallsvariable, deren Varianz das Inverse der Fisher-Information ist.

Beispiel 2: Münzwurf

Ein Beispiel ist der Vergleich, ob zwei Münzen die gleiche Wahrscheinlichkeit haben, Kopf als Ergebnis zu erhalten (Nullhypothese). Wird die erste Münze ${\displaystyle N}$-mal geworfen mit ${\displaystyle n}$ Kopfwürfen und die zweite Münze ${\displaystyle M}$-mal geworfen mit ${\displaystyle m}$ Kopfwürfen, dann ergibt sich die Kontingenztabelle unter Beobachtungen. Unter Gültigkeit der Nullhypothese (${\displaystyle p=q}$) und der Alternativhypothese (${\displaystyle p\neq q}$) ergeben sich die Wahrscheinlichkeiten wie unter Alternativhypothese und Nullhypothese.

	Beobachtungen		Alternativhypothese (H1)		Nullhypothese (H0)
	Münze 1	Münze 2	Münze 1	Münze 2	Münze 1	Münze 2
Kopf	${\displaystyle n}$	${\displaystyle m}$	${\displaystyle p}$	${\displaystyle q}$	${\displaystyle r}$	${\displaystyle r}$
Zahl	${\displaystyle N-n}$	${\displaystyle M-m}$	${\displaystyle 1-p}$	${\displaystyle 1-q}$	${\displaystyle 1-r}$	${\displaystyle 1-r}$

Unter Gültigkeit der Nullhypothese ergibt sich die Likelihood-Funktion als

${\displaystyle L_{H0}(n,m)=r^{n}(1-r)^{N-n}r^{m}(1-r)^{M-m}=r^{n+m}(1-r)^{N-n+M-m}}$

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzung ${\displaystyle {\hat {r}}=(n+m)/(N+M)}$.

Unter Gültigkeit der Alternativhypothese ergibt sich die Likelihood-Funktion als

${\displaystyle L_{H1}(n,m)=p^{n}(1-p)^{N-n}q^{m}(1-q)^{M-m}}$

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzungen ${\displaystyle {\hat {p}}=n/N}$ bzw. ${\displaystyle {\hat {q}}=m/M}$.

Damit ergibt sich ${\displaystyle \Lambda }$ als

${\displaystyle \Lambda (n,m)={\frac {\left({\frac {n+m}{N+M}}\right)^{n+m}\left(1-{\frac {n+m}{N+M}}\right)^{N-n+M-m}}{\left({\frac {n}{N}}\right)^{n}\left(1-{\frac {n}{N}}\right)^{N-n}\left({\frac {m}{M}}\right)^{m}\left(1-{\frac {m}{M}}\right)^{M-m}}}}$

und als Prüfwert

${\displaystyle -2\log(\Lambda (m,n))}$,

der mit einem vorgegebenen kritischen Wert aus der ${\displaystyle \chi _{1}^{2}}$-Verteilung verglichen wird. Da wir in der Alternativhypothese zwei Parameter (${\displaystyle p}$, ${\displaystyle q}$) und in der Nullhypothese einen Parameter (${\displaystyle r}$) haben, ergibt sich die Anzahl der Freiheitsgrade als ${\displaystyle 2-1=1}$.

Literatur

P. J. Bickel, K. Doksum: Mathematical statistics. Holden-Day.