Exponentiële familie

In de kansrekening en de statistiek is een exponentiële familie een klasse kansverdelingen die in een speciale vorm geschreven kunnen worden. Van dergelijke kansverdelingen zegt men dat ze behoren tot de exponentiële klasse. De bedoelde speciale vorm is gekozen voor het wiskundig gemak, vanwege een aantal algebraïsche eigenschappen, maar ook omdat exponentiële families in bepaald opzicht heel natuurlijk zijn. Het begrip is geïntroduceerd in 1935-1936 door E.J.G. Pitman, G. Darmois en B.O. Koopman.

Definitie

De eenvoudigste vorm van een exponentiële familie wordt gevormd door kansverdelingen met één parameter. De kansdichtheid of kansfunctie heeft de vorm:

${\displaystyle f(x;\theta )=h(x)\exp(\eta (\theta )T(x)-A(\theta ))}$,

waarin ${\displaystyle T,h,\eta }$ en ${\displaystyle A}$ bekende functies zijn.

De parameter ${\displaystyle \theta }$ heet de parameter van de familie. Merk op dat ${\displaystyle x}$ een vector van reële getallen kan zijn.

Als ${\displaystyle \eta (\theta )=\theta }$, zegt men dat de exponentiële familie in kanonieke vorm is. De kanonieke vorm is niet eenduidig, aangezien ${\displaystyle \eta (\theta )=\theta }$ vermenigvuldigd kan worden met een constante ongelijk aan 0, als tegelijkertijd ${\displaystyle T(x)}$ door deze constante gedeeld wordt. Door de transformatie ${\displaystyle \eta =\eta (\theta )}$ is het altijd mogelijk de exponentiële familie in een kanonieke vorm te schrijven.

De betekenis van de functies ${\displaystyle T,h,\eta }$ en ${\displaystyle A}$ is als volgt:

• ${\displaystyle T}$ is een voldoende steekproeffunctie van de verdeling.
• ${\displaystyle \eta }$ heet de natuurlijke parameter. De verzameling waarden van ${\displaystyle \eta }$ waarvoor de functie ${\displaystyle f(x;\theta )}$ eindig is, heet de natuurlijke parameterruimte. Bewezen kan worden dat deze convex is.
• ${\displaystyle A(\theta )}$ is een normeringsfactor die zo bepaald is dat de totale kansmassa gelijk is aan 1.

Meer parameters

De definitie wordt uitgebreid tot families met meer parameters ${\displaystyle \theta =(\theta _{1},\theta _{2},\ldots ,\theta _{m})}$ door de vorm:

${\displaystyle f(x;\theta )=h(x)\exp(\eta (\theta )'T(x)-A(\theta ))}$

waarin ${\displaystyle \eta }$ en ${\displaystyle T}$ nu vectorwaardige functies van gelijke dimensie zijn.

Net als in het eendimensionale geval heet de exponentiële familie in kanonieke vorm te zijn, als voor elke ${\displaystyle i}$ geldt: ${\displaystyle \eta _{i}(\theta )=\theta _{i}}$.

Voorbeelden

De normale, de exponentiële, de gamma-, de chi-kwadraat-, beta-, binomiale, multinomiale, Poisson-, negatief-binomiale en geometrische verdeling vormen elk een exponeniële familie.

Voorbeelden van niet-exponentiële families zijn de Cauchy-verdeling en de uniforme verdeling.

Normale verdeling met bekende variantie

De dichtheid van de normale verdeling met verwachting ${\displaystyle \mu }$ en bekende variantie 1, is,

${\displaystyle f(x;\mu )={\frac {1}{\sqrt {2\pi }}}e^{-{\tfrac {1}{2}}(x-\mu )^{2}}}$

Dit is een exponentiële familie in kanonieke vorm, met:

${\displaystyle h(x)={\frac {1}{\sqrt {2\pi }}}e^{-{\tfrac {1}{2}}x^{2}}}$

${\displaystyle T(x)=x}$

${\displaystyle A(\mu )={\tfrac {1}{2}}\mu ^{2}}$

${\displaystyle \eta (\mu )=\mu }$

Normale verdeling

De normale verdeling met onbekende verwachting ${\displaystyle \mu }$ en onbekende variantie ${\displaystyle \sigma ^{2}}$ heeft de dichtheid:

${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{/2\sigma ^{2}}}}}$.

Dit is ook een exponentiële familie met:

${\displaystyle \theta =\left({\mu \over \sigma ^{2}},{1 \over \sigma ^{2}}\right)}$

${\displaystyle h(x)={\frac {1}{\sqrt {2\pi }}}}$

${\displaystyle T(x)=\left(x,-{x^{2} \over 2}\right)}$

${\displaystyle A(\theta )={\theta _{1}^{2} \over 2\theta _{2}}-\ln(\theta _{2}^{1/2})={\mu ^{2} \over 2\sigma ^{2}}-\ln \left({1 \over \sigma }\right)}$

Binomiale verdeling

Een voorbeeld van een discrete exponentiële familie is de ${\displaystyle B(n,p)}$-verdeling met bekende parameter ${\displaystyle n}$. De kansfunctie is:

${\displaystyle f(x;p)={\tbinom {n}{k}}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\}}$

Dit kan geschreven worden als:

${\displaystyle f(x;p)={\tbinom {n}{k}}\exp \left(x\log \left({\tfrac {p}{1-p}}\right)+n\log(1-p)\right)}$,

waaruit blijkt dat de binomiale verdeling een exponentiële familie is, met natuurlijke parameter:

${\displaystyle \eta =\log {\tfrac {p}{1-p}}}$.