Lesson 8

Punktskattning

38

Punktskattning används för att uppskatta ett värde på en okänd parameter. Beroende på vad denna parameter representerar finns det olika metoder för att få det mest optimala värdet. Det finns med andra ord situationer där en viss teknik kan vara av preferens före annan beroende på vad som ska beräknas.

Allmänt fall

Den mest allmänna definitionen av punktskattning är att vi har en parameter θ\theta som är en funktion av utfall x1,x2,,xn{x}_{1}, {x}_{2}, \dots , {x}_{n} där detta stickprov av värden kommer från de stokastiska variablerna X1,X2,,Xn {X}_{1}, {X}_{2}, \dots , {X}_{n} som har en sannolikhetsfördelning som är beroende av parametern θ\theta . Själva uppskattningen av θ\theta betecknas θobs{ {\theta}^{*} }_{obs} . Denna uppskattning θobs{ {\theta}^{*} }_{obs} är genom det ett utfall från den stokastiska variabeln θ{\theta}^{*} också kallad stickprovsvariabeln.


För att sammanfatta detta kortfattat:

  • θ\theta är en okänd parameter som ska uppskattas.

  • θ {\theta}^{*} är en S.V.

  • θobs{ {\theta}^{*} }_{obs} är ett tal, den uppskattning av θ\theta och ett utfall av θ{\theta}^{*} .

Uppskattning av väntevärde

Vid en skattning av väntevärdet μ\mu är den mest optimala uppskattningen det aritmetiska medelvärdet x\overline { x } . Detta uttrycks som



μobs=x=1ni=1nxi{ { \mu }^{ * } }_{ obs }=\overline { x } =\frac { 1 }{ n } \sum _{ i=1 }^{ n }{ { x }_{ i } }



där xi{x}_{i} är varje utfall i den givna serien av utfall som väntevärdet ska skattas.

Uppskattning av varians och standardavvikning

Anta nu att variansen och standardavvikningen är okänd. Vid skattning av variansen σ2{\sigma}^{2} används formeln för stickprovsvariansen s2{s}^{2}



(σ2)obs=s2=1n1i=1n(xix)2{ \left( { \sigma }^{ 2 } \right) ^{ * } }_{ obs }={ s }^{ 2 }=\frac { 1 }{ n-1 } \sum _{ i=1 }^{ n }{ { \left( { x }_{ i }-\overline { x } \right) }^{ 2 } }



Notera formeln kräver att man vet värdet på x\overline { x } som motsvarar skattningen av väntevärdet. Av denna anledning kräver formel att man först har utfört skattningen av väntevärdet innan.


Standardavvikningen beräknas som genom samma uppskattning fast roten ur:



σobs=s=1n1i=1n(xix)2{ { \sigma }^{ * } }_{ obs }=s=\sqrt { \frac { 1 }{ n-1 } \sum _{ i=1 }^{ n }{ { \left( { x }_{ i }-\overline { x } \right) }^{ 2 } } }



Exercise

Vid en undersökning hur långt människor går per dag ges följande mätdata (km)


912158119 \, \, \,\,\,12 \,\,\,\,\, 15 \,\,\,\,\, 8 \,\,\,\,\, 11


skatta väntevärdet och standardavvikelsen hos fördelningen som mätdatan kommer från.

Solution

Vi antar att varje mätdata kommer från oberoende stokastiska variabler och använder det aritmetiska medelvärdet för att skatta väntevärdet.



μobs=x=1ni=1nxi=15i=15xi=9+12+15+8+115{ { \mu }^{ * } }_{ obs }=\overline { x } =\frac { 1 }{ n } \sum _{ i=1 }^{ n }{ { x }_{ i } } =\frac { 1 }{ 5 } \sum _{ i=1 }^{ 5 }{ { x }_{ i } } =\frac { 9+12+15+8+11 }{ 5 }


μobs=11km{ { \mu }^{ * } }_{ obs }=11 \, km



Vi skattar nu även standardavvikningen:



σobs=s=1n1i=1n(xix)2=151i=15(xi11)2{ { \sigma }^{ * } }_{ obs }=s=\sqrt { \frac { 1 }{ n-1 } \sum _{ i=1 }^{ n }{ { \left( { x }_{ i }-\overline { x } \right) }^{ 2 } } } =\sqrt { \frac { 1 }{ 5-1 } \sum _{ i=1 }^{ 5 }{ { \left( { x }_{ i }-11 \right) }^{ 2 } } }



σobs=14((911)2+(1211)2+(1511)2+(811)2+(1111)2){ { \sigma }^{ * } }_{ obs }=\sqrt { \frac { 1 }{ 4 } \left( { \left( 9-11 \right) }^{ 2 }+{ \left( 12-11 \right) }^{ 2 }+{ \left( 15-11 \right) }^{ 2 }+{ \left( 8-11 \right) }^{ 2 }+{ \left( 11-11 \right) }^{ 2 } \right) }



σobs=2.7386km{ { \sigma }^{ * } }_{ obs }= 2.7386 \, \text{km}


Uppskattning genom Maximum-likelihood

ML-metoden är en allmän metod för att skatta okända parametrar och fungerar genom att skapa en likelihood-funktion L(θ)L(\theta) där skattningsvärdet θobs{ {\theta}^{*} }_{obs} motsvarar det högsta värde som L(θ)L(\theta) antar. Förutsatt att de stokastiska variablerna X1,X2,,Xn {X}_{1}, {X}_{2}, \dots , {X}_{n} vars fördelning beror av θ\theta är oberoende definieras Likelihood-funktionen L(θ)L(\theta) som:



L(θ)={pX1(x1;θ)pX2(x2;θ)pXn(xn;θ)diskretfX1(x1;θ)fX2(x2;θ)fXn(xn;θ)kontinuerligL\left( \theta \right) =\begin{cases} { p }_{ { X }_{ 1 } }\left( { x }_{ 1 };\theta \right) *{ p }_{ { X }_{ 2 } }\left( { x }_{ 2 };\theta \right) *\dots *{ p }_{ { X }_{ n } }\left( { x }_{ n };\theta \right) \quad \text{diskret} \\ { f }_{ { X }_{ 1 } }\left( { x }_{ 1 };\theta \right) *{ f }_{ { X }_{ 2 } }\left( { x }_{ 2 };\theta \right) *\dots *{ f }_{ { X }_{ n } }\left( { x }_{ n };\theta \right) \quad \text{kontinuerlig} \end{cases}



Exercise

Efter en observation av oberoende händelseförlopp ges följande mätdata:



x1=2,x2=3,x3=5,x4=2{x}_{1}=2, {x}_{2}=3, {x}_{3}=5, {x}_{4}=2



Sannolikhetsfunktionen ges av pX(k)=θ(1θ)k1,0<θ<1{p}_{X}(k)=\theta{(1-\theta)}^{k-1}, \, 0 < \theta < 1 . Skatta θ\theta genom Maximum-likelihood metoden.

Solution

Vi använder oss av L(θ)=pX1(x1;θ)pX2(x2;θ)pXn(xn;θ)L(\theta)= { p }_{ { X }_{ 1 } }\left( { x }_{ 1 };\theta \right) *{ p }_{ { X }_{ 2 } }\left( { x }_{ 2 };\theta \right) *\dots *{ p }_{ { X }_{ n } }\left( { x }_{ n };\theta \right) och får:



L(θ)=pX1(2;θ)pX2(3;θ)pX3(5;θ)pX4(2;θ)L(\theta )={ p }_{ { X }_{ 1 } }\left( 2;\theta \right) *{ p }_{ { X }_{ 2 } }\left( 3;\theta \right) *{ p }_{ { X }_{ 3 } }\left( 5;\theta \right) *{ p }_{ { X }_{ 4 } }\left( 2;\theta \right)


L(θ)=θ(1θ)21θ(1θ)31θ(1θ)51θ(1θ)21=θ4(1θ)8L(\theta )=\theta { (1-\theta ) }^{ 2-1 }*\theta { (1-\theta ) }^{ 3-1 }*\theta { (1-\theta ) }^{ 5-1 }*\theta { (1-\theta ) }^{ 2-1 }={ { \theta }^{ 4 }(1-\theta ) }^{ 8 }


L(θ)=θ4(1θ)8L(\theta )={ { \theta }^{ 4 }(1-\theta ) }^{ 8 }



Vi söker nu maxvärdet av L(θ)L(\theta) . Vanligtvis när man vill hitta maximipunkten bör funktionen dervieras, sättas lika med noll, få ut nollpunkterna och sedan använda sig av teckenschema för att få fram maxvärdet. Men i detta fall gör vi ett steg innan som vi kan kalla för logaritm-tricket.


Anledningen till att vi använder denna är att en logaritmering inte påverkar var maxvädet befinner sig i x-led samtidigt som funktionen vi vill derivera förenklas betydligt. Vi kallar den nya funktionen L2(θ){L}_{2}(\theta) där max(L(θ))=max(L2(θ))max(L(\theta))=max({L}_{2}(\theta)) .



L(θ)=θ4(1θ)8L2(θ)=ln(θ4(1θ)8)L(\theta )={ { \theta }^{ 4 }(1-\theta ) }^{ 8 } \Rightarrow {L}_{2}(\theta)=ln({ { \theta }^{ 4 }(1-\theta ) }^{ 8 })



Vi fortsätter därefter med att förenkla genom lite logaritmregler



L2(θ)=ln(θ4(1θ)8)=ln(θ4)+ln(1θ)8{ L }_{ 2 }(\theta )=ln({ { \theta }^{ 4 }(1-\theta ) }^{ 8 })=ln({ \theta }^{ 4 })+ln{ \left( { 1-\theta } \right) }^{ 8 }


L2(θ)=4ln(θ)+8ln(1θ){ L }_{ 2 }(\theta )=4ln({ \theta })+8ln\left( 1-\theta \right)



Så! Istället för att derivera L(θ)=θ4(1θ)8L(\theta )={ { \theta }^{ 4 }(1-\theta ) }^{ 8 } är det bara att derivera L2(θ)=4ln(θ)+8ln(1θ){ L }_{ 2 }(\theta )=4ln({ \theta })+8ln\left( 1-\theta \right) som är betydligt enklare.


Vi deriverar


L2(θ)=4θ+8θ1{L'}_{2}(\theta )=\frac{4}{\theta}+\frac{8}{\theta-1}



samt sätter L2(θ)=0{L}_{2}'(\theta)=0 för at hitta rötterna och undersöker med teckenschema och får fram att maxvädet är θ=13\theta = \frac{1}{3} .


Detta ger att θobs=13{{\theta}^{*}}_{obs}=\frac{1}{3} .

Uppskattning genom Minsta-kvadrat

MK-metoden är ytterligare en allmän metod för att utföra skattningar av okända parametrar. Vi har den okända parameter θ\theta som vi vill skatta och en funktion Q(θ)Q(\theta) där dess lägsta värdet motsvarar skattningen θobs{ {\theta}^{*} }_{obs} . Vi har åter igen de stokastiska variablerna X1,X2,,Xn{X}_{1}, {X}_{2}, \dots , {X}_{n} vars fördelning beror av θ\theta . Funktionen Q(θ)Q(\theta) definieras av formeln:


Q(θ)=i=1n(xiμi(θ))2Q\left( \theta \right) =\sum _{ i=1 }^{ n }{ { \left( { x }_{ i }-{ \mu }_{ i }\left( \theta \right) \right) }^{ 2 } }



där μi(θ){ \mu }_{ i }\left( \theta \right) motsvarar väntevärdet för den respektive stokastiska variabeln, det vill säga, E(Xi)=μi(θ)E({X}_{i})={ \mu }_{ i }\left( \theta \right) .

Exercise

Liknande uppgift som ovan, vi har mätdatan



x1=2,x2=3,x3=5,x4=2{x}_{1}=2, {x}_{2}=3, {x}_{3}=5, {x}_{4}=2



och sannolikhetsfunktionen pX(k)=θ(1θ)k1,0<θ<1{p}_{X}(k)=\theta{(1-\theta)}^{k-1}, \, 0 < \theta < 1 . Skatta nu θ\theta genom Minsta-kvadrat metoden.

Solution

För att kunna ovanstående formel för Q(θ)Q(\theta) och måste vi först beräkna μi(θ){\mu}_{i}(\theta) , det vill säga väntevärdet för sannolikhetsfunktionen. För att underlätta beräkningar tar vi en titt i ev. formelblad och ser att sannolikhetsfunktionen är en ffgffg -fördelning. Med denna information vet vi dessutom från KTHs formelblad att väntevärdet för funktionen motsvarar E(X)=1θE(X)=\frac{1}{\theta} .


Väntevärdet kan inte beräknas som vanligt med E(X)=kkpX(k)E(X) = \sum _{ k }^{ }{ kp_{ X }\left( k \right)}0<k< 0< k < \infty och vi nöjer därför oss med att det är givet i formelbladet.


Vi använder nu formeln för Q(θ)Q(\theta) och får:



Q(θ)=i=1n(xiμi(θ))2=i=14(xi1θ)2Q\left( \theta \right) =\sum _{ i=1 }^{ n }{ { \left( { x }_{ i }-{ \mu }_{ i }\left( \theta \right) \right) }^{ 2 } } =\sum _{ i=1 }^{ 4 }{ { \left( { x }_{ i }-\frac { 1 }{ \theta } \right) }^{ 2 } }


Q(θ)=(21θ)2+(31θ)2+(51θ)2+(21θ)2=4θ224θ+42Q\left( \theta \right) ={ \left( 2-\frac { 1 }{ \theta } \right) }^{ 2 }+{ \left( 3-\frac { 1 }{ \theta } \right) }^{ 2 }+{ \left( 5-\frac { 1 }{ \theta } \right) }^{ 2 }+{ \left( 2-\frac { 1 }{ \theta } \right) }^{ 2 }=\frac { 4 }{ { \theta }^{ 2 } } -\frac { 24 }{ \theta } +42



Avslutningsvis deriverar vi, får Q(θ)=8(3x1)x3Q'(\theta)=\frac{8(3x-1)}{{x}^{3}} och använder teckendiagram för att hitta det minsta värdet för Q(θ)Q(\theta) som är θ=13\theta=\frac{1}{3} . Detta ger att θobs=13{{\theta}^{*}}_{obs}=\frac{1}{3} .

Comments

Isak Forsberg

Tror det har blivit ett derveringsfel i uppgiften som handlar om Likelihood-funktionen? Derveringen  med 8*Ln(1-theta) tänker jag borde bli  -8/(1-theta) då man måste ta hänsyn till inre derivatan och därför vara negativ?


Samuel Larsson

Båda stämmer. 8 / (θ - 1) är en förenkling av -8 / (1 - θ) genom att multiplicera täljare och nämnare med -1.

-8 * -1 => 8

(1 - θ) * -1 => (-1 + θ) => (θ - 1) 

profile/avatar/default
Joar Hellqvist

Om det är så att θ∗obs är det största värde som L(θ) antar, borde inte svaret då ges av: θ∗obs = L(1/3)=((1/3)^4)*(1-1/3)^8 = 0,000481709? ​

Thomas Peterson

synonym till uppkastning är kräkning. Tror inte detta ord skall vara här

Christian Abdelmassih

@thomaspeterson: uppkastning och uppskattning är två något för nära ord. Tack!

Erik Dahlström

Möjligt att skriva ut den beräkningen här? :)

Christian Abdelmassih

Väntevärdet i denna sannolikhetsfördelning har inte beroende av utfallen utan bara av θ\theta . Detta för att kNk \in \mathbb{N} summeras mot oändligheten och ger en oändlig summa-serie. Denna serie kan uttryckas i som en enda term som geometrisk summa som råkar vara just 1θ\frac{1}{\theta} . Det är därför man ska använda sig av formelsamlingen och inte härleda beviset.