Virtual Laboratories > Point Estimation > 1 2 3 4 [5] 6
Considere nuevamente el modelo estadístico básico, en el cual tenemos un experimento aleatorio que resulta en una variable aleatoria observable X que toma valores en un conjunto S. Como ya se estudió anteriormente, el experimento consiste en muestrear n objetos provenientes de una población y registrar un vector de medidas para cada item. En este caso, X tiene la forma
X
= (X1, X2, ..., Xn).donde Xi es el i-ésimo item en el vector de medidas.
Suponga que a es un parámetro real de la distribución de X,
tomando valores en un espacio del parámetro A 
R. Sea f(· | a) la función
densidad de probabilidad de X para a 
A. Note que los operadores valor
esperado, varianza,
y covarianza también dependen
de a, aunque no lo tendremos en cuenta en la notación para que ésta
no se vuelva demasiado complicada. Finalmente, sea Da el
operador derivada respecto de a.
Suponga ahora que b = b(a) es un parámetro de interés. En esta sección consideraremos el problema general de encontrar el mejor estimador de b(a) de entre una determinada clase de estimadores no sesgados. Recuerde que si U es un estimador no sesgado de b(a), entonces la var(U) es el error cuadrático medio. De esta manera, si U y V son estimadores no sesgados de b(a) y
var(U ) 
var(V) para todo a A.
entonces U es un estimador uniformemente mejor que V. Por otro lado, puede suceder que U tenga una varianza menor para algunos valores de a mientras que V tiene una menor varianza para otros valores de a. Si U es uniformemente mejor que cualquier otro estimador no sesgado de b(a), entonces U es un Estimador Uniformemente Imparcial (o no sesgado) de Varianza Mínima (UMVUE, según sus siglas en inglés).
En esta sección, demostraremos que bajo condiciones normales, existe una
cota inferior en la varianza de cualquier estimador no sesgado del parámetro b(a).
De esta forma, si podemos encontrar un estimador que logre superar esta cota
inferior para todo a
A, entonces
éste estimador debe ser uno del tipo UMVUE.
La supocición que debemos hacer es que para cualquier función h
de S 
R con E[|h(X)|]
< 
,
Da E[h(X)] = E{h(X) Da ln[f(X | a)]}.
1. Demuestre que
esta condición es equivalente a la supocición de que el operador derivada Da
puede ser intercambiado con el operador valor esperado E.
Generalmente hablando, la supocición fundamental se satisfacerá si f(x | a) es diferenciable como una función de a, con una derivada que es conjuntamente contínua en x y a, y si el conjunto de soporte {x: f(x | a) > 0} no depende de a.
2. Demuestre que
E{Da ln[f(X | a)]}
= 0. Ayuda: Use la condición básica con h(x) =
1 para x perteneciente a S.
Ahora sea h una función que satisface la condición básica.
3. Demuestre que
cov{h(X), Da
ln[f(X | a)]} = Da E[h(X)].
Ayuda: Primeramente fíjese que la covarianza es
simplemente el valor esperado del producto de las variables, puesto que por el
ejercicio anterior sabemos que la segunda variable tiene media 0. Entonces
simplemente use la condición básica.
4. Demuestre que
var{Da ln[f(X | a)]}
= E{[Da ln[f(X | a)]]2}.
Ayuda: La variable tiene media 0.
5.
Finalmente, use la desigualdad de Cauchy-Scharwtz para encontrar la Cota
Inferior de Cramer-Rao:
var[h(X)] 
{Da E[h(X)]}2
/ E{[Da ln[f(X | a)]]2}.
6. Suponga que
X = (X1, X2, ..., Xn)
es una muestra aleatoria
de longitud n proveniente de la distribución de la variable aleatoria
X que tiene una función densidad g. Demuestre que
var[h(X)] {Da E[h(X)]}2
/ n E{[Da ln[g(X | a)]]2}.
Ayuda: La densidad conjunta es el producto de las densidades marginales. Use las propiedades de los logaritmos, la propiedad de independencia, y el Ejercicio 2.
Ahora suponga que b(a) es un parámetro de interés y que h(X) es un estimador no sesgado de b(a).
7.
Use la cota inferior de Cramer-Rao general para demostrar que
var[h(X)] {Da b(a)}2
/ E{[Da ln[f(X | a)]]2}.
8. Demuestre que
se cumple la igualdad en el Ejercicio 7 si y solo si
h(x) - b(a) = u(a)Da ln[f(x | a)] para todo x
y para alguna función u(a). Ayuda: Recuerde que se cumple la igualdad en la desigualdad de Cauchy-Schwartz si y solo si las variables aleatorias son transformaciones lineales entre si. Recuerde también que Da ln[f(X | a)] tiene media 0.
9. Suponga que
X = (X1, X2, ..., Xn)
es una muestra aleatoria de longitud n proveniente de la distribución
de la variable aleatoria X que tiene una función densidad g.
Demuestre que
var[h(X)] {Da b(a)}2
/ n E{[Da ln[g(X | a)]]2}.
La cantidad E{[Da ln[f(X | a)]]2} que se halla en el denominador de las cotas inferiores de los Ejercicios 5 y 7 se llama el Número de Información de Fisher de X, llamado asi por Sir Ronald Fisher.
Los siguientes ejercicios dan una versión alternativa para la expresión de los Ejercicios 7 y 8, computacionalmente más eficiente.
10. Demuestre que
si las derivadas apropiadas existen y si los intercambios adecuados son
permisibles entonces
E{[Da ln[g(X | a)]]2} = -E{Da2 ln[g(X | a)]}.
Suponga que (I1, I2, ..., In) es una muestra aleatoria de longitud n con una distribución de Bernoulli con parámetro p. La suposición básica es satisfecha.
11. Demuestre que
p(1 - p) / n es la cota inferior de CR para la
varianza de los estimadores no sesgados de p.
12. Demuestre que
la media muestral (o
equivalentemente la proporción muestral) Mn
alcanza la cota de CR y por lo tanto es un UMVUE de p.
Suponga que (X1, X2, ..., Xn) es una muestra aleatoria de longitud n con una distribución de Poisson con parámetro a. La suposición básica es satisfecha.
13. Demuestre que
a / n es la cota inferior de CR para la varianza de los
estimadores no sesgados de a.
14. Demuestre que
la media muestral Mn alcanza la cota de CR y por lo tanto
es un UMVUE de a.
Suponga que (X1, X2, ..., Xn) es un a muestra aleatoria de longitud n con una distribución normal con media µ y varianza d2. La suposición básica es satisfecha con respecto a µ y a d2. Recuerde también que E[(X - µ)4] = 3d4.
15. Demuestre que
d2 / n es la cota inferior de CR para la
varianza de estimadores no sesgados de µ.
16. Demuestre que
la media muestral Mn alcanza la cota de CR y por lo tanto
es un UMVUE de µ.
17. Demuestre que
2d4 / n es la cota inferior de CR para la
varianza de cualquier estimador no sesgado d2.
18.
Demuestre (o recuerde) que la varianza
muestral S2 tiene varianza 2d4 / (n - 1)
y por lo tanto no alcanza la cota inferior de CR en el Ejercicio 17.
19. Demuestre que
si µ es conocida, entonces la estadística de abajo alcanza la cota inferior de
CR y por lo tanto es un UMVUE de d2:
W2 = (1 / n)
i
= 1, ..., n (Xi - µ)2.
20. Demuestre que
si µ es desconocida, ningún estimador de d2 alcanza la
cota inferior de CR.
Suponga que (X1, X2, ..., Xn) es un a muestra aleatoria de longitud n con una distribución gamma con parámetro de escala b y parámetro de forma k. La suposición básica es satisfecha con respecto a b.
21. Demuestre que
b2 / nk es la cota inferior de CR para la
varianza de estimadores no sesgados de b.
22.
Demuestre que si k es conocido, entonces Mn / k
alcanza la cota inferior de CR y por lo tanto es un UMVUE de b.
Suponga que (X1, X2, ..., Xn) es un a muestra aleatoria de longitud n con una distribución uniforme entre (0, a).
23. Demuestre que
no se satisface la suposición fundamental.
24. Demuestre que
la cota inferior de CR para la varianza de estimadores no sesgados de a
es a2 / n.
25.
Demuestre (o recuerde) que
[(n + 1)
/ n]X(n) es no sesgado y tiene
varianza a2 / n(n + 2), la cual es
menor que la cota CR del ejercicio anterior.
La razón por la cual la suposición básica no se satisface es que el conjunto de soporte {x: f(x | a) > 0} depende del parámetro a.
Consideraremos ahora un problema en alguna manera especializado, pero que entra dentro del tema general de esta sección. Suponga que X1, X2, ..., Xn son variables aleatorias observables reales las cuales son no correlacionadas y tienen la misma media desconocida µ, pero posiblemente diferentes desviaciones estándard. Sea di = sd(Xi) para i = 1, 2, ..., n. Consideraremos estimadores de µ que son funciones lineales de las variables de resultado o de salida:
Y =i
= 1, ..., n ciXi donde c1, ..., cn
deben determinarse.
26.
Demuestre que Y es no sesgado si y solo si i
= 1, ..., n ci = 1.
27. Calcule
la varianza de Y en términos de c1, c2,
..., cn y d1, d2, ..., dn.
28.
Use los multiplicadores de Lagrange para demostar que la varianza se minimiza,
sujeta a la restricción de no sesgo o imparcialidad, cuando
cj = (1 / dj2) /i
= 1, ..., n (1 / di2) for j =
1, 2, ..., n.
Este ejercicio muestra como construir los Mejores Estimadores No Sesgados Lineales (BLUE,según su sigla en inglés) de µ, suponiendo que d1, d2, ..., dn son conocidos.
Suponga ahora que di = d para cada i, de manera que las variables de salida tienen la misma desviación estándard. En particular, éste sería el caso si las variables de salida provenientes de una muestra aleatoria de longitud n con una distribución con media µ y desviación estándard d.
29. Demuestre que
en este caso la varianza se minimiza cuando, ci =
1 / n para cada i y por lo tanto Y es la media
muestral.
Este ejercicio muestra que la media muestral Mn es el mejor estimador no sesgado lineal de µ cuando las desviaciones estándard son las mismas y, más aún, que no nececitamos conocer el valor de la desviación estándard.