Propiedad de varianza mínima de los estimadores de mínimos cuadrados

Para demostrar que estos estimadores tienen varianza mínima dentro de la clase de todos los estimadores líneales insesgados, consideremos el estimador de minimos cuadrados β2:

Expresado en palabras, con ponderaciones wi = ki, que son ponderaciones de mínimos cuadrados la varianza del estimador líneal β2 es igual a la del estimador de mínimos cuadrados β2; de lo contrario la var (β*2) > var(β2). Dicho de otra manera, si hay un estimador lineal insesgado de β2 de varianza mínima, éste debe ser el estimador de mínimos cuadrados. Igualmente, puede demostrarse que β1 es un estimador líneal insesgado con varianza mínima de β1.

Estimador de Mínimos Cuadrados

Recuerdese:

Covarianza entre β1 y β2

Por definición:

Varianza y errores estándar de los estimadores de mínimos cuadrados

Ahora, de acuerdo con la definición de varianza, se puede escribir.

La varianza de β1 puede ser obtenida siguiendo el mismo tipo de raciocinio. Una vez que se hayan obtenido las varianzas de β1 y β2, se pueden obtener los errores estándar correspondientes, tomando las raíces cuadradas positivas.

Propiedades de linealidad e insesgamiento de los estimadores de mínimos cuadrados

De (3.1.8) se tiene

que muestra que β2 es un estimador lineal porque es una función líneal de Y; de hecho es un promedio ponderado de Yi en donde ki representa las ponderaciones. De la misma manera, puede demostrarse que β1 es también un estimador lineal.

Apartándonos del tema central, nótese las siguientes propiedades de las ponderaciones ki.

1. Puesto que se ha supuesto que las Xi no son estocásticas, las ki tampoco lo son.
2. Σki =0
3. Σk²i =0 1/Σx²i
4. Σkixi = ΣkiXi = 1. Estas propiedades pueden verificarse directamente de la definición de ki. 

Por ejemplo

Derivación de los mínimos cuadrados estimados

Diferenciando (3.1.2) parcialmente con respecto a β1 y β2, se obtiene

Igualando estas ecuaciones a cero y después de alguna simplificación y manipulación algebraica, se obtienen los estimadores dados en las ecuaciones (3.1.6) y (3.1.7)

Un experimento Monte Carlo se realiza de la siguiente forma

1. Supóngase que los valores verdaderos de los parámetros son los siguientes: β1 = 20 y β2 = 0.6.
2. Escójase el tamaño de la muestra, por ejemplo n = 25
3. Fíjense los valores de X para cada observación. En total usted tendrá 25 valores de X.
4. Supóngase que se consulta una tabla de números aleatorios, escójanse 25 valores y llámense ui (hoy en día la mayoría de los paquetes estadísticos tienen generadores de números aleatorios).
5.  Ahora que se conocen β1, β2, Xi y ui, utilizando (3.9.1) obténgase 25 valores de Yi.
6. Utilizando los 25 valores de Yi, generados de esa forma, hágase la regresión de estos valores sobre los 25 valores de X seleccionados en el paso 3, obteniendo así los estimadores de mínimos cuadrados β1 y β2.
7. Supóngase que se repite este experimento 99 veces, utilizando cada vez los mismos valores de β1 y β2 y X. Ciertamente los valores ui, variarán de un experimento a otro. Por consiguiente, en total se tienen 100 experimentos, generando así 100 valores para cada β1 y β2.
8. Obtengase los promedios de estos 100 valores estimados y denomínese β1 y β2.
9. Si estos valores promedios son aproximadamente los mismos que los valores verdaderos de β1 y β2 supuestos en el paso 1, mediante este experimento de Monte Carlos se "establece" que, en efecto, los estimadores de mínimos cuadrados son insesgados. Recuérdese que bajo el MCRL, E(β1) = β1 y E(β2) = β2

Estos pasos caracterizan la naturaleza general de los experimentos de Monte Calo. Tales experimentos son frecuentemente utilizados para estudiar las propiedades estadísticas de diversos métodos de estimación de los parámetros poblacionales. Son partícularmente útiles para estudiar el comportamiento de los estimadores en muestras pequeñas, o finitas. Estos experimentos son también un medio excelente de aplicar personalmente el concepto de muestreo repetido, que es la base de la mayor parte de la inferencia estadística clásica, como se verá en el capítulo 5.