Propiedades de los estimadores MCO bajo el supuesto de normalidad (III)

8. β1 y β2 tienen varianza mínima entre todas las clases de estimadores insesgados, lineales o no lineales. Este resultado, desarrollado por Rao, es muy poderoso porque a diferencia del teorema de Gauss-Markov no está restringido solamente a al clase de estimadores lineales. Por consiguiente, se puede decir que los estimadores de mínimos cuadrados son los mejores estimadores insesgados (MEI)

Propiedades de los estimadores MCO bajo el supuesto de normalidad (II)

5 β2 está normalmente distribuida con

Propiedades de los estimadores MCO bajo el supuesto de normalidad (I)

Con el supuesto de normalidad, los estimadores MCO, β1, β2 y σ² tienen las siguientes propiedades estadisticas.

1.  Son insesgados
2. Tienen varianza mínima. En combinación con 1, esto significa que son insesgados con varianza mínima, o, estimadores eficientes.
3. Consistencia; esto es, a medida que el tamaño de la muestra aumenta indefinidamente, los estimadores convergen hacia sus verdaderos valores poblacionales.
4. β1 está normalmente distribuida con:
   

Por qué razón debe formularse el supuesto de normalidad? Existen diversas razones

1. Como se señaló en la sección 2.5, ui representa la influencia combinada (sobre la variable dependiente) de un gran número de variables independientes que no han sido introducidas explícitamente en el modelo de regresión. Como se explicó, esperamos que la influencia de estas variables omitidas o descartadas sea pequeña y, en el mejor de los casos, aleatoria. Ahora, gracias al conocido teorema del límite central en estadistica, se puede demostrar que si existe un gran número de variables aleatorias independientes e idénticamente distribuidas entonces, con pocas excepciones, la distribución de su suma tiende a ser normal a medida que el número de tales variables se incrementa indefinidamente. Precisamente este teorema del límite central es que el que proporciona una justificación teórica para el supuesto de normalidad de ui.
2. Una variante del teorema del límite central establece que aunque el número de variables no sea muy grande o si estas variables no son esrtrictamente independientes, su suma puede estar aún normalmente distribuida.
3. Con el supuesto de normalidad, las distribuciones de probabilidad de los estimadores MCO pueden derivarse fácilmente ya que una propiedad de la distribución normal es que cualquier función lineal de variables normalmente distribuidas estará también normalmente distribuida. Se demuestra más adelante que, bajo el supuesto de normalidad para ui, los estimadores MCO β1 y β2 están también normalmente distribuidos.
4. Finalmente, la distribución normal es una distribución comparativamente sencilla e involucra dos parámetros  (la media y la varianza) ; es muy conocida y sus propiedades teóricas han sido ampliamente estudiadas en estadísticas matemática. 

Supuesto de Normalidad

La regresión lineal normal clásica supone que cada ui está normalmente distribuida como:

Media: E(ui) = 0

Varianza: E(u²i) = σ²

cov(ui,uj): E(ui, uj) = 0 i ≠ j

Estos supuestos pueden expresarse en forma más compacta como

ui ~ N(0, σ²)

donde ~significa "distribuido" y N significa "distribución normal" y donde los términos entre paréntesis representan los dos parámetros de la distribución normal, la media y la varianza.

A propósito, se puede observar que para dos variables normalmente distribuidas, una covarianza o correlación cero significa independencia entre las dos variables. Por consiguiente con el supuesto de normalidad (4.2.3) significa que ui y uj no solamente, no están correlacionadas sino también independientemente distribuidas.

Por consiguiente, podemos escribir (4.2.4) como

ui ~ N(0, σ²)

donde NID significa normal e independientemente distribuido.

Distribución de probabilidad de las perturbaciones ui (II)

Puesto que el objetivo es la estimación igual que las pruebas de hipótesis, se necesita especificar la distribución de probabilidad de las perturbaciones ui. Por qué? la respuesta es sencilla. En la sección 3A.2 del apéndice 3A, se demostró que los estimadores MCO β1 y β2 son funciones lineales de ui, el cual es aleatorio por supuestos. Por consiguiente, las distribuciones muestrales o de probabilidades de los estimadores MCO dependerán de los supuestos formulados sobre la distribución de probabilidad de ui. Dado que las distribuciones de probabilidad de estos estimadores son necesarias para realizar inferencias sobre sus valores poblacionales, la naturaleza de la distribución de probabilidad de ui asume un papel muy importante en las pruebas de hipótesis.

Puesto que el método de MCO no considera supuestos sobre la naturaleza probabilistica de ui, es poco útil para obtener inferencias sobre la FRP a partir de la FRM, a pesar del teorema Gauss-Markov. Este vació puede llenarse si está dispuesto a suponer que los u siguen algún tipo de distribución probabílisticas. Por razones que se explicarán muy pronto, en el conexto del análisis de regresión generalmente se supone que los u poseen una distribución normal.

Distribución de probabilidad de las perturbaciones ui (I)

Recuérdese que para la aplicación del método de mínimos cuadrados ordinarios (MCO) al modelo clásico de regresión lineal no se consideran supuestos sobre la distribución de probabilidad de las perturbaciones ui. Los únicos supuestos que se formularon con respecto a las ui eran que éstas tenían valor esperado de cero, no estaban correlacionadas y tenían varianza constante. Con estos supuestos, se vio que los estimadores MCO ß1, ß2 y σ² satisfacián diversas probiedades estadisticas deseables, tales como las de insesgamiento y varianza mínima. Su nuestro objetivo es únicamente la estimación puntual, el método MCO será, por tanto suficiente. Pero la estiamción puntual es solamente un aspecto de la inferencia estadística, siendo el otro, las pruebas de hipótesis.

Así, el interés está no sólo en obtener, digamos ß2, sino también en utilizarlo para hacer afirmaciones o inferencias acerca del verdadero ß2. Más generalmente, nuestra meta es no sólo obtener la función de regresión muestral (FRM) sino utilizarla para inferir acerca de la función de regresión poblacional (PRF).