Estimación por máxima verosimilitud del ejemplo de consumo-ingreso

Volviendo al ejemplo de la función de consumo keynesiana analizada en la sección 3.6, se ve que los estimadores β1 y β2 de MV son los mismos que los estimadores β1 y β2 de MC, a saber, 24.4545 y 0.5091, respectivamente, pero el estimador MV, σ² = 33.7272 es menor que el estimador MCO; σ² de 42.1591. Como se anotó, en muestras pequeñas el estimador MV está sesgado hacia abajo, es decir, en promedio, este subestima la verdadera varianza σ².

Al considerar o incluir los valores de MV de β1, β2 y σ² en la función log de verosimilitud dada en la ecuación (5), se puede demostrar que el valor máximo de la función log de verosimilitud en este ejemplo es -31.7809 (la mayoría de los paquetes de regresión imprimen estos valores). Si se desea obtener el valor máximo de la función de verosimilitud, simplemente obtenga el antilogaritmo de -31.7809. Ningunos de otros valores de los parámetros le darán a usted una probabilidad mayor de obtener la muestra que usted ha empleado en el análisis.

Se deja como ejercicio para el lector demostrar que para el ejemplo de café dado en la tabla 3.4, los valores MV de los coeficientes del intercepto y de la pendiente son exactamente los mismo que los valores MCO. Sin embargo, el valor MV de σ² es 0.01355, mientras que el obtenido por MCO es 0.01656, mostrando una vez más que en muestras pequeñas el valor estimado MV es menor que el estimador MCO. A propositó, para este ejemplo el máximo valor del log de verosimilitud es 8.04811

El método de máxima verosimilitud (II)

Las cuales son precisamente las ecuaciones normales de la teoría de minimos cuadrados obtenida en (3.1.4) y (3.1.5). Por consiguiente, los estimadores de los β, son los mismos que los estimadores MCO, los β, dados en (3.1.6) y (3.1.7) . Esta igualdad no es fortuita. Al examinar la verosimilitud (5), se ve que el último término entra con signo negativo. Por consiguiente, la maximización de (5) equivale a la minimización de este término que es precisamente el enfoque de mínimos cuadrados, como se puede apreciar en (3.1.2).

El método de máxima verosimilitud (I)

Como lo indica el nombre, consiste en estimar los parámetros desconocidos de tal manera que la probabilidad de observar los Y dados sea lo más alta posible (o máxima). Por consiguiente, se tiene que encontrar el máximo de la función (4). Este es un ejercicio sencillo de cálculo diferencial. Para la diferenciación es más fácil expresar (4) en términos de la función logaritmo o log de la siguiente manera. (Nota: ln = logaritmo natural)

Estimación de máxima verosimilitud del modelo de regresión con dos variables

Supóngase que en el modelo de dos variables Yi = ß1 + ß2Xi + ui las Yi son independientes y normalmente distribuidas con media = ßi + ß2Xi y varianza σ². Como resultado, puede escribirse la función de densidad de probabilidad conjunta de Y1, Y2.... Yn dadas las medias y varianzas anteriores, de la siguiente forma

f(Y1, Y2,....... Yn︱ß1+ß2Xi, σ²)

Pero dada la independencia de las Y, esta función de densidad de probabilidad conjunta puede escribirse como el producto de la n funciones de densidad individuales como

Resumen y Conclusiones del Supuesto de Normalidad (II)

1. En los anteriores posts mostraremos la utilidad de estos conocimientos para realizar inferencia con respecto a los valores de los parámetros poblacionales.
2. Una alternativa al método de los mínimos cuadrados es el método de máxima verosimilitud (MV). Para utilizar este método, sin embargo, uno debe hacer un supuesto sobre la distribución de probabilidad del término de perturbación ui. En el contexto de regresión, el supuesto más corriente es que las ui siguen la distribución normal.
3. Bajo el supuesto de normalidad, los estimadores MCO y MV de los parámetros del intercepto y la pendiente del modelo de regresión son idénticos. Sin embargo, los estimadores MCO y MV de la varianza de ui son diferentes. En muestras grandes, sin embargo, estos dos estimadores convergen.
4. Por tanto el método MV generalmente recibe el nombre de método de grandes muestras. El método MV tiene una aplicación más extensa ya que puede ser aplicado también a modelos de regresión no lineal en los parámetros en gran parte del método MCO por razones generalmente no se utiliza.
5. En este blog, dependeremos en gran parte del método MCO por razones prácticas: (a) Comparado con el MV, el MCO es fácil de aplicar; (b) los estimadores MV y MCO de ß1 y ß2 son idénticos y c) aún en muestras moderadamente grandes, los estimadores MCO y MV de σ² no difieren considerablemente 

Sin embargo, para satisfacer al lector con formación matemática, se presenta una breve introducción al MV.

Resumen y Conclusiones del Supuesto de Normalidad (I)

1. En este capítulo se considera el modelo clásico de regresión lineal normal(MCRLN)
2. Este modelo difiere del modelo clásico de regresión lineal (MCRL) que supone específicamente que el término de perturbación ui, que hace parte del modelo de regresión, está totalmente distribuido. El MCRL no requiere ningún supuesto sobre la distribución de probabilidad de ui, solamente requiere que el valor de la media de ui sea cero y su varianza sea una constante finita.
3. La justificación teórica para el supuesto de normalidad es el Teorema del límite central.
4. Sin el supuesto de normalidad, bajo los otros supuestos analizados antes, el Teorema de Gauss-Markov demostró que los estimadores MCO son MELI
5. Con el supuesto adicional de normalidad, los estimadores MCO no solamente son los mejores estimadores insesgados (MEI) sino que también siguen distribuciones de probabilidad bien conocidas. Los estimadores MCO del intercepto y de la pendiente están normalmente distribuidos y el estimador MCO de la varianza de ui(=σ²) está relacionado con la distribución Ji-Cuadrado.

Distribuciones de probabilidad relacionadas con la distribución normal: distribuciones t, Ji - cuadrado (x²), Y F (VII)

Nuevamente por convención, la anotación Fk1k2 significa una variable F con k1 y k2 grados de libertad, en donde el primer subíndice se refiere a los g de 1 del numerador.

En otras palabras, (4.5.2) establece que la variable F es simplemente la razón entre dos variables Ji-Cuadrado independientemente distribuidas dividida por sus respectivos grados de libertad.

Teorema 4.7 La variable t(Student) eleva al cuadrado con k g d 1 tiene una distribución F con k1 = 1g de 1 en el numerador y k2 = k g de 1 en el denominador es decir.

Obsérvese que para que esta igualdad se mantenga, el numerador de los g de 1 de la variable F debe ser 1. Por tanto, F(1,4) = t²4 o F(1,23) = t²23 y así sucesivamente.

Como se anotó, se verá la utilidad práctica de los teoremas anteriores a medida que se avance

Distribuciones de probabilidad relacionadas con la distribución normal: distribuciones t, Ji - cuadrado (x²), Y F (VI)

A propósito, obsérvese que a medida que las k, es decir los g de 1 en (4.5.1) aumentan indefinidamente ( es decir a medida que k → ∞), la distribución t de Student se aproxima a la distribución normal estándar. Por convección, la notación tk significa la distribución t de Student o variable con k grados de libertad.

Teorema 4.6 Si Z1 y Z2 son variables Ji-cuadrado independientemente distribuidas con k1 y k2 g de 1. respectivamente, etonces la variable

tiene una distribución F con k1 y k2 grados de libertad, donde k1 es conocida como el numerador de los grados de libertad y k2 como el denominador de los grados de libertad.

Distribuciones de probabilidad relacionadas con la distribución normal: distribuciones t, Ji - cuadrado (x²), Y F (V)

De esta forma si Z1 y Z2 son variables de X² independientes con k1 y k2 g de 1, respectivamente entonces Z = Z1 + Z2 es también una variable (X²) con (k1+k2) grados de libertad. Esto se denomina la propiedad reproductiva de la distribucion X².

Teorema 4.5 Si Zi es una variable normal estándar [Z1~N(0,1)] y otra variable Z2 sigue una distribución Ji - cuadrado con k g de 1 y es independiente de Zi, entonces la variable definida como

sigue la distribución t de Student con k g de 1. Nota: esta distribución se trata en el apéndice A y es ilustrada más adelante.

Distribuciones de probabilidad relacionadas con la distribución normal: distribuciones t, Ji - cuadrado (x²), Y F (IV)

En resumen, "la suma de los cuadrados de las variables independientes normales estándar tiene una distribución ji-cuadrado con grados de libertad iguales al número de términos en la suma"

Teorema 4.4. Si Z1, Z2,....... Zn son variables aleatorias, distribuidas independientemente, cada una delas cuales sigue una distribución ji-cuadrado con k g de 1, entonces la suma ΣZi = Z1 + Z2 +......+Zn también sigue una distribución Ji-cuadrado con k=Σki g de 1.

Distribuciones de probabilidad relacionadas con la distribución normal: distribuciones t, Ji - cuadrado (x²), Y F (III)

De esta forma, si Z1 ~N(6,2) y Z2 ~ N(7,3) y cov (Z1,Z2) = 0.8, entonces la combinación lineal 0.6Z1 + 0.4Z2 también está normalmente distribuida con media = 0.6(6) + 0.4(7) = 6.4 y varianza = [0.36(2) + 0.16(3) + 2(0.6)(0.4)(0.8)] = 1.584

Teorema 4.3 Si Z1, Z2........., Zn son variables aleatorias independientes normalmente distribuidas tales que cada Zi ~ N(0,1), es decir, una variable normal estandár, entonces ΣZ²i = Z²1 + Z²2 +.......+Z²n sigue una distribución ji-cuadrado con n g de 1. Simbólicamente ΣZ²i~X²n donde n denota los grados de libertad, g de 1.

Distribuciones de probabilidad relacionadas con la distribución normal: distribuciones t, Ji - cuadrado (x²), Y F (II)

En resumen, las combinaciones lineales de variables normales también poseen una distribución normal. Por ejemplo, si Z1 y Z2 son independientes y normalmente distribuidas y si Z1 ~ N(10,2) y Z2 ~ N(8,1.5), entonces la combinación lineal Z = 0.8Z1 + 0.2Z2 también está normalmente distribuida con media = 0.8(10) + 0.2(8) = 9.6 y varianza = 0.64(2) + 0.04(1.5) = 1.34, es decir, Z ~ (9.6, 1.34).

Teorema 4.2 Si Z1, Z2....., Zn están normalmente distribuidas pero no son independientes, la suma Z = ΣkiZi, donde ki son constantes, no todas iguales a cero, está también normalmente distribuida con media Σkiui y varianza [Σk²iσ²i + 2Σkikicov(Zi,Zj), i ≠ j]/

Distribuciones de probabilidad relacionadas con la distribución normal: distribuciones t, Ji - cuadrado (x²), Y F

Las distribuciones de probabilidad t, Ji-cuadrado, y F, están estrechamente relacionadas con la distribución normal. Puesto que se hará uso frecuente de estas distribuciones de probabilidad en los siguientes capitulos, se resumen sus relaciones con la distribución normal en los siguientes teoremas; las pruebas, que están más allá del alcance de este libro.

Teorema 4.1. Si Z1, Z2.....Zn son variables aleatorias independientes y normalmente distribuidas independientes, tales que Zi~N(ui,σ²i), entonces la suma Z = ΣkiZi, donde ki son constates, no todas iguales a cero, está también normalmente distribuida con media Σkiui y varianza Σk²iσ²i, es decir,Z ~N(ΣkiuiΣk²iσ²i).

Método de máxima verosimiltud (MV)

Un método de estimación puntual, con algunas propiedades teóricamente más fuertes que las del método MCO es el método de máxima verosimilitud (MV). Puesto que este método es ligeramente complicado, se analiza en el apéndice de este capítulo. Para el lector que sólo tiene un interés general, será suficiente con aclarar que si se ha supuesto ui normalmente distribuido, como lo hemos hecho por las razones ya expuestas, los estimadores MV y MCO de los coeficientes de regresión, los β, son idénticos y esto es válido para regresiones simples al igual que para las regresiones múltiples. El estimador MV σ² es Σu²i/n. Este estimador es sesgado, mientras que el estimador MCO de σ² = Σu²i/(n-2) como hemos visto, es insesgado. Pero, comparando estos dos estimadores de σ², se ve que a medida que el tamaño dela muestra n aumenta, los dos estimadores de σ² tienen a ser iguales. Por tanto, asintóticamente, (es decir, amedida que n crece indefinidamente), el estimador MV de σ² también es insesgado.

Puesto que el método de mínimos cuadrados con el supuesto adicional de normalidad de ui nos proporciona todas herramientas necesarias para llevar a cabo la estimación y las pruebas de hipótesis de los modelos de regresión lineal, no existe pérdida alguna para los lectores que no deseen continuar revisando el método de máxima verosimilitud debido a su ligera complejidad matemática.

Propiedades de los estimadores MCO bajo el supuesto de normalidad (IV)

Las propiedades de insesgamiento y de varianza mínima de los estimadores MCO han sido demostrados ya en este blog. Es fácil demostrar que β1 y β2 siguen la distribución normal. Como se anotó en los anteriores capitulos, β1 y β2 son funciones lineales del término de perturbación estocástica ui. Ya que se ha supuesto que las ui están normalmente distribuidas, entonces, siguiendo la regla de que cualquier función lineal de variables normalmente distribuidas tiene igualmente una distribución normal, se cumple que β1 y β2 están normalmente distribuidas con las medias y las varianzas dadas anteriormente. La prueba de la afirmación de que (n-2)σ²/σ² sigue una distribución X² con n-2 g de l es un poco más elaborada y puede encontrarse en las referencias.

El punto importante de anotar es que el supuesto de normalidad nos permite derivar las distribuciones de probabilidad o muestrales de β1 (normal), β2(normal), y σ² (Ji-cuadrado). esto simplifica la tarea de establecer intervalos de confianza y de pruebas (estadisticas) de hipótesis.

A propósito, obsérvese que si se supone que ui está distribuida normalmente con media 0 y varianza σ² entonces Yi posee también una distribución normal con una media y una varianza dada por

La prueba de (4.3.8) se deduce del hecho de que cualquier función lineal de variables normalmente distribuidas posee también una distribución normal.

Propiedades de los estimadores MCO bajo el supuesto de normalidad (III)

8. β1 y β2 tienen varianza mínima entre todas las clases de estimadores insesgados, lineales o no lineales. Este resultado, desarrollado por Rao, es muy poderoso porque a diferencia del teorema de Gauss-Markov no está restringido solamente a al clase de estimadores lineales. Por consiguiente, se puede decir que los estimadores de mínimos cuadrados son los mejores estimadores insesgados (MEI)

Propiedades de los estimadores MCO bajo el supuesto de normalidad (II)

5 β2 está normalmente distribuida con

Propiedades de los estimadores MCO bajo el supuesto de normalidad (I)

Con el supuesto de normalidad, los estimadores MCO, β1, β2 y σ² tienen las siguientes propiedades estadisticas.

1.  Son insesgados
2. Tienen varianza mínima. En combinación con 1, esto significa que son insesgados con varianza mínima, o, estimadores eficientes.
3. Consistencia; esto es, a medida que el tamaño de la muestra aumenta indefinidamente, los estimadores convergen hacia sus verdaderos valores poblacionales.
4. β1 está normalmente distribuida con:
   

Por qué razón debe formularse el supuesto de normalidad? Existen diversas razones

1. Como se señaló en la sección 2.5, ui representa la influencia combinada (sobre la variable dependiente) de un gran número de variables independientes que no han sido introducidas explícitamente en el modelo de regresión. Como se explicó, esperamos que la influencia de estas variables omitidas o descartadas sea pequeña y, en el mejor de los casos, aleatoria. Ahora, gracias al conocido teorema del límite central en estadistica, se puede demostrar que si existe un gran número de variables aleatorias independientes e idénticamente distribuidas entonces, con pocas excepciones, la distribución de su suma tiende a ser normal a medida que el número de tales variables se incrementa indefinidamente. Precisamente este teorema del límite central es que el que proporciona una justificación teórica para el supuesto de normalidad de ui.
2. Una variante del teorema del límite central establece que aunque el número de variables no sea muy grande o si estas variables no son esrtrictamente independientes, su suma puede estar aún normalmente distribuida.
3. Con el supuesto de normalidad, las distribuciones de probabilidad de los estimadores MCO pueden derivarse fácilmente ya que una propiedad de la distribución normal es que cualquier función lineal de variables normalmente distribuidas estará también normalmente distribuida. Se demuestra más adelante que, bajo el supuesto de normalidad para ui, los estimadores MCO β1 y β2 están también normalmente distribuidos.
4. Finalmente, la distribución normal es una distribución comparativamente sencilla e involucra dos parámetros  (la media y la varianza) ; es muy conocida y sus propiedades teóricas han sido ampliamente estudiadas en estadísticas matemática. 

Supuesto de Normalidad

La regresión lineal normal clásica supone que cada ui está normalmente distribuida como:

Media: E(ui) = 0

Varianza: E(u²i) = σ²

cov(ui,uj): E(ui, uj) = 0 i ≠ j

Estos supuestos pueden expresarse en forma más compacta como

ui ~ N(0, σ²)

donde ~significa "distribuido" y N significa "distribución normal" y donde los términos entre paréntesis representan los dos parámetros de la distribución normal, la media y la varianza.

A propósito, se puede observar que para dos variables normalmente distribuidas, una covarianza o correlación cero significa independencia entre las dos variables. Por consiguiente con el supuesto de normalidad (4.2.3) significa que ui y uj no solamente, no están correlacionadas sino también independientemente distribuidas.

Por consiguiente, podemos escribir (4.2.4) como

ui ~ N(0, σ²)

donde NID significa normal e independientemente distribuido.