Modelo de regresión lineal de K variables (I)

Si generalizamos los modelos de regresión lineal de dos y tres variables, el modelo de regresión poblacional de k variables (FRP) que contiene la variable dependiente Y y k-1 variables explicativas X2,X3,....Xk puede escribirse así:

donde β1 = el intercepto, β2 a βk = coeficientes (pendientes) parciales u= término de perturbación estocástica e i = iésima observación, siendo n el tamaño de la población. La FRP (9.1.1) debe interpretarse en la forma usual: la media o el valor esperado de Y condicionando a los valores fijos (en muestreo repetido) de X2, X3, ...... Xk, es decir, E(Y|X2i, X3i....., Xki).

Enfoque matricial en el modelo de regresión lineal

En este capítulo se presenta el modelo clásico de regesión lineal de k variables (Y y X2, X3,......Xk) en notación de álgebra matricial. Conceptualmente, el modelo de k variables es una extensión lógica de los modelos de dos o tres variables considerados hasta ahora en este blog. Por consiguiente, en este capítulo se presentan muy pocos conceptos nuevos a excepción de la notación matricial.

Una gran ventaja del álgebra matricial sobre la escalar (álgebra elemental que trata con escalares o números reales) es que proporciona un método compacto de manejo de modelos de regresión, que involucran cualquier número de variables; una vez que el modelo de k variables ha sido formulado y resuelto en notación matricial, la solución se puede aplicar a una, dos, tres, o cualquier número de variables.

Prueba de la razón de verosimilitud (RV) (III)

La idea básica detrás de la prueba RV es simple: Si la(s) restricción(es) a priori son válidas, los FV(log) restringida y no restringida no deben ser diferentes, en cuyo caso λ en (3) será cero. Pero si ese no es el caso, las dos FV divergirián. Puesto que cuando la muestra es grande sabemos que λ sigue una distribución ji cuadrado, podemos averiguar si la divergencia es estadísticamente significativa, es decir a un nivel de significancia de 1 o 5%. O de lo contrario, podemos encontrar el valor p del λ estimado.

Para continuar con el ejemplo, utilizando la versión MICRO TSP 7.0, se obtiene la siguiente información:

FLVNR = -132.3601 y FLVR = -136.5061

Por consiguiente,

λ = 2[-132.3601 - (-136.50610)] = 8.2992


Asintóticamente, su distribución es igual a la ji cuadrado con 1 g de l (porque solamente se tiene una restricción impuesta)+. El valor p de obtener una valor ji cuadrado de 8.2992 o superior es de 0.004 aproximadamente, lo cual es una baja probabilidad. Por lo tanto se puede rechazar la hipótesis nula de que el precio d elos claveles no tenga efecto sobre la demanda de rosas, es decir, en la ecuación (8.9.3) la variable X3 debe conservarse. No es sorprendente que el valor de t del coeficiente de X3 en esta ecuación sea significativo.

Debido a la complejidad matemática de las prubas de Wald y LM no se estudiarán aquí. Pero como se anotó anteriormente, asintóticamente las pruebas de RV, Wald y LM dan respuestas idénticas; la escogencia entre una u otra prueba depende de la conveniencia computacional.

Prueba de la razón de verosimilitud (RV) (II)

Ahora supóngase que nuestra hipótesis nula Ho es que α3, el coeficiente de la variable precios de claveles, X3, es cero. En este caso, la función log de verosimilitud dada en (1) se convertirá en

La ecuación (2) se conoce como la función logarítmica de verosimilitud restringida (FLVR) por haber sido estimada con la restricción de que a priori α3 es cero, mientras que la ecuación (1) se conoce como la FV logarítmica no restringida (FLVNR) por que a priori no se han impuesto restricciones sobre los parámetros. Para probar la validez de la restricción a priori de que α3 sea cero, la prueba RV produce el siguiente estadístico de prueba:


λ = 2(FLVNR - FLVR)

donde FLVNR y FLVR son, la función logarítmica de verosimilitud no restringida [ecuación (1)] y la función logarítmica de verosimilitud restringida [ecuación (2)], respectivamente. Si el tamaño de la muestra es grande, puede demostrarse que el estadístico de prueba λ dado en (3), sigue una distribución ji cuadrado (X²) con un número de g de l igual al número de restricciones impuestas bajo la hipótesis nula, 1 en el presente caso.

Prueba de la razón de verosimilitud (RV) (I)

La prueba RV está basada en el principio de máxima verosimilitud (MV) estudiado antes, en el cual se muestra la forma como se obtienen los estimadores MV del modelo de regresión con dos variables. ESte principio puede extenderse directamente al modelo de regresión múltiple. Bajo el supuesto de que las perturbaciones ui están normalmente distribuidas, se muestra que para el modelo de regresion con dos variables  los estimadores MCO y MV de los coefecientes de regresión son idénticos, pero las varianzas del error estimado son diferentes. El estimador MCO de σ² es Σû²i/(n-2) pero el estimador MV es Σû²i/n, siendo el primero insesgado y el último sesgado, aun cuando en muestras grandes el sesgo desaparece.

Lo mismo es cierto en el caso de la regresión múltiple. Para ilustrar, considérese la función lineal de demanda de rosas dada en la ecuación (8.9.1). análoga a la ecuación (5) del apéndice 4A, la función log-de verosimilitud para (8.9.1) puede escribirse así:

Como se indica en el apéndice 4A, al diferenciar esta función con respecto a α1, α2, α3 y σ², igualando a cero las expresiones resultantes y resolviendo, se obtienen los estimadores MV de estos parámetros: los estimadores MV de α1, α2 y α3 serán idétnticos a los estimadores MCO que ya se han dado en la ecuación (8.9.3), pero la varianza del error diferirá en que la suma residual al cuadrado (SRC) estará divida por n y no por (n-3) como en el caso de MCO.

El camino a seguir

Con este capítulo se concluyó nuestra exposición del modelo clásico de regresión lineal iniciada en el capítulo 2. Como se señalo en ocasiones, el modelo clásico está basado en algunos supuestos ideales o riguroros. Pero ha proporcionado una norma o posición estándar frente a la cual podemos juzgar a otros modelos de regresión que tratan de inyectar "realismo' relajando uno o más supuestos del modelo clásico. La labor en el restos del blog será encontrar  lo que sucede si se incumple uno o más supuestos del modelo clásico. Agradaría saber qué tan "robusto" o "sólido" es el modelo clásico  en el caso de que se adopten supuestos menos rigurosos. Interesaría saber, por ejemplo, lo que sucede si se incumple el supuesto de normalidad, o si se permite la presencia de heteroscedasticidad o de correlación serial o de errores de especificación.

Pero antes de dedicarse a esta investigación, en el capítulo 9 se introducirá el modelo clásico en notación matricial. Este capítulo proporiciona un resumen conveniente de los capítulos 1 al 8 y muestra además la razón por la cual el álgebra matricial es una herramienta tan útil, una vez se sale de los modelos de regresión con dos o tres variables; si se permite que con ésta se maneje el modelo de regresión con variables sería un trabajo muy desordenado.

Debe anotarse que en el capítulo 9 no es esencial para entender el resto del texto. Se ha incluido para beneficio de los estudiantes con mayor formación matemática. Sin embargo con las bases de álgebra matricial dadas en el apéndice B el lector sin conocimiento previo del álgebra matricial  encontrará de utilidad estudiar el capítulo. Pero permítanme reiterar, este capítulo no es crítico para entender el resto del blog; puede ser omitido sin pérdida de continuidad.

La tríada de las pruebas de hipótesis: Razón de verosimilitud (RV), WALD (W) y multiplicador de Lagrange (ML)

En este capítulo y en los anteriores se han utilizado, generalmente, las pruebas t, F y ji-cuadrado para probar una diversidad de hipótesis en el contexto de los modelos de regresión líneal (en parámetros). Pero una vez se sale del mundo algo cómodo de los modelos de regresión lineal, se necesitan métodos para probar hipótesis con los que se puedan manejar modelos de regresión, lineales o no lineales.

Con la conocida triada de pruebas de verosimilitud, de Wald y del multiplicador de Lagrange, se puede lograr este propósito. Lo interesante de observar es que asintóticamente (es decir, en muestras grandes) las tres pruebas son equivalentes en cuanto a que la estadística de prueba asociada con cada una de estas pruebas sigue la distribución ji cuadrado.

Aun cuando se estudiará la Prueba de la razón de verosimilitud en el apéndice de este capítulo, en general no se utilizará este tipo de pruebas en este libro de texto  por la razón pragmática de que en muestras pequeñas o finitas, que son las que, desafortunadamente, manejan la mayoría de los investigadores, la prueba F que se ha utilizado hasta ahora será suficiente. Como lo anotan Davidson y MacKinnon.

Para modelos de regresión lineal, con errores normales o sin ellos, no hay necesidad de revisar el ML,  W y RV ya que al hacerlo no se gana información adicional a la contenida en F^22.