Coeficiente de determinación R² en notación matricial

El coeficiente de determinación R² ha sido definido como

Propiedades del vector MCO β

En los casos de dos y tres variables, se sabe que los estimadores MCO son lineales e insesgados y en la clase de todos los estimadores lineales e insesgados, éstos tienen varianza minima (la propiedad de Gauss-Markov). En resumen, los estimadores MCO son los mejores estimadores lineales insesgados (MELI). Esta propiedad se extiende a todo el vector β; es decir β es lineal (cada uno de sus elementos es una función lineal de Y, la variable dependiente). E(β) = β, es decir, el valor esperado de cada elemento de β es igual al elemento correspondiente de la verdadera β, y en la clase de todos los estimadores lineales e insesgados de β, el estimador MCO, β tiene varianza mínima.

La prueba se da en el ápendice 9A, sección 9A.4. Como se estableció en la introducción, el caso de k variables es como en la mayoría, una extensión directa de los casos de dos y tres variables.

Matriz de varianza-covarianza de β (II)

Aun cuando, en principio, û'^û puede ser calculado a partir de los residuales estimados, en la práctica puede ser obtenido directamente de la siguiente manera. Recuérdese que Σû²i (=SRC) = STC - SEC, en el caso de dos variables se puede escribir.

Matriz de varianza-covarianza de β (I)

Los métodos matriciales permiten desarrollar fórmulas no sólo para la varianza de  βi, cualquier elemento dado de  β, sino también para la covarianza  entre dos elementos de  β cualesquiera, es decir,  βi y  βj. Se necesitan estas varianzas y covarianzas para fines de inferencia estadística .

Por definición, la matriz de varianza-covarianza de  β es [cf.(9.2.2)]

Una ilustración (II)

Haciendo uso de las reglas de inversión de matriz dadas en el apéndice B, se puede ver que la inversa de la matriz (X'X) anterior es:

Anteriormente se obtuvo β1 = 24.4545 y β2 = 0.5091 utilizando el computador. La diferencia entre las dos estimaciones se debe a errores de aproximación. A propósito obsérvese que al trabajador con calculadora de escritorio, es esencial obtener resultados con un número significativo de digitos para minimizar los errores de aproximación.

Una ilustración (I)

Como ilustración de los métodos matriciales desarrollados hasta el momento, se trabaja nuevamente sobre el ejemplo consumo-ingreso del cap. 3, cuya información se reproduce en (9.1.6) Para el caso de dos variables se tiene que:

Estimación MCO (IV)

Nótese las siguientes características de la matriz (X'X): (1) Proporciona las sumas simples de cuadrados y productos cruzados de las variables X, una de las cuales es el término intercepto que toma el valor 1 para cada observación. Los elementos sobre la diagonal principal, da las sumas simples de cuadrados y aquellso por fuera de la diagonal principal, dan las sumas simples de productos cruzados (por simples se quiere decir, en las unidades originales de medición). (2) Es simétrica puesto que el producto cruzado entre X2i y X3i es el mismo que entre X3i y X2i. (3) es de orden (kxk), es decir, tiene k filas y k columnas.

En (9.3.10), las cantidades conocidas son (X'X) y (Xý) ( el producto cruzado entre las variables X y y) y la incógnita es β. Ahora utilizando álgebra matricial, si la inversa de (X'X) existe, es decir, (X'X)^-1, entonces premultiplicando ambos lados de (9.3.10) por esta inversa se obtiene.

La ecuación (9.3.11) es un resultado fundamental de la teoría MCO en notación matricial. Muestra la forma cómo el vector β puede ser estimado a partir de la información dada. Aun cuando (9.3.11) se obtuvo de (9.3.9), ésta puede obtenerse directamente de (9.3.7) diferenciando û'û con respecto a β.

Estimación MCO (III)

La ecuación (9.3.7) es la representación matricial de  (9.3.4). En notación escalar, el método MCO consiste en estimar β1, β2, ...., βk de tal manera que Σûi² sea lo más pequeño posible. Esto se logra diferenciando parcialmente (9.3.4) con respecto a β1, β2, ...., βk e igualando a cero las expresiones resultantes. ESte proceso produce k ecuaciones simultáneas con k incógnitas, que son las ecuaciones normales de la teoría de mínimos cuadrados. como se muestra en el apéndice 9A, sección 9A.1, estas ecuaciones son las siguientes:

Estimación MCO (II)

Como en los modelos de dos y tres variables, en el caso de k variables los estimadores MCO se obtienen minimizando.

Estimación MCO (I)

Para obtener el estimado MCO de β, se escribe primero la regresión muestral de k-variables (FRM):

donde β es un vector de columna de k elementos compuesto por lo estimadores MCO de los coeficientes de regresión y donde û es un vector columna n x 1 de n residuales.

Supuestos del modelo clásico de regresión lineal en notación matricial (III)

Si existe una relación lineal exacta tal como (9.2.4), se dice que las variables son colineales. Si, por otra parte (9.2.4) se cumple solamente si λ1 = λ2 λ3 = ........= 0, entonces se dice que las variables X son linealmente independientes. Una razón intutiva para el supuesto de no multicolinealidad se dio en el capítulo 7. Se analizará más a fondo este supuesto en el capítulo 10.

Supuestos del modelo clásico de regresión lineal en notación matricial (II)

La matriz (9.2.2) [y su representación dada en (9.2.3)] se denomina matriz de varianza-covarianza de als perturbaciones ui; los elementos sobre la diagonal principal (que van de al esquina superior izquierda a la esquina inferior derecha) dan las varianzas y los elementos por fuera de la diagonal principal dan las covarianzas. Obsérvese que la matriz de varianza-covarianza es simétrica: los elementos por encima y por debajo de la diagonal principal son reflejos unos de los otros.

El supuesto 3 establece que la matriz X, n x k es no-estocástica; es decir;  consta de números fijos. Como se anotó anteriormente, el análisis de regresión es de regresión condicional, es decir, condicional a los valores fijos de las variables X.

El supuesto 4 establece que la matriz X tiene rango columna completo igual a k, el número de columnas en la matriz. ESto significa que las columnas de la matriz X son linealmente independientes; es decir, no ha relación lineal exacta entre las variables X. En otras palabras no hay multicolinealidad. En notación escalar esto es equivalente a decir que no existe un conjunto de números λ1, λ2, ...... λk = 0 no todos iguales a cero tales que [veáse (7.1.8)]/

Supuestos del modelo clásico de regresión lineal

Supuestos del modelo clásico de regresión lineal en notación matricial (I)

Los supuestos en los cuales se basa el modelo clásico de regresión lineal están dados en la tabla 9.1; estós se presentan en notación escalar y en notación matricial. El supuesto 1 dado en (9.2.1) significa que el valor esperado del vector de perturbaciones u, es decir, de cada uno de sus elementos, es cero. M;as explicitamente, E(u) = 0 significa.

El supuesto 2 [ecuación (9.2.2)] es una forma compacta de expresar los dos supuestos dados en (3.2.5) y (3.2.2) bajo notación escalar. Para ver esto, se puede escribir

donde I es una matriz de identidad NxN

Modelo de regresión lineal de K variables (IV)

Como ilustración de la representación matricial, considérese el modelo de dos variables consumo-ingreso presentado en el capítulo 3, a saber, Yi =β1 +β2Xi +ui donde Y es el gasto de consumo y X es el ingreso. Utilizando la información dada en la tabla 3.2, se puede escribir la formulación matricial así:

Como en los casos de dos y tres variables, el objetivo es estimar los parámetros de la regresión múltiple (9.1.1) e inferir sobre ellos a partir de la información disponible. En la notación matricial esto equivale a estimar β y a inferir sobre ella. Para fines de estimación, se puede utilizar el método de mínimos cuadrados ordinarios (MCO) o el método de máxima verosimilitud (MV). Pero como se anotó antes, estos dos métodos producen valores estimados idénticos de los coeficientes de regresión. Por consiguiente, se limitará la atención al método de MCO.

Modelo de regresión lineal de K variables (III)

Utilizando las reglas de multiplicación y adición de matrices, el lector debe verificar que los sistemas (9.12) y (9.13) sean equivalentes.

El sistema (9.1.3) es conocido como la representación matricial del modelo de regresión lineal general (de k variables). Puede escribirse en forma más compacta como

Modelo de regresión lineal de K variables (II)

La ecuación (9.1.1) es una expresión abreviada para el siguiente conjunto de n ecuaciones simultáneas:

donde y = vector columna, nx1, de observaciones sobre la variable dependiente Y.

X = matriz, n x k, que contiene n observaciones sobre las k-1 variables X2 a Xk, la primera columna de números 1 representan el término del intercepto. (Esta matriz se conoce también como la matriz de información).

β = vector columna, k x 1 de los parámetros desconocidos β1, β2, βk.

u= vector columna, nx1, de n perturbaciones ui.

Modelo de regresión lineal de K variables (I)

Si generalizamos los modelos de regresión lineal de dos y tres variables, el modelo de regresión poblacional de k variables (FRP) que contiene la variable dependiente Y y k-1 variables explicativas X2,X3,....Xk puede escribirse así:

donde β1 = el intercepto, β2 a βk = coeficientes (pendientes) parciales u= término de perturbación estocástica e i = iésima observación, siendo n el tamaño de la población. La FRP (9.1.1) debe interpretarse en la forma usual: la media o el valor esperado de Y condicionando a los valores fijos (en muestreo repetido) de X2, X3, ...... Xk, es decir, E(Y|X2i, X3i....., Xki).

Enfoque matricial en el modelo de regresión lineal

En este capítulo se presenta el modelo clásico de regesión lineal de k variables (Y y X2, X3,......Xk) en notación de álgebra matricial. Conceptualmente, el modelo de k variables es una extensión lógica de los modelos de dos o tres variables considerados hasta ahora en este blog. Por consiguiente, en este capítulo se presentan muy pocos conceptos nuevos a excepción de la notación matricial.

Una gran ventaja del álgebra matricial sobre la escalar (álgebra elemental que trata con escalares o números reales) es que proporciona un método compacto de manejo de modelos de regresión, que involucran cualquier número de variables; una vez que el modelo de k variables ha sido formulado y resuelto en notación matricial, la solución se puede aplicar a una, dos, tres, o cualquier número de variables.

Prueba de la razón de verosimilitud (RV) (III)

La idea básica detrás de la prueba RV es simple: Si la(s) restricción(es) a priori son válidas, los FV(log) restringida y no restringida no deben ser diferentes, en cuyo caso λ en (3) será cero. Pero si ese no es el caso, las dos FV divergirián. Puesto que cuando la muestra es grande sabemos que λ sigue una distribución ji cuadrado, podemos averiguar si la divergencia es estadísticamente significativa, es decir a un nivel de significancia de 1 o 5%. O de lo contrario, podemos encontrar el valor p del λ estimado.

Para continuar con el ejemplo, utilizando la versión MICRO TSP 7.0, se obtiene la siguiente información:

FLVNR = -132.3601 y FLVR = -136.5061

Por consiguiente,

λ = 2[-132.3601 - (-136.50610)] = 8.2992


Asintóticamente, su distribución es igual a la ji cuadrado con 1 g de l (porque solamente se tiene una restricción impuesta)+. El valor p de obtener una valor ji cuadrado de 8.2992 o superior es de 0.004 aproximadamente, lo cual es una baja probabilidad. Por lo tanto se puede rechazar la hipótesis nula de que el precio d elos claveles no tenga efecto sobre la demanda de rosas, es decir, en la ecuación (8.9.3) la variable X3 debe conservarse. No es sorprendente que el valor de t del coeficiente de X3 en esta ecuación sea significativo.

Debido a la complejidad matemática de las prubas de Wald y LM no se estudiarán aquí. Pero como se anotó anteriormente, asintóticamente las pruebas de RV, Wald y LM dan respuestas idénticas; la escogencia entre una u otra prueba depende de la conveniencia computacional.

Prueba de la razón de verosimilitud (RV) (II)

Ahora supóngase que nuestra hipótesis nula Ho es que α3, el coeficiente de la variable precios de claveles, X3, es cero. En este caso, la función log de verosimilitud dada en (1) se convertirá en

La ecuación (2) se conoce como la función logarítmica de verosimilitud restringida (FLVR) por haber sido estimada con la restricción de que a priori α3 es cero, mientras que la ecuación (1) se conoce como la FV logarítmica no restringida (FLVNR) por que a priori no se han impuesto restricciones sobre los parámetros. Para probar la validez de la restricción a priori de que α3 sea cero, la prueba RV produce el siguiente estadístico de prueba:


λ = 2(FLVNR - FLVR)

donde FLVNR y FLVR son, la función logarítmica de verosimilitud no restringida [ecuación (1)] y la función logarítmica de verosimilitud restringida [ecuación (2)], respectivamente. Si el tamaño de la muestra es grande, puede demostrarse que el estadístico de prueba λ dado en (3), sigue una distribución ji cuadrado (X²) con un número de g de l igual al número de restricciones impuestas bajo la hipótesis nula, 1 en el presente caso.

Prueba de la razón de verosimilitud (RV) (I)

La prueba RV está basada en el principio de máxima verosimilitud (MV) estudiado antes, en el cual se muestra la forma como se obtienen los estimadores MV del modelo de regresión con dos variables. ESte principio puede extenderse directamente al modelo de regresión múltiple. Bajo el supuesto de que las perturbaciones ui están normalmente distribuidas, se muestra que para el modelo de regresion con dos variables  los estimadores MCO y MV de los coefecientes de regresión son idénticos, pero las varianzas del error estimado son diferentes. El estimador MCO de σ² es Σû²i/(n-2) pero el estimador MV es Σû²i/n, siendo el primero insesgado y el último sesgado, aun cuando en muestras grandes el sesgo desaparece.

Lo mismo es cierto en el caso de la regresión múltiple. Para ilustrar, considérese la función lineal de demanda de rosas dada en la ecuación (8.9.1). análoga a la ecuación (5) del apéndice 4A, la función log-de verosimilitud para (8.9.1) puede escribirse así:

Como se indica en el apéndice 4A, al diferenciar esta función con respecto a α1, α2, α3 y σ², igualando a cero las expresiones resultantes y resolviendo, se obtienen los estimadores MV de estos parámetros: los estimadores MV de α1, α2 y α3 serán idétnticos a los estimadores MCO que ya se han dado en la ecuación (8.9.3), pero la varianza del error diferirá en que la suma residual al cuadrado (SRC) estará divida por n y no por (n-3) como en el caso de MCO.

El camino a seguir

Con este capítulo se concluyó nuestra exposición del modelo clásico de regresión lineal iniciada en el capítulo 2. Como se señalo en ocasiones, el modelo clásico está basado en algunos supuestos ideales o riguroros. Pero ha proporcionado una norma o posición estándar frente a la cual podemos juzgar a otros modelos de regresión que tratan de inyectar "realismo' relajando uno o más supuestos del modelo clásico. La labor en el restos del blog será encontrar  lo que sucede si se incumple uno o más supuestos del modelo clásico. Agradaría saber qué tan "robusto" o "sólido" es el modelo clásico  en el caso de que se adopten supuestos menos rigurosos. Interesaría saber, por ejemplo, lo que sucede si se incumple el supuesto de normalidad, o si se permite la presencia de heteroscedasticidad o de correlación serial o de errores de especificación.

Pero antes de dedicarse a esta investigación, en el capítulo 9 se introducirá el modelo clásico en notación matricial. Este capítulo proporiciona un resumen conveniente de los capítulos 1 al 8 y muestra además la razón por la cual el álgebra matricial es una herramienta tan útil, una vez se sale de los modelos de regresión con dos o tres variables; si se permite que con ésta se maneje el modelo de regresión con variables sería un trabajo muy desordenado.

Debe anotarse que en el capítulo 9 no es esencial para entender el resto del texto. Se ha incluido para beneficio de los estudiantes con mayor formación matemática. Sin embargo con las bases de álgebra matricial dadas en el apéndice B el lector sin conocimiento previo del álgebra matricial  encontrará de utilidad estudiar el capítulo. Pero permítanme reiterar, este capítulo no es crítico para entender el resto del blog; puede ser omitido sin pérdida de continuidad.

La tríada de las pruebas de hipótesis: Razón de verosimilitud (RV), WALD (W) y multiplicador de Lagrange (ML)

En este capítulo y en los anteriores se han utilizado, generalmente, las pruebas t, F y ji-cuadrado para probar una diversidad de hipótesis en el contexto de los modelos de regresión líneal (en parámetros). Pero una vez se sale del mundo algo cómodo de los modelos de regresión lineal, se necesitan métodos para probar hipótesis con los que se puedan manejar modelos de regresión, lineales o no lineales.

Con la conocida triada de pruebas de verosimilitud, de Wald y del multiplicador de Lagrange, se puede lograr este propósito. Lo interesante de observar es que asintóticamente (es decir, en muestras grandes) las tres pruebas son equivalentes en cuanto a que la estadística de prueba asociada con cada una de estas pruebas sigue la distribución ji cuadrado.

Aun cuando se estudiará la Prueba de la razón de verosimilitud en el apéndice de este capítulo, en general no se utilizará este tipo de pruebas en este libro de texto  por la razón pragmática de que en muestras pequeñas o finitas, que son las que, desafortunadamente, manejan la mayoría de los investigadores, la prueba F que se ha utilizado hasta ahora será suficiente. Como lo anotan Davidson y MacKinnon.

Para modelos de regresión lineal, con errores normales o sin ellos, no hay necesidad de revisar el ML,  W y RV ya que al hacerlo no se gana información adicional a la contenida en F^22.

Predicción con regresión múltiple (III)

El intervalo de confianza 100(1-α) equivalente para la predicción individual, Y1971 es

Recuérdese que los g de l para el valor t es (n-3) para el modelo de tres variables, (n-4) para el modelo de cuatro variables, o (n-k) para el modelo de k variables.

Predicción con regresión múltiple (II)

Así, para 1971 el GCP es alrededor de US$509 mil millones. Por las razones anotadas en la sección  5.1, US$509 mil millones es también el valor de la predicción individual, para 1971, Y1971.

Sin embargo, las varianzas de Y1971 y Y1971 son diferentes. De las fórmulas  dadas en el capítulo  9, puede mostrarse que:

donde se(Y1971) se obtiene de (8.10.3) y donde se supone que esta predicción está basada en los valores dados de X2 y X3 para 1971. Sobra decir, el mismo procedimiento puede repetirse para cualquier otro valor de X2 y X3.

Predicción con regresión múltiple (I)

En la sección 5.10 se mostró cómo el modelo estimado de regresión con dos variables puede ser utilizada para (a) predicción de la media, es decir, predicción puntual sobre la función de regresión poblacional (FRP) y también para (b) predicción individual, es decir, predicción de un valor individual de Y, dado el valor del regresor X=Xo, donde Xo es el valor numérico específico de X.

La regresión múltiple estimada también puede ser utilizada para fines similares y el procedimiento para hacerlo es una extensión directa del caso de dos variables, con excepción de las fórmulas para estimar la varianza y el error estándar de los valores de pronósotico [comparables a (5.10.2) y (5.10.6) de lo del modelo con dos variables] las cuales son más bien complejas y se manejan mejor mediante los métodos matriciales estudiados en el capítulo 9. (Véase sección 9.9).

Para ilustrar el mecanismo de la predicción media e individual, se recuerda la regresión anteriormente estimada del consumo personal para los Estados Unidos durante el periodo 1956-1970.

Ejemplo Demanda de Rosas (III)

Supóngase que se acelera el proceso y se supone que el verdadero modelo es log-lineal. Siguiendo el Paso VI de la prueba MWD, se obtienen los siguientes resultados de la regresión:

El coeficiente de Z2 es estadísticamente significativo a un nivel de significancia del 12% (el valor p es 0.1225). Por consiguiente, se puede rechazar la hipótesis de que el verdadero modelo es log-lineal a este nivel de significancia. Por supuesto, si se utilizan los niveles de significancia converncionales de 1 y 5% entonces no se puede rechazar la hipótesis de que el verdadero modelo es log-lineal. Como lo muestra este complejo, es muy posible que en una situación dada no se puedan rechazar una u otra de las especificaciones.

Ejemplo Demanda de Rosas (II)

Como lo indican estos ressultados, ambos modelos, el lineal  el log-lineal parecen reajustarse a la información razonablemente bien: los parámetros tienen los signos esperados y los valores t y R² son estadísticamente significativos.

Para decidir entre estos modelos con base en la prueba MWD, se prueba primero la hipótesis de que el modelo verdadero es líneal. Luego, siguiendo el Paso IV de la prueba, se obtiene la siguiente resgresión:

Puesto que el coeficiente Z1 no es es estadísticamente significativo (el valor p del t estimado es 0.98), no se rechaza la hipótesis de que el verdadero modelo es lineal.

Ejemplo Demanda de Rosas (I)

Refiérase el ejercicio 7.20  en el cual se ha presentado la información sobre la demanda de rosas en el área metropolitana  de Detroit durante el período 1971-II a 1975-II. Para fines ilustrativos se considerará la demanda de rosas como función solamente de los precios de las rosas y de los claveles, dejando por fuera la variable ingreso por el momento.  Ahora se considerarán los siguientes modelos:

Prueba de la forma funcional de la Regresión: Selección entre modelos de regresión lineal y log-lineal (II)

Paso I: Estímese el modelo lineal y obténgase los valores Y estimados. Llámelos Yf(es decir, Y).
Paso II: Estímese el modelo log-lineal y obténgase los valores ln Y estimados; denomínense ln f (es decir, lnY)
Paso III: Obténgase Z1 = (ln Yf - ln f).
Paso IV: Efectúese la regresión de Y sobre las X y Z1 obtenida en el Paso III. Rechácese Ho si el coeficiente  de Z1 es estadísticamente significativo mediante la prueba t usual.
Paso V: Obténgase Z2 = (antilog de ln f - Yf)
Paso VI: Efectúese la regresión del logaritmo de Y sobre los logaritmos de las X y Z2. Rechácese H1 si el coeficiente  de Z2 es estadísticamente significativo mediante la prueba t usual.

Aun cuando la prueba MWD parece compleja, la lógica de la prueba es bastante simple. Si el modelo lineal es en realidad el modelo correcto, la variable construida Z1 no debería ser estadísticamente significativa en el paso IV, ya que en ese caso los valores Y estimados del modelo lineal y aquellos estimados del modelo log-lineal (después de obtener sus valores antilog para efectos comparativos) no deberían ser diferentes. El mismo comentario se aplica a la hipótesis alternativa H1.