Multicolinealidad y muestras pequeñas

El término "problema de multicolinealidad" ha sido utilizado en forma muy errónea en los textos de econometría y en la teoría aplicada. Es un hecho  real que muchas de nuestras variables explicativas son altamente colineales. Está completamente claro que hay diseños experimentales (X'X) [ es decir, la matriz de datos] que serían preferibles a los diseños que el experimento natural nos proporciona [la muestra disponible]. Sin embargo, las quejas sobre la aparente malevolencia de la naturaleza no son constructivas y las medidas ad hoc para corregir un mal diseño, tal como una regresión por pasos o por canales, pueden resultar desatrosamente inapropiadas. Es mejor aceptar debidamente el hecho de que la información no reunida mediante experimentos formales algunas veces no ofrece mucha claridad sobre los parámetros de interés.

Supuesto 11: Normalidad de u (II)

Por supuesto, esto significa que cuando se trata con una muestra finita, se debe realizar la prueba explícita para el supuesto de normalidad. Ya se ha considerado la bondad de ajuste Ji cuadrado y las pruebas de Jarque-Bera de normalidad. Se le sugiere al lector aplicar éstas u otras pruebas de normalidad a los residuales de la regresión. Se debe tener en mente que en muestras finitas sin el supuesto de normalidad los estadísticos usuales t y F pueden no seguir las distribuciones t y F.

Quedan los supuestos 4,5,7,8,9  y 10. Los supuestos 7,8 y 10 están estrechamente interrelacionados y se analizan en el capítulo sobre multicolinealidad (capítulo 10). El supuesto 4 se estudia en el capítulo sobre htereoscedasticidad, (capítulo 11). El supuesto 5 se analiza en el capítulo sobre autocorrelación (capítulo 12). Finalmente, el supuesto 9 se analiza en el capítulo sobre especificación de modelos (capítulo 13) y se trabaja más en detalle en el capítulo 14.

Por razones pedagógicas, en cada uno de estos capítulos se sigue un esquema común , a saber , (1) identificar la naturaleza del problema, (2) examinar sus consecuencias, (3) sugerir métodos para detectarlo y (4)  considerar medidas remediales de tal forma que puedan conducir a estimadores que posean las propiedades estadísticas deseables analizadas en la parte I.

Cabe anotar: Como se mencionó anteriormente, no existen respuestas satisfactorias a todos los problemas que surgen de la violación de los supuestos del MCRL. Además, puede haber más de una solución a un problema particular y frencuentemente no está claro cuál método es el mejor . Además, en una aplicación particular, puede estar involucrada más de una violación del MCRL. Así, el sesgo de especificación, la multicolinealidad y la hereoscedasticidad puede  coexistir e una aplicación y no existe una prueba única opmnipotente que resuelva todos los problemas simultáneamente. Además, una prueba específica, corriente en alguna época, quizá ya no se aplique porque se descubrió que tenía algunas limitaciones. Pero esta es la forma como la ciencia progresa. La cronometraría no es la excepción.

Supuesto 11: Normalidad de u (I)

ESte supuesto no es esencial si el objetivo es solamente la estimación. Como se mencionó en el Capítulo 3, los estimadores MCO son MELI sin importar si las ui están normalmente distribuidas o no. Con el supuesto de normalidad, sin embargo, es posible establecer que los estimadores MCO de los coeficientes de regresión siguen la distribución normal, que (n-k)σ²/σ² sigue la distribución X² y que se podrían utilizar las pruebas t y F para verificar diversas hipótesis estadísticas sin importar el tamaño de la muestra.

Pero qué sucede si las ui no están normalmente distribuidas? Entonces se tiene en cuenta la siguiente extensión del teorema de límite central; recuérdese que fue el teorema de límite central, en primera instancia, el que se utilizó para justificar el supuesto de normalidad:

Si las perturbaciones [ui] son independientes e idénticamente distribuidas con media cero y varianza [constante] σ² y si las variables explicativas son constantes en muestras repetidas, los estimadores MC[O] de coeficientes son asintóticas normales con medias iguales a los β correspondientes.

Por consiguiente, los procedimientos de prueba usuales - las pruebas t y F- son aún válidas asintóticamente, es decir, en la muestra grande, pero no en muestras finitas o pequeñas.

Los estimadores MCO siguen una distribución normal asintóticamente (bajo el supuesto de varianza homoscedástica y X fijas) a pesar de que las perturbaciones no estén normalmente distribuidas. Este hecho es de poca ayuda a los economistas empíricos, quienes frecuentemente no disponen de información de grandes muestras. Por lo tanto, el supuesto de normalidad se hace extremadamente importante  para los fines de prueba de hipótesis y predicción. Entonces, teniendo en mente los problemas de estimación y de prueba de hipótesis  y dado el hecho de que las muestras pequeñas son la regla más que la excepción en la mayoría de los análisis económicos, se debe continuar utilizando el supuesto de normalidad.

Supuesto 3: Valor de la media de ui igual a cero.

Recuérdese el modelo de regresión lineal con ka variables:

Yi =β1 + β2X2i + β3X3i +.....+βkXki + ui (1)

Por consiguiente, si el supuesto 3 no satisface, se ve que no puede estimar el intercepto original β1; loq ue se obtiene es α, el cual contiene a β1 y a E(ui) = w. En resumen, se obtiene un estimado sesgado de β1.

Pero como se ha mencionado en diversas ocasiones, en muchas situaciones prácticas el término intercepto, β1, es de poca importancia; los parámetros con mayor significado son los coeficientes de pendiente, que permaneceran inalterados aún si el supuesto 3 es violado. Además, en muchas aplicaciones el término intercepto no tiene interpretación alguna.

Supuestos 2 y 6: Regresores fijos Vs regresores estocásticos

Recuérdese que el análisis de regresión está basado en el supuesto de que los regresores son no  estocásticos y suponen valores fijos en muestreo repetido. Existe una buena razón para su estrategia. A diferencia de los científicos en las ciencias física, como se menciono en el capitulo 1, los economistas, generalmente, no tienen control sobre los datos que usan, pues dependen de datos secundarios, es decir, información recopilada por otros, tales como el gobierno y las organizaciones privadas. Por consiguiente, la estrategia práctica a seguir es suponer que para el problema que va a ser resuelto, los valores de las variables explicativas están dados aun cuando las variables mismas pueden ser intrinsecamente estocásticas o aleatorias. Por lo tanto, los resultados del análisis de regresión están condicionados a estos valores.

Pero suponga que no podemos considerar las X como realmente no estocásticas o fijas. Este es el caso de los regresores aleatorios o estocásticos. Ahora la situación es más compleja. Las ui por supuesto, son estocásticas. Si las X tambien lo son, entonces se debe especificar la forma como están distribuidas tanto las X como las ui. Si estamos dispuestos a considerar el supuestos 6 ( es decir, las X aunque aleatorias, están distribuidas independientemente de, o  por lo menos no están correlacionadas con, las ui), entonces para todo fin práctico se puede continuar operando como si las X fueran no estocásticas. Como lo anota Kmenta:

Así, la no consideración o la exclusión del supuesto de que X es no estocástica y su reemplazo por el supuesto de que X es estocástica aunque independientemente de [u] no cambia las propiedades deseables y la factibilidad de la estimación de mínimos cuadrados.

Por consiguiente, se conservarán el supuesto 2 o el supuesto 6 hasta que se vuelva a tratar con los modelos de ecuaciones simultáneas en la parte IV.

Supuesto 1: Modelo de regresión lineal en los parámetros

En la sección 6.8 se trataron brevemente los modelos de regresión no lineales en los parámetros. TAles modelos usualmente se estiman mediante algún procedimiento iterativo o de ensayo y error. No se analizó este tipo de modelos en este libro porque algunas de las matemáticas requeridas para justificar su utilización están más allá del alcance de este libro introductorio. Existe también la razón más pragmática de que los modelos de regresion lineales en los parámetros han demostrado tener bastante exito en muchos fenómenos empíricos. Algunas veces, tales modelos son aproximaciones de primer grado a modelos de regresión no lineales más complicados.

Violación de los supuestos del modelo clásico (III)

Con respecto a problemas atribuibles a supuestos sobre la información, también se enfrentan  interrogantes similares. (1) Qué tan grave es un problema particular? Por ejemplo. es la multicolinealidad tan severa que hace muy difícil la estimación y la inferencia? Por ejemplo, cómo se decide si la inclusión o la exclusión de una observación u observaciones que pueden representar observaciones atípicas constituirá una diferencia sustancial en el análisis? 3) Pueden algunos problemas  de información ser fácilmente remediados? Por ejemplo, se puede tener acceso a la información original para encontrar las fuentes de los errores de mediación de la información.

Desafortunadamente, no se pueden dar respuestas satisfactorias a todas estas preguntas. Lo que se hará en lo que resta de la parte II es mirar algunos de los supuestos en forma más crítica, aunque no todos serán objeto de un escrutinio completo. En particular, no se analizarán a fondo los supuestos 1,2,3,6 y 11 .. por las siguientes razones.

Violación de los supuestos del modelo clásico (II)

Antes de proseguir, se observa que la mayoría de los libros de texto enumeran menos de 11 supuestos. Por ejemplo, los supuestos 7 y 8 se dan por cumplidos en lugar de expresarlos explícitamente. Se decidió hacerlos explícitos pues parece razonable distinguir entre los supuestos requeridos para que los MCO tengan las propiedades estadísticas deseables (como es la de MELI)  y las condiciones requeridas para que los MCO sean útiles. Por ejemplo, los estimadores MCO son estimadores MELI aun si el supuesto 8 no satisface. Pero en ese caso los errores estándar de los esitmadores MCO serán grandes comparativamente frente a sus coeficientes (es decir, razones y pequeñas), con lo cual se hace difícil evaluar la contribución de un o más regresores a la suma explicada de cuadrado.

Como lo menciona Wetherill, en la práctica surgen dos tipos de  problemas grandes al aplicar el modelo clásico de regresión lineal: (1) aquellos debidos a supuestos sobre la especificación del modelo y sobre las perturbaciones ui y (2) aquellos debidos a los supuestos sobre la información. En la primera categoría están los supuestos 1,2,3,4,5,9 y 11. Aquellos en la segunda categoría incluyen los supuestos 6,7,8 y 10. Adicionalmente, los problemas de información, tales como las observaciones atípicas (o inusuales) y los errores de medición en la información también se encuentran en la segunda categoría.

Con respecto a problemas que surgen debido a los supuestos sobre las perturbaciones y las especificaciones del modelo, aparecen tres grandes interrogantes: (1) Qué tan severo es el alejarse de un supuesto particular para que este realmetne importante? Por ejemplo, si las ui no siguen exactamente una distribución exactamente normal, qué nivel de alejamiento de este supuesto se puede aceptar sin que se destruya la propiedad MELI de los estimadores MCO? (2) Cómo averiguar si un supuesto particular ha sido realmente violado en un caso concreto? Así, cómo se verifica si las perturbaciones están normalmente distribuidas en una aplicación dada? Ya se han estudiado las pruebas de normalidad ji cuadrado y de Jarque-Bera (3) Qué medidas remediales se pueden adoptar si uno o más supuestos son falsos? Por ejemplo, si se encuentra que el supuesto de homoscedasticidad en una aplicación es falso, qué se hace entonces?

Violación de los supuestos del modelo clásico (I)

En la parte I se consideró extensamente el modelo clásico de regresión lineal normal y se mostró la forma como esté puede ser utilizado para manejar dos problemas de inferencia estadística, a saber, la estimación y la prueba de hipótesis; lo mismo que el problema de predicción. Pero recuérdese que este modelo está basado en diversos supuestos simplificadores que son los siguientes:

Supuesto 1. El modelo de regresión es lineal en los parámetros
Supuesto 2. Los valores de los regresores, las X, son fijos en muestreo repetido.
Supuesto 3. Para X dadas, el valor medio de la perturbación ui es cero.
Supuesto 4. Para X dadas, la varianza ui es constante u homoscedástica.
Supuesto 5. Para X dadas, no hay autocorrelación en las perturbaciones
Supuesto 6. Si las X son estocásticas en término de perturbación  y las X ( estocásticas) son independientes o, al menos, no están correlacionadas.
Supuesto 7. El número de observaciones debe ser mayor que el número de regresores
Supuesto 8. Debe haber suficiente variabilidad en los valores que toman los regresores.
Supuesto 9. El modelo de regresión está correctamente especificado
Supuesto 10. No hay relación lineal exacta (es decir no ha multicolinealidad) en los regresores.
Supuesto 11. El término estocástico (de perturbación) ui está normalmente distribuido.

Propiedad MELI de los estimadores MCO

Matriz de varianza-covarianza de β

Derivación matricial de las ecuaciones normales

A partir de (9.3.7) se obtiene

Derivación de k ecuaciones normales o simultáneas

Diferenciando

Modelo de regresión con k variables en unidades originales y en forma de desviación.

Resumen y Conclusiones Enfoque Matricial en el modelo de regresion lineal

El próposito principal de este capítulo era introducir el enfoque matricial al modelo clásico de regresión líneal. Aun cuando se introdujeron muy pocos conceptos nuevos del análisis de regresión, la notación matricial proporciona un método compacto para tratar con los modelos de regresión lineal que contienen cualquier número de variables.

Al concluir este capítulo obsérvese que si las variables X y Y están medidas en forma de desviaciones, es decir, como desviaciones de sus medias muestrales, hay pocos cambios en las fórmulas presentadas anterioresmente. Estos cambios se enumeran enl atabla 9.6 . Como lo muestra la sigueinte tabla, en forma de desviaciones la correción para la medida nY. se elimina de STC y de SEC. Por qué? Esta pérdida resulta de un cambio en la f'órmula para R². Por lo demás, la mayoría de las f'órmulas desarrolladas en las unidades originales de medición se mantienen para la forma de desviación.

Resumen del enfoque matricial: Un ejemplo ilustrativo (V)

En la sección 9.9 se estudió el mecanismo de proyección, media e individual. Supóngase que para 1971 la cifra del IDPP es US$2610 y se desea proyectar el GCPP correspondiente a esta cifra. Entonces, la proyección media como la individual del GCPP para 1971 es la misma y está dada por

Resumen del enfoque matricial: Un ejemplo ilustrativo (IV)

Pero recuérdese que una hipótesis nula como β2 = β3 = 0, simultáneamente, puede ser probada mediante la técnica de análisis de varianza y la tradicional prueba F, las cuales fueron introducidas en el cap. 8. Para el problema, la tabla del análisis de varianza es la tabla 9.5. Bajo los supuestos usuales, se obtiene

F = (414,072.3893/164.73797) = 2513.52

cuya distribución es igual a la distribución F con 2 y 12 g de l. El valor F calculado es, obviamente, muy significativo; se puede rechazar la hipótesis nula de que β2 = β3 = 0, es decir que, el gasto de consumo personal per capita no está relacionado linealmente con el ingreso disponible per cápita ni con la tendencia.

Resumen del enfoque matricial: Un ejemplo ilustrativo (III)

La interpretación de (9.10.14) es esta: si tanto X2 como X3 reciben un valor de cero, el valor promedio del gasto de consumo persona per cápita se estima alrededor de US$300. Como es usual, esta interpretación mecánica del intercepto debe tomarse con cautela. El coeficiente de regresión parcial de 0.74198 significa que, manteniendo todas las otras variables constantes, un incremento en el ingreso per cápita de un dólar, por ejemplo, es acompañado por un incremento en el gasto de consumo personal per cápita medio de alrededor de 74 centavos de dólar. En resumen, se estima que la propensión marginal a consumir sea de alrededor de 0.74, o 74%. En forma similar, manteniendo constantes todas las otras variables, el gasto de consumo personal per cápita medio aumentó a una tasa de alrededor de US$ 8 por año durante el período del estudio, 1956-1970. El valor R² de 0.9976 muestra que la dos variables explicativas mostraron más del 99% de la variación en el gasto de consumo per cápita en los EStados Unidos durante el período 1956-1970. Aun cuando R² se reduce ligeramente, éste continúa siendo muy elevado.

Volviendo a la significancia estadística de los coeficientes estimados, a partir de (9.10.14) se observa que cada uno de los coeficientes estimados es estadísticamente significativo individualmente, a un nivel de significancia del 5% por ejemplo: Las razones entre los coeficientes estimados y sus errores estándar (es decir, las razones t) son 3.83421, 15.61077 y 2.69598, respectivamente. Utilizando una prueba t de dos colas al nivel de significancia del 5%, se observa que el valor t crítico para 12 g de l es 2.179. Cada uno de los valores t calculados excede este valor crítico. Por tanto, a nivel individual, se puede rechazar l ahipótesis nula de que el verdadero valor poblacional del coeficiente relevante es cero.

Como se anotó anteriormente, no es posible aplicar la prueba t usual para verificar la hipótesis de que β2 = β3 = 0 simultaneamente, porque el procedimiento de prueba t supone que se toma una muestra independiente cada vez que se aplica una prueba t. Si se utiliza la misma muestra para probar la hipótesis sobre β2 y β3 simultáneamente, es probable que los estimadores β2 y β3 estén correlacionados, violando así el supuesto en el cual se basa el procedimiento de la prueba t^9. En realidad, la matriz de varianza-covarianza de β dada en (9.10.9) muestra que los estimadores β2 y β3 están correlacionados negativamente (la covarianza entre las dos es -0.13705). Por tanto, no se utiliza la prueba t para probar la hipótesis nula de que β2 = β3 = 0.

Resumen del enfoque matricial: Un ejemplo ilustrativo (II)

De la información anterior, se obtienen los siguientes resultados

Resumen del enfoque matricial: Un ejemplo ilustrativo (I)

Para resumir el enfoque matricial el análisis de regresión, se presentará un ejemplo numérico que contiene tres variables, recuérdese el ejemplo ilustrativo del capítulo 8, sobre la regresión del gasto de consumo personal agregado sobre el ingreso disponible personal agregado y el tiempo para el período 1956-1970. Se planteó allí que la variable de tendencia t puede representar, entre otras cosas, la población total o agregada: se espera que el gasto de consumo agregado aumente a medida que la población aumenta. Una forma de aislar la influencia de la población es convertir las cifras de gasto de consumo agregado y de ingreso agregado a una base per cápita, dividiéndolas por la población total. Una regresión del gasto de consumo per cápita sobre el ingreso per cápita dará entonces la relación entre  gasto de consumo e ingreso neto de cambios poblacionales (o del efecto escala). La variable tendencia puede aún mantenerse en el modelo para capturar todas las demás influencias que afectan el gasto de consumo (por ejemplo, tecnología). Para fines empíricos, por consiguiente, el modelo de regresión es

Varianza de la predicción individual

La fórmula para la varianza de una predicción individual es la siguiente:

Varianza de la predicción media

Predicción individual

Como se sabe de los capítulos 5 y 8, la predicción individual de Y, Yo, está dad generalmente por (9.9.3) o también por (9.9.4) específicamente. Es decir:

Predicción media

Sea

Predicción utilizando regresión múltiple: formulación matricial

En la sección 8.10 se analizó, utilizando notación escalar, la forma como la regresión múltiple estimada puede ser utilizada para predecir (1) la media y (2) los valores individuales de Y, dados los valores de los regresores  X. En esta sección se muestra la forma de expresar estas predicciones en forma matricial. También se presentan las fórmulas para estimar las varianzas y los errores estándar de los valores proyectados: en el cap. 8 notamos que estas fórmulas se trabajan mejor mediante notación matricial, ya que las expresionesescalares o algebraicas de estas fórmulas se hacen inmanejables.

Prueba de restricciones lineales: prueba F global utilizando notación matricial

En la sección 8.7 se introdujo la prueba general F, para verificar la validez de las restricciones lineales impuestas sobre uno o más parámetros del modelo de regresión lineal de k variables. La prueba apropiada se dio en (8.7.9) [o su equivalente (8.7.10)]. La matriz correspondiente a (8.7.9). puede derivarse facilmente.

Sea

Prueba de significancia global de la regresión: Análisis de varianza en notación matricial (II)

Por consiguiente, la tabla ANOVA 9.2 puede ser expresada como tabla 9.3. Una ventaja de la tabla 9.3 sobre la tabla 9.2 es que la totalidad del análisis puede hacerse en términos de R²; no se requiere considerar el término (yý-nY²), pues este se cancela en la razón F.

Prueba de significancia global de la regresión: Análisis de varianza en notación matricial (I)

En el capítulo 8 se desarrolló la técnica ANOVA (1) para probar la significancia global de la regresión estimada, es decir, para probar la hipótesis nula de que los verdaderos coeficientes de pendiente (parciales) son simultáneamente iguales a cero, y (2) para evaluar la contribución incremental de una variable explicativa. La técnica ANOVA puede ampliarse fácilmente al caso de k variables. Recuérdese que la técnica ANOVA consiste en descomponer la STC en dos componentes: la SEC y la SRC. Las expresiones matriciales para estas tres sumas de cuadrados ya han sido dadas en (9.3.16), (9.3.17) y (9.3.18), respectivamente. Los grados de libertad asociados con estas sumas de cuadrados son n-1, k-1 y n-k, respectivamente. (Por qué?) Entonces, siguiendo el capítulo 8, tabla 8.2, se puede elaborar la tabla 9.2.

Suponiendo que las perturbaciones ui están normalmente distribuidas y la hipótesis nula es β2 = β3 = .......βk = 0, y de acuerdo con el capítulo 8, se puede demostrar que

Prueba de hipótesis sobre coeficientes individuales de Regresión en notación matricial (II)

Puesto que en la práctica σ² es desconocida, ésta se estima mediante σ². Entonces por el desplazamiento usual hacia la distribución t, se cumple que cada elemento de β sigue la distribución t con n-k g de l. Simbólicamente

Por consiguiente, la distribución t puede ser utilizada para probar hipótesis sobre el verdadero βi y para establecer intervalos de confianza sobre éste. El verdadero mecanismo ya ha sido ilustrado en los capítulos 5 y 8. Para un ejemplo completo.

Prueba de hipótesis sobre coeficientes individuales de Regresión en notación matricial (I)

Por las razones expresadas en los capítulos anteriores, si el objetivo es la inferencia al igual que la estimación , se tendra que suponer que las perturbaciones ui siguen alguna distribución de probabilidad. Además por las razones dadas anteriormente, en el análisis de regresión usualmente se supone que cada ui sigue una distribución normal con media cero y varianza constante σ². en notación matricial, se tiene:

u ~ N(0,σ²I) (9.6.1)

donde u y 0 son vectores de las columnas nx1 e I es una matriz identidad (nxn), siendo 0 el vector nulo.

Dado el supuestos de normalidad, sabemos que en los modelos de regresión lineal de dos y tres variables (1) los estimadores MCO, βi, y MV, βi son idétnticos, pero el estimador MV σ² es sesgado, aun cuando este sesgo puede eliminarse utilizando el estimador MCO insesgado σ²; y (2) los estimadores MCO βi también están normalmente distribuidos. Generalizando, en el caso de k variables podemos demostrar que:

Es decir, cada elemento de β está normalmente distribuido con media igual al elemento correspondiente el verdadero β y la varianza está dada por σ² veces el elemento correspondiente de la diagonal de la matriz inversa (X'X)^-1

Matriz de correlación

En los capítulos anteriores se encuentran los coeficientes de correlación de orden cero o simple, r12, r13, r23 y las correlaciones parciales o de primer orden r12,3, r13,2, r23,1, y sus interrelaciones. En el caso de k variables se tendrá un total k(k-1)/2 coeficientes de correlación de orden cero. Por qué? Estas k(k-1)/2 correlaciones pueden situarse en una matriz, denominada la matriz de correlación R de la siguiente manera:


donde el subíndice 1, al igual que antes, denota la variable dependiente Y (r12 significa el coeficiente de correlación entre Y y X2, y así suscesivamente) y donde se hace uso del hecho de que el coeficiente de correlación de una variable con respecto a ella misma es siempre 1 (r11 = r22 = ..... =rkk =1).

A partir de la matriz de correlación R se pueden obtener los coeficientes de correlación de primer orden (véase capítulo 7) y de órdenes superiores tales como r12.34,.....k. (Véase ejercicio 9.4). Muchos programas de computador calculan bajo rutina la matriz R. Se estudiará la matriz de correlación en nuestro trabajo futuro.