Resumen y conclusiones Multicolinealidad y Muestras pequeñas (IV)

c) Sin embargo, los coeficientes de correlación de orden cero pueden ser malos indicadores en modelos que contiene más de dos variables X, puesto que es posible tener correlaciones bajas de orden cero y encontrar aún alta multicolinealidad. En situaciones como éstas pueden ser necesario examinar los coeficientes de correlación parcial.

d) Si R² es algo pero las correlaciones parciales son bajas, la multicolinealidad es una posiblidad. Aquí hay una o más variables que pueden ser superfluas. Pero si R² es alto  las correlaciones parciales son altas también, la multicolinealidad puede no ser fácilmente detectable. También como lo señalan C. Robert, Krishna Kumar, John O'Hagan y Brendan Mc CAbe, hay algunos problemas estadísticos con la prueba correlación  parcial sugerida por FArrar y Glauber.

e) Por consiguiente, se puede regresar cada una de las variables Xi sobre las variables X restantes en el modelo y encontrar  los coeficientes de determinación correspondientes R²i. Un R²i elevado sugeriría que Xi está altamente correlacionado con el resto de las X. Así, se puede eliminar esta Xi del modelo, siempre y cuando conduzca a un sesgo de especificación grave.

Resumen y conclusiones Multicolinealidad y Muestras pequeñas (III)

3. Aunque no hay métodos seguros para detectar la colinealidad, existen diversos indicadores de ésta, como los siguientes:

a) El signo más claro de multicolinealidad es cuando el R² es muy alto, pero ninguno de los coeficientes de regresión es estadísticamente significativo con base en la prueba t convencional. Por supuesto, este caso es extremo.
b) En los modelos que contiene apenas dos variables explicativas, puede tenerse una idea de colinealidad relativamente buena mediante el examen del coeficiente de correlación de orden cero, o simple entre las dos variables. Si esta correlación es alta, la multicolinealidad es generalmente la culplable.

Resumen y conclusiones Multicolinealidad y Muestras pequeñas (II)

2. Las consecuencias de la multicolinealidad son las siguientes: Si existe colinealidad perfecta entre las X, sus coeficientes de regresión son indeterminados y sus errores estándar no están definidos. Si la colinealidad es alta pero no es perfecta, la estimación de los coeficientes de regresión es posible pero sus errores estándar tienden a ser grandes. Como resultado, los valores poblacionales de los coeficientes no pueden se estimados en forma precisa. Sin embargo, si el objetivo es estimar combinaciones lineales de estos coeficiente, las funciones estimables, esto puede lograrse aun en presencia de multicolinealidad perfecta.

Resumen y conclusiones Multicolinealidad y Muestras pequeñas (I)

1. Uno de los supuestos del modelo clásico de regresión lineal es que no haya multicolinealidad entre las variables explicativas, las X. Interpretado en términos generales, la multicolinealidad se refiere a una situación en la cual existe una relación lineal exacta o aproximadamente exacta entre la variables X.

Es la multicolinealidad necesariamente mala? Posiblemente no, si el objetivo es solamente la predicción (II)

Sin embargo, existen situaciones en las cuales la multicolinealidad puede no representar un problema grave. Es el caso en el cual se tiene un R² elevado y los coeficientes de regresión son significativos individualmente como lo demuestran los altos valores t. Aun así, los diagnósticos de multicolinealidad, por ejemplo, el índide de condición, indican que los datos presentan colineslidad grave. Cuándo puede presentarse tal situación? Como menciona Johnston:

Esto puede surgir si los coeficientes individuales resultan estar numéricamente por encima del valor verdadero, de tal forma que el efecto siga visible, a pesar de estar inflados los errores estándar y/o debido a que el valor verdadero mismo es tan grande que aun cuando se obtenga una estimación bastante subestimada, ésta continúa siendo significativa.

Es la multicolinealidad necesariamente mala? Posiblemente no, si el objetivo es solamente la predicción (I)

Se ha dicho que si el único propósito del analisis de regresión es el pronóstico o la predicción, entonces la multicolinealidad no es un grave problema puesto que entre más alto sea el R², mejor es la predicción. Pero esto puede suceder "....siempre que los valores de las variables explicativas para los cuales se desean las predicciones obedezcan las mismas dependencias lineales casi exactas de la matriz X [de datos] de diseño original". Por tanto, si en regresión estimada se encuentra que X2 = 2X3 aproximadamente entonces,  en una muestra futura utilizada para pronosticar Y,X2, también debe ser aproximadamente igual a 2X3, una condición difícil de cumplir en la práctica, en cuyo caso la predicción se hará cada vez más incierta. Adicionalmente, si el objetivo del análisis no es solamente la predicción sino también la estimación confiable de los parámetros, la presencia de alta multicolinealidad puede ser un problema porque, como se ha visto, conduce a grandes errores estándar en los estimadores.

Otros métodos de remediar la multicolinealidad

Las técnicas estadísticas multivariadas tales como el análisis de los factores y el de componentes principales o técnicas como la ridge regressión se emplean frecuentemente para "resolver" el problema de la multicolinealidad. Desafortunadamente, estas técnicas están por fuera del alcance de este blog.