Método de mínimos cuadrados ordinarios (MCO) (VI)

Los estimadores obtenidos previamente se conocen como estimadores de mínimos cuadrados, ya que estos se derivan del principio de mínimos cuadrados. Obsérvense las siguientes propiedades numéricas de los estimadores obtenidos por el método de MCO: "Propiedades numéricas son aquellas que se mantienen como consecuencia del uso de mínimos cuadrados ordinarios, sin considerar la forma como se generaron los datos". En brece, se considerarán también las propiedades estadísticas de los estimadores MCO, esto es, propiedades "que se mantienen sólo bajo ciertos supuestos sobre la forma como se generaron los datos"

1. Los estimadorse MCO están expresados únicamente en términos de las cantidades (ejemplo X y Y) observable (v.gr. muestras). Por consiguiente, pueden ser fácilmente calculados.
2. Son estimadores puntuales, esto es, dada la muestra, cada estimador proporcionará un solo valor (puntual) del parámetro poblacional relevante. 
3. Una vez obtenidas los estimadores de MCO de la información muestral, la línea de regresión muestral puede obtenerse fácilmente. La línea de regresión así obtenida tiene las siguientes propiedades:

Método de mínimos cuadrados ordinarios (MCO) (V)

El último paso en (3.1.7) puede obtenerse directamente de (3.1.4) mediante manipulación algebraica simple.

Incidentalmente, adviértase que, mediante el uso de la identidades algebraicas simples, la fórmula (3.1.6) para estimar  β2  puede expresarse en forma alterna como

lo cual puede reducir el exceso de cálculos si uno utiliza una calculadora manual para resolver un problema de regresión con un conjunto pequeño de datos.

Método de mínimos cuadrados ordinarios (MCO) (IV)

Ahora, cuáles conjuntos de β se deben escoger?. Puesto que los valores β del primer experimento nos dan una (Sumatoria)û²i(=12.214) inferior a la que se obtiene de los valores β del segundo experimento (=14), se podría decir que las β estimadas del primer experimento son los "mejores" valores. Pero, cómo se puede saber? Ya que, si se tuviera tiempo y paciencia infinitas, se podrían haber realizado muchos más experimentos de este tipo, escogiendo cada vez diferentes conjuntos de β y comparando las (Sumatorias)û²i resultantes y luego escogiendo ese conjunto de valores de β que diera el menor valor posible de (Sumatoria)û²i suponiendo desde luego que se han considerado todos los valores posibles de β1 y β2. Pero puesto que el tiempo y, ciertamente, la paciencia generalmente son escasos, se necesita considerar alguna abreviación de este proceso de ensayo y error. Afortunadamente, el método de mínimos cuadrados ofrece tal abreviación. El principio o método de mínimos cuadrados escoge β1 y β2 de tal manera que para una muestra dada o conjunto de datos.  (Sumatoria)û²i es la más pequeña posible. En otras palabras, para una muestra dad, proporciona valores estimados únicos de β1 y de β2 que producen el valor más pequeño o reducido posible de (Sumatoria)û²i. Cómo puede lograrse esto? Se trata de un ejercicio sencillo de cálculo diferencial.

Método de mínimos cuadrados ordinarios (MCO) (III)

Al elevar al cuadrado ûi, este método da más peso a los residuos tales como û1 y û4 en la figura 3.1 que a los residuos û2 y û3. Como se anotó anteriormente, bajo el criterio de minimización de (Sumatoria) ûi, la suma puede ser pequeña a pesar de que los û1 estén bastante dispersos alrededor de la FRM, La situación anterior no puede presentarse bajo el procedimiento de mínimos cuadrados, ya que entre mayor sea ûi (en valores absolutos), mayor será (Sumatoria) û²i. Una justificación adicional para el método de los mínimos cuadrados reside en el hecho de que los estimadores obtenidos con este método tienen algunas propiedades estadísticas muy deseables, como se verá más adelante.

 Es obvio a partir de (3.1.2.) que

es decir, la suma de los residuos elévados al cuadrado es algún tipo de función de los estiamadores β1 y β2. Para cada conjunto dado de datos con diferentes valores para β1 y β2, se obtendrá como resultado û diferentes y, por consiguiente, valores diferentes de (Sumatoria) û²i. Para ver esto claramente , considérense las cifras hipotéticas de Y y de X dadas en las primeras dos columnas de la tabla 3.1 Realicense ahora dos experimentos. En el experimento 1, sea β1 = 1.572 y β2 = 1.357 (por ahora no preocupa la forma como se obtuvieron  estos valores; es decir, que se adivinaron). Utilizando estos valores β y los valores de X dados en la columna (2) de la tabla 3.1, se puede calcular fácilmente el Yi, estimado que está dado en la columna (3) de la tabla y denotado como Y1i (el subíndice 1 se utiliza para indicar el primer experimento). Ahora realícese otro experimento, pero esta vez utilizando los valores de β1 = 3 y β2 =1. Los valores estimados de Yi a partir de este experimento están dados por Y2i en la columna (6) de la tabla 3.1. Puesto que los valores β en los dos experimentos son diferentes, se obtienen también valores diferentes para los residuos estimados, como se oberva en la tabla; û1i corresponden a los del primero experimento y û2i corresponden a los del segundo. Los cuadrados de estos residuos están dados en las columnas (5) y (8). Obviamente, como se esperaba de (3.1.3), estas sumas de residuales al cuadrado son diferentes puesto que están basados en conjuntos diferentes de valores de β.

   

Método de mínimos cuadrados ordinarios (MCO) (II)

Ahora, dados n pares de observaciones de Y y X, se está interesado en determinar la FRM de tal manera que esté lo más cerca posible a Y observado. Con este fin, se puede adoptar el siguiente criterio: seleccionar la FRM de tal manera que la suma de los residuos (Sumatoria) ui = Sumatoria (Yi-Yi) sea la menor posible. Este criterio, aunque es intuitivamente atractivo, no  es muy bueno, como puede  verse en el diagrama de dispersión hipotético que aparece en la figura de abajo.

Si se adopta el criterio de minimizar (Sumatoria)ui la figura de abajo, muestra que los residuos u2y u3 al igual que los residuos ui y u4 reciben el mismo peso en la suma (u1+u2+u3+u4), aunque los dos primeros están mucho más cerca de la FRM que los dos últimos. En otras palabras, a todos los residuos se les da la misma importancia sin importar qué tan cerca o qué tan lejos estén las observaciones individuales de la FRM. DE tal forma que es muy posible que la suma algebraica de las ui verificar lo anterior, permita que u1, u2, u3 y u4 en la figura 3.1 asuman los valores de 10, -2, +2 y - 10, respectivamente. La suma algebraica de estos residuos es cero a pesar de que u1y u4 presentan una mayor dispersión alrededor de FRM que u2 y u3. Se puede evitar este problema si se adopta el criterio de mínimos cuadrados, el cual establece que la FRM puede determinarse en forma tal que se  lo más pequeña posible, donde u²i son los residuos elevados al cuadrado.

Método de mínimos cuadrados ordinarios (MCO) (I)

El método de mínimos cuadrados ordinarios se atribuye a Carl Friedrich Gauss, un matemático alemán. Bajo ciertos supuestos, el método de mínimos cuadrados tiene algunas propiedades estadísticas muy atractivas que lo han convertido en uno de los más eficaces y populares del análisis de regresión. Para entenderlo, se explicará primero el principio de los mínimos cuadrados.

Modelo de regresión con dos variables: problema de estimación

Como se anotó en los anteriores posts, la primera tarea consiste en estimar la función de regresión poblacional (FRP) con base en la función de regesión muestral (FRM) en la forma más precisa posible. Hay diversos métodos de calcular la FRM, pero en lo que respecta al análisis de regresión, el más utilizado es el método de mínimos cuadrados ordinarios (MCO).