Transformaciones a una linea recta (página 2)

Partes: 1, 2, 3

Var(b) = C = (X’X) ?
La covarianza del elemento bi y bj de b esCovar(cij) ? cij? .
Y(x) ? x' p b
Var(Y(x)) ?Var(xpb) ? x' p (X'X)?1xp? 2
ru ?Yu ?Y(xu),u ?1,2,…,N
ˆ
Y ? Xb ? X(X'X)?1X'Y ? Hy
(3.5)
Donde la matriz H [n x n]
se denomina la “matriz sombrero” ya que mapea el vector de valores
observados dentro del vector de valores ajustados o predichos.
Como principales características de los estimadores b se tienen:

La matriz de varianza y covarianza de el vector de estimados b es:
-1
2
(3.6)
El elemento (ii) de esta matriz
cii? 2 ?Var(bi) es la varianza del elemento i de b.
El error estándar de bi es la raíz cuadrada positiva de la varianza de bi o sea:

se.bi ? cii? 2
(3.7)
2
(3.8)
Si los errores están normalmente distribuidos, entonces b se dice que está distribuido como:

b ? N(?,(X'X)?1? 2)

Sea x’p un vector (1 x p) vector cuyos elementos corresponden a una fila de la matriz X, p = k + 1,
entonces en la región experimental el valor de predicción de la respuesta es:
ˆ
^

Una medida de la precisión de la predicción Y(X) se puede expresar como:

^
(3.9)

(3.10)
RESIDUOS
Los residuos se definen como la diferencia entre los valores reales observados y los valores predichos
para estos valores de respuesta usando el modelo de ajuste y predicción, o sea:
ˆ
^

Si se obtienen valores para los N intentos entonces en forma matricial:
r ?Y ? Xb ?Y ?HY ?(1?H)Y
(3.11)

(3.12)
ˆ
los residuos tienen las propiedades siguientes:

1. 1’r = 0, donde 1’ es un vector (1 x n) de 1’s.
2. Y(X)'r ? 0
3. X’r = 0

ESTIMACIÓN DE ?
Para un modelo con p parámetros y teniendo N observaciones (N > p), la varianza se estima como
sigue:

La suma de cuadros de los residuos es:

n

i?1
Como e = Y – X b, se tiene:

SSE ? (Y ? Xb)'(Y ? Xb) ?Y'Y ?b'X'Y ?Y'Xb?b'X'Xb ?Y'Y ?2b'X'Y ?b'X'Xb (3.13)

Como X’Xb = X’Y, se transforma en:
SSE ?Y'Y ?b'X'Y
(3.14)
La suma residual de cuadrados tiene n-p grados de libertad asociado con el ya que se estiman p
parámetros en el modelo de regresión. El cuadrado medio de los residuos es:
SSE
N ? p
s2 ? MSE ?
(3.15)
3.3 Intervalos de confianza para los coeficientes de la regresión
Asumiendo que los errores son independientes y distribuidos normalmente con media cero y
2
distribuidas. Cada uno de los estadísticos:
,…j ? 0,1,…,k
bj ? ? j
S 2C jj
(3.16)
2
ecuación (3.15). Por tanto un intervalo de confianza 100(1 – ? )% para el coeficiente de regresión ?j,
para j = 0, 1, …., k es:
bj ?t? /2,n?pse(bj) ? ? j ?bj ?t? /2,n?pse(b j)

Donde se(bj) es el error estándar del coeficiente de regresión bj.
se(bj) ? S 2C jj
(3.17)

(3.18)
Siendo Cjj el j-ésimo elemento de la matriz (X’X
)-1
.
? ?
3.3.1 Intervalos de confianza para la respuesta media en un punto en particular
Se puede construir un intervalo de confianza en la respuesta media de un punto en particular, tal
como X01, X02, X03,…….., X0K. Definiendo el vector X0 como:
?1 ?
?
? 01 ?
X 0 ? ?X 02 ?
? ?
?….. ?
?X 0K ?

El valor ajustado en este punto es:

SST ??(Yu ?Y)2
^
SSR ??(Y(xu)?Y)2 con p (parámetros) – 1 grados de libertad
ˆ
??
ˆ ˆ
Y0 ? X'0b

Con varianza:

Var(Y0) ? S2X'0 (X'X)?1X0

Por tanto el intervalo de confianza para el 100( 1 – ? ) % es:

Y0 ?t? /2,n?p S2X'0 (X'X)?1X0 ?Y0 ?Y0 ?t? /2,n?p S2X'0 (X'X)?1X0
(3.19)

(3.20)

(3.21)
3.4 Prueba de Hipótesis en Regresión múltiple
Entre las pruebas importantes a realizar se encuentra la prueba de siginificancia de la regresión, la
prueba de coeficientes individuales de la regresión y otras pruebas especiales. A continuación se
analiza cada una de ellas.

3.6.1 Prueba de significancia para la regresión
La prueba de significancia de la regresión es probar para determinar si hay una relación lineal entre la
respuesta Y y cualquiera de las variables regresoras Xi’s, la hipótesis apropiada es:
H0 :?1 ? ?2 ?….? ?k ?0
(3.22)
H0 😕 j ?0…….para.al.menos.una.j

El rechazo de H0 implica que al menos alguno de los regresores contribuye significativamente al
modelo. El método es una generalización del utilizado en la regresión lineal. La suma total de
cuadrados Syy se divide en suma de cuadrados debidos a la regresión y la suma de cuadrados de los
residuos, o sea:

SYY ? SST ? SSR?SSE

Para la prueba de la hipótesis se utiliza el estadístico F0 como sigue:
MSR
MSE
?
SSR/k
SSE/(n?k ?1)
F0 ?
con k = No. de variables regresoras
(3.23)
La suma de cuadrados totales es:
N __

u?1
con N-1 grados de libertad
(3.24)
(3.25)
La suma de cuadrados debidos a la regresión es:

N __

u?1

La suma de cuadrados del error o de los residuos es:

^
SSE ??(Yu ?Y(xu))2 con (N-1) – (p –1) grados de libertad
(3.26)
N

u?1

En forma matricial se tiene:
(1'Y)2
N
SST ?Y'Y ?
(3.27)
(1'Y)2
N
SSR ? b'X'Y ?
(3.28)
(3.29)
SSE ?Y'Y ?b'X'Y

La tabla de ANOVA para la significancia de la regresión queda como:

Fuente de
variación
SS
df
MS
F0
.
MSR
MSE
MSR/MSE
.
Regresión
Residuos
Total
SSR
SSE
SST
K
n – k-1
n – 1
Para probar la hipótesis de existencia del modelo, se tiene:

H0 :?1 ? ?2 ?…? ?k ?0

Ha :??i ?0,i ?1,2,…,k

Se calcula el estadístico F0 como:
MSR
MSE
SSR/(p?1)
SSE/(N ? p)
?
F0 ?
(3.30)
Se compara el valor de F con el de tablas para F?,p-1,N-p el cual es la parte superior de la distribución
F, si F calculada excede a F de tablas se infiere que la variación explicada por el modelo es
significativa.

2
de la media Y explicada por el modelo de ajuste. Se expresa en porcentaje.
SSR
SST
R2 ?
(3.31)
3.4.2 Prueba de los coeficientes individuales de la regresión
Con frecuencia estamos interesados en probar hipótesis sobre los coeficientes de regresión
individuales. Por ejemplo el modelo podría ser más efectivo con la inclusión de regresores adicionales
o con la eliminación de una o más variables regresoras presentes en el modelo.

??1,?1,?1,?1?
??1,?1,?1,?1?
??1,?1,?1,?1?
??1,?1,?1,?1?
Al agregar una variable al modelo, siempre incrementa la suma de cuadrados de la regresión y
decrementa la suma de cuadrados de los residuos, sin embargo también incrementa la varianza de
los valores estimados Yest., de tal forma que se debe tener cuidado en incluir sólo los regresores que
mejor expliquen la respuesta. Por otra parte, al agregar un regresor no importante puede incrementar
el cuadrado medio de los residuos, lo que decrementa la utilidad del modelo.
La hipótesis para probar la significancia de cualquier coeficiente individual de la regresión ?j es:
H0 😕 j ? 0
(3.32)
H1 😕 j ? 0

Si no se rechaza H0, indica que el regresor Xj puede ser excluido del modelo. El estadístico de prueba
para esta hipótesis es:
bj
se(bj)
t0 ?
(3.33)
La hipótesis nula es rechazada si
t0 ?t? /2,n?k?1.
Esta es una prueba parcial o marginal de la
contribución de Xj dados los otros regresores en el modelo.

3.4.3 Caso especial de columnas ortogonales en X
Si dentro de la matriz X si las columnas de X1 son ortogonales a las columnas en X2, se tiene que
X1’X2 = X2’ X1 = 0. Entonces los estimadores de mínimos cuadrados b1 y b2 no dependen si está o no
está en el modelo alguno de los otros regresores, cumpliéndose:
SSR(?2) ? SSR(?1)?SSR(?2)
(3.34)
3

Y ? ?0 ??1X1 ??2X2 ??3X3 ??

Donde la matriz X es la siguiente:
??1,?1,?1,?1?
? ?
??1,?1,?1,?1?
? ?
??1,?1,?1,?1?
? ?
??1,?1,?1,?1?
? ?
X ?
En este caso, SSR(?j), j = 1, 2, 3, mide la contribución del regresor Xj al modelo, independientemente
de cualquier otro regresor esté incluido en el modelo de ajuste.

Ejemplos:
Ejemplo 3.1 Un embotellador está analizando las rutas de servicio de máquinas dispensadoras, está
interesado en predecir la cantidad de tiempo requerida por el chofer para surtir las máquinas en el
local (Y). La actividad de servicio incluye llenar la máquina con refrescos y un mantenimiento menor.

Se tienen como variables el número de envases con que llena la máquina (X1) y la distancia que tiene
que caminar (X2). Se colectaron los datos siguientes, y se procesaron con el paquete Minitab:
De manera matricial:
X

La transpuesta de X es (Copiar con pegado especial Transponer):
X'
ˆ
Con la función de Excel de multiplicación de matrices MMULT :
Seleccionar el rango de celdas de resultados y al final teclear (Ctrl-Shif-Enter). final)
X'X

X'y
560
7,375
337,072
El vector estimador de los coeficientes Betas es :

? ?(X'X)?1X'y

Con la función de Excel MINVERSA
(X'X)
-1
Matrix B = INV(X'X) X'Y

Betas est,
2.341231145
1.615907211
0.014384826

The regression equation is

Cov(?) = ? (X’X)
? =
Y-TENT = 2.34 + 1.62 X1-ENV + 0.0144 X2-DIST

Estadísticas de la regresión
ANÁLISIS DE VARIANZA
Grados de
Suma de
Promedio
de
F
Valor
Coeficientes
Error típico
Estad. t
Probab.
Inferior
95%
Superior
95%
Inferior
95.0%
Superior
95.0%
Cálculo de la estimación de la varianza:
2
-1
Si C = (X’X)
-1
2 2
Y’_tiempo 16.68
13.5
11.5
19.75
12.03
24
14.88
29
13.75
15.35
18.11
19
8
9.5
17.83
35.1
79.24
17.9
21.5
52.32
40.33
18.75
21
19.83
10.75
La matriz y’y es:

y'y
18,310.63
?’
2.3412 1.6159
0.0144
X'y
559.6
7375.44
337072
?’X’y
18,076.90
SSE =
233.73
2
=233.73/(25-3) =10.6239
SSE = y’y – ?’ X’ y

?8 ?
2

Matrix Y'Y = 18310.6

Matrix b' = [ 2.34123 1.61591 0.01438 ]

Matrix b'X'Y = 18076.9

Matrix SSe = Y'Y – b'X'Y = 233.732
?10.624
233.732
25?3
?
S 2 ?
SSE
N ? p
Cálculo del error estándar de los coeficientes y del intervalo de confianza para ? = 0.05

De ecuación 3.17 se tiene:
se(bj) ? S 2C jj
)-1
.
Siendo Cjj el j-ésimo elemento de la matriz (X’X

-1
M8 = (X'X)
, ,
b1 ?t.02522se(b1)? ?1 ?b1 ?t.02522se(b1)

1.61591?(2.074) (10.6239)(0.00274378) ? ?1 ?1.6191?(2.074)(0.17073)

Por tanto el intervalo de confianza para el 95% es:

1.26181 ? ?1 ? 1.97001

Cálculo del intervalo de confianza para la respuesta media
El embotellador desea construir un intervalo de confianza sobre el tiempo medio de entrega para un
local requiriendo
X1 = 8 envases y cuya distancia es X2 = 275 pies. Por tanto:
? ?
?1 ?
? ?
?275?
X 0 ?
? ?
El valor de respuesta estimada por la ecuación de ajuste es:

?2.34123?
? ?
?0.01438?

La varianza de
ˆ
Y0
es estimada por (tomando M8=inv(X’X) anterior):
? ?
?1 ?
2 ?1
?
?275?

Por tanto el intervalo al 95% de nivel de confianza es:

19.22?2.074 0.56794 ?Y0 ?19.22?2.074 0.56794

Que se reduce a:

17.66 ? Y0 ? 20.78

Analysis of Variance
De ecuaciones 3.26 a 3.29
SST = 18,310.629 –

SSR = 18,076.930 –
(559.6)2
25
(559.6)2
25
= 5784.5426

= 5,550.8166
SSE = SST – SSR = 233.7260
2775.4083
10.6239
? 261.24
?
MSR
MSE
F0 ?
F0.05,2,22 ? 3.44

Como la F calculada es mayor que la F de tablas, se concluye que existe el modelo con alguno de sus
coeficientes diferente de cero.
Con el paquete Minitab se obtuvo lo siguiente:
Regression Analysis: Y_tiempo versus X1_envases, X2_Distancia

The regression equation is
Y_tiempo = 2.34 + 1.62 X1_envases + 0.0144 X2_Distancia

Predictor Coef SE Coef T P
Constant 2.341 1.097 2.13 0.044
X1_envases 1.6159 0.1707 9.46 0.000
X2_Distancia 0.014385 0.003613 3.98 0.001

S = 3.25947 R-Sq = 96.0% R-Sq(adj) = 95.6%

Analysis of Variance

Source DF SS MS F P
Regression 2 5550.8 2775.4 261.24 0.000
Residual Error 22 233.7 10.6
Total 24 5784.5

Percent
Source DF Seq SS
X1_envases 1 5382.4
X2_Distancia 1 168.4

Unusual Observations

Obs X1_envases Y_tiempo Fit SE Fit Residual St Resid
9 30.0 79.240 71.820 2.301 7.420 3.21RX
22 26.0 52.320 56.007 2.040
-3.687
-1.45 X
4
3
2
1
0
-1
-2
-3
1
R denotes an observation with a large standardized residual.
X denotes an observation whose X value gives it large influence.

Predicted Values for New Observations

New
Obs Fit SE Fit 95% CI 95% PI
1 19.224 0.757 ( 17.654, 20.795) (12.285, 26.164)

Values of Predictors for New Observations

New
Obs X1_envases X2_Distancia
1 8.00 275

Normal Probability Plot of the Residuals
(response is Y_tiempo)
99

95
90
80
70
60
50
40
30
20
10
5
Standardized Residual

Prueba de la significancia de los coeficientes particulares
Probando la contribución del regresor X2 (distancia) dado que la variable regresora de casos está en
el modelo. Las hipótesis son:

H0 :?2 ?0
H1 :?2 ? 0

?8 ?
-1
que el estadístico t es:
0.01438
(10.6239)(0.00000123)
? 3.98
?
b2
S 2C22
t0 ?
Como
,
t0.02522 ? 2.074, se rechaza la hipótesis H0, concluyendo que el regresor de distancia X2
ˆ ˆ
ˆ ˆ
(distancia), contribuye significativamente al modelo dado que “casos” X1 también está en el modelo.

3.5 Predicción de nuevas observaciones
El modelo de regresión puede ser usado para predecir observaciones futuras en y correspondientes a
valores particulares en las variables regresoras, por ejemplo X01, X02, ….., X0k. Si
x'0 ?[1,×01,x02,x013,…….,x01k ]
Entonces una observación futura y0 en este punto es:
y0 ? x'0 ?
Un intervalo de de predicción con un nivel de confianza del 100(1-alfa) porciento para una
observación futura es:
y0 ?t? /2,n?p ? 2(1? x'0 (X'X)?1×0 ? y0 ? y0 ?t? /2,n?p ? 2(1? x'0 (X'X)?1×0
Es una generalización del modelo de regresión lineal simple.
Para el caso del ejemplo del embotellador:
El embotellador desea construir un intervalo de predicción sobre el tiempo de entrega para un local
requiriendo
X1 = 8 envases y cuya distancia es X2 = 275 pies. Por tanto:
? ?
?1 ?
? ?
?275?
X 0 ?
Xo’ = [1, 8, 275]
ˆ
? ?
El valor de respuesta estimada por la ecuación de ajuste es:

?2.34123?
Y0 ? X'0 b ??1, 8, 275? ?1.61591? ?19.22minutos
?0.01438?

X'0 (X'X)?1X0 ? 0.05346

Por tanto el intervalo de predicción al 95% de nivel de confianza es:

19.22?2.074 10.6239(1?0.05346) ?Y0 ?19.22?2.074 10.6239(1?0.05346)
Que se reduce al intervalo de predicción de:
12.28 ? Y0 ? 26.16

3.6 Extrapolación oculta
AL predecir la respuesta promedio en un punto X0, se debe tener cuidado de no extrapolar más allá
de la región que contiene las observaciones originales, ya que el ajuste puede no ser adecuado en
esas regiones.

Para un procedimiento formal, se define el conjunto convexo más pequeño que contiene todos los n
puntos originales (Xi1, Xi2, ….., Xik), i=1, 2, 3, ….,n, como la variable regresora envolvente o cáscara
(Regressor Variable Hull – RVH). Si un punto X0’ = [X01, X02, …, X0k ] se encuentra fuera de la
variable RHV entonces se requiere extrapolación. El lugar de ese punto en relación con la RVH se
refleja mediante:
-1

Los puntos h00 > hmax están fuera del elipsoide que encierra la RVH y son puntos de extrapolación.
-1
extrapolación oculta. En general el punto que tiene el mayor valor de hii o hmax se encuentra en la
frontera de la RVH. El conjunto de puntos X que satisfacen el modelo:

-1
es un elipsoide que engloba todos los puntos dentro de la variable RVH.
Para el caso del ejemplo del embotellador se tiene:
x’
Etc..
(X'X)
-1
-1
X1’(X’X)
primero
–
0.0352184 0.0120421 0.0003
Segundo
–
0.0814614 0.0067458
4E-05
-1

La tabla completa se muestra a continuación:
hmax

X1_envases
1600
1400
1200
1000
800
600
400
200
0
Los puntos para los cuales hoo sea mayor a hmax, se encuentran fuera del elipsoide, generalmente
entre menor sea el valor de hoo es más probable que se encuentre en el elipsoide.

En la tabla la observación 9 tiene el valor mayor de hii. Como el problema solo tiene dos regresores se
puede examinar en un diagrama de dispersión como sigue:
Scatterplot of X1_envases vs X2_Distancia
30

25

20

15

10

5

0
X2_Distancia

Se confirma que el punto 9 es el mayor valor de hii en la frontera de la RHV.
Ahora supongamos que se desea considerar la predicción o estimación para los puntos siguientes:
Todos los puntos se encuentran dentro del rango de los regresores X1 y X2. El punto a es de
interpolación puesto que hoo < = hmax (0.05346 < 0.49829) todos los demás son puntos de
extrapolación ya que exceden a hmax, lo que se confirma en la gráfica de dispersión.

Inferencia simultanea en la regresión múltiple
Indica que se pueden hacer inferencias en forma simultanea

ˆ
3.6 Evaluación de la adecuación del modelo
Como se comentó anteriormente, los residuos ei del modelo de regresión múltiple, juegan un papel
importante en la evaluación de la adecuación del modelo, de forma similar que en la regresión lineal
simple. Es conveniente graficar los residuos siguientes:

1. Residuos en papel de probabilidad normal.
2. Residuos contra cada uno de los regresores X’s.
3. Residuos contra cada Yi,i ?1,2,…,k
4. Residuos en secuencia de tiempo ( si se conoce)

Estas gráficas se usan para identificar comportamientos anormales, outliers, varianza desigual, y la
especificación funcional equivocada para un regresor. Se pueden graficar los residuos sin
escalamiento o con un escalamiento apropiado.

Existen algunas técnicas adicionales de análisis de residuos útiles en el análisis de la regresión
múltiple, como se describen a continuación.

Gráficas de residuos contra regresores omitidos en el modelo
Estas gráficas podrían revelar cualquier dependencia de la variable de respuesta Y contra los factores
omitidos, se esta forma se puede analizar si su incorporación mejora la explicación del modelo.

Gráficas de residuos parciales
Estas gráficas están diseñadas para revelar en forma más precisa la relación entre los residuos y la
variable regresora Xj. Se define el residuo parcial i-ésimo para el regresor Xj como sigue:
*
eij ? ei ?bjXij,i ?1,2,….,n
(3.35)
La gráfica de
*
eij
contra
X ij se denomina Gráfica de residuo parcial. Esta gráfica sirve para detectar
Outliers y desigualdad de varianza, dado que muestra la relación entre Y y el regresor Xj después de
haber removido el efecto de los otros regresores Xi (I< >j), es el equivalente de la gráfica de Y contra Xj
en regresión múltiple.

Gráficas de regresión parcial
Son gráficas de residuos de los cuales se ha removido la dependencia lineal de Y sobre todos los
regresores diferentes de Xj, así como su dependencia lineal de otros regresores. En forma matricial se
eY|X( j),eX j|X( j)
pueden escribir estas cantidades como
regresor j-ésimo removido.

del modelo general en forma matricial:

Y ? X? ?? ? X( j)? ? X j? j ??
donde X(j) es la matriz original X con el

(3.36)
Premultiplicando por [ I
?H( j) ] y notando que (1?H( j))X( j) ?0 se tiene:
eY|X( j) ? ? jeX j|X( j) ?(1?H( j))?
(3.37)
Algunos programas como SAS generan gráficas de regresión parcial. Gráficas de regresores Xi versus
Xj.

Estas gráficas pueden ser útiles para el análisis de la relación entre los regresores y la disposición de
los datos en el espacio X, donde pueden descubrirse puntos remotos del resto de los datos y que

Yi* ? i
tienen influencia en el modelo. Si se encuentra que las variables regresoras están altamente
correlacionadas, puede no ser necesario incluirlas ambas en el modelo. Si dos o más regresores
están altamente correlacionados, se dice que hay multicolinealidad en los datos, esto distorsiona al
modelo.

Xi

**
** * *
** *
**
** *
**
***

Xj
Fig. 3.1 Gráfica de Xi versus Xj

Método de escalamiento de residuos
Es difícil hacer comparaciones directas entre los coeficientes de la regresión debido a que la magnitud
de bj refleja las unidades de medición del regresor Xj. Por ejemplo:
ˆ
Y ?5? X1 ?1000X 2
(3.38)
Donde Y esta medida en litros, X1 en mililitros y X2 en litros. Note que a pesar de que b2 es mucho
mayor que b1, su efecto en la variable de respuesta es idéntico. Por lo anterior algunas veces es
importante trabajar con regresores y variables de respuesta con escala cambiada, de tal forma que
produzcan coeficientes de regresión sin dimensiones.

Existen dos técnicas para esto. La primera se denomina escala unitaria normal,
X ij ? X j
S j
Zij ?
Con i = 1, 2, ……., n;
j = 1, 2, ………, k
(3.39)
Y ?Y
Sy
Con i = 1, 2, ……., n
(3.40)
De esta forma el modelo de regresión se transforma en:
Yi* ?b1Zi1 ?b2Zi2 ?b3Zi3 ?………?bkZik ??i
i = 1, 2, …….., n(3.41)
(3.42)
En este modelo b0 = 0 y el estimador de mínimos cuadrados para b es:

b ?(Z'Z)?1Z'Y *

El otro método de escalamiento es el escalamiento de longitud unitaria,
X ij
S jj
Wij ?
,
i = 1, 2, ……, n; j = 1, 2, …….., k
(3.43)

Yi0 ? i
S jj ??(X ij ? X j)2
?(Wij ?Wj)2 ?1
?r 1,r ……r ?
W'W ? ? 2k ?
?(X
__
Y ?Y
SYY
,
i = 1, 2, ……….., n
(3.44)
__
(3.45)
Esta última es la suma de cuadrados corregida para el regresor Xj. En este caso cada regresor Wj
tiene media cero y longitud uno.

__
W j ? 0
(3.46)
n

i?1

En términos de las variables de regresión, el modelo queda como:
Yi0 ?b1Wi1 ?b2Wi2 ?……..?bkWik ??i,
i = 1, 2, ……, n
(3.47)
(3.48)
El vector de mínimos cuadrados de los coeficientes es:

b ?(W'W)?1W'Y 0

La matriz de correlación W’W en la escala unitaria tiene la forma:

?1,r 12,r 13……r 1k?

12, 23
?……………… ?
? ?
?r 1k,r2k,r3k….1?

Donde rijes la correlación simple entre Xi y Xj.
Sij
SiiS jj
?
rij ?
n

u?1
__ __
ui ? X i)(X uj ? X j)

SiiS jj
(3.49)
De forma similar

?r 1Y ?
W'Y 0 ? ? 2Y ?
?…. ?
? ?
?rKY ?

?(X uj ? X j)(Yu ?Y)
b0 ? Y ??bj X
Donde rjy es la correlación simple entre el regresor Xj y la respuesta Y:
S jY
S jjSYY
SiiSYY
?
rjy ?
n __ __

u?1
(3.50)
Si se utiliza la escala normal unitaria, la matriz Z’Z está relacionada con W’W como sigue:
Z’Z = (n – 1) W ’W
(3.51)
Por lo que no importa que método se utilice para escalamiento, ambos métodos producen el mismo
conjunto de coeficientes de regresión sin dimensiones b.

La relación entre los coeficientes originales y los estandarizados es:
SYY
SJJ
ˆ
bj ? bj
j = 1, 2, ….., k
(3.52)
y
j
___ k ___

j?1
(3.53)
Si las variables originales difieren mucho en magnitud, los errores de redondeo al calcular X’X pueden
ser muy grandes aún utilizando computadora, es por esto que los programas muestran tanto los
valores originales como coeficientes de regresión estandarizados (coeficientes Beta). Por tanto se
debe tener cuidado de usar éstos últimos para medir la importancia relativa del regresor Xj.

Ejemplo 3.5
Calculando los coeficientes de correlación entre las diferentes variables, se tiene:
Con Minitab:

Stat > Basic statistics > Correlation
Variables Y_tiempo, X1_envases, X2_Distancia
OK

Correlations: Y_tiempo, X1_envases, X2_Distancia

Y_tiempo X1_envases
X1_envases 0.965
0.000

X2_Distancia 0.892 0.824
0.000 0.000

r12 = 0.824215
r1y = 0.964615
r2y = 0.891670

La matriz de correlación para este problema W’W es:

? ?
ˆ
ˆ
ˆ
ˆ
?1.000000, 0.824215?
?

Las ecuaciones normales en términos de los coeficientes de la regresión estandarizados son:
?1.000000, 0.824215??b1? ?0.964615?
?0.824215, 1.000000??b2? ? ?

Por tanto:

?b1? ?3.11841, ?2.57023??0.964615? ?0.716267?
?b2? ??2.57023, 3.11841?? ? ? ?

El modelo ajustado es:

Y 0 ? 0.716267W 1 ?0.301311W2

De esta forma incrementando el valor estandarizado de envases W1 en una unidad incrementa la
unidad estandarizada de tiempo en 0.7162. Además incrementando el valor estandarizado de la
distancia W2 en una unidad, incrementa la respuesta en 0.3013 unidades. Por lo tanto parece ser que
el volumen de producto surtido es más relevante que la distancia, con ciertas precauciones dado que
los coeficientes b’s son sólo coeficientes parciales de regresión.

2
SSR
SST
5550.816
5784.5426
? 0.9596
R2 ?

R2 ?
Por lo anterior el 96% de la variabilidad en tiempo de entrega es explicada por los dos regresores
cantidad de surtimiento X1 y distancia X2. El índice R2 siempre se incrementa cuando se agrega una
nueva variable al modelo de regresión, aunque sea innecesaria.

__
2
innecesarias en el modelo. Se calcula como sigue:
(1? R2)
N ?1
N ? p
?1?
SSE/(N ? p)
SST /(N ?1)
__2
R ?1?
Para el ejemplo se tiene:
(1?0.9596) ? 0.9559
25 ? 1
25?3
__2
R ?1?
Residuos estandarizados y estudentizados
Los residuos se estandarizan como sigue:

,
ei
MSE
di ?
i = 1, 2, ………., n
(3.54)
Para los residuos estudentizados, utilizamos el vector de residuos:

e = (I – H ) Y
(3.55)
donde

-1

Esta matriz tiene las propiedades siguientes:
1. Es simétrica, es decir H’ = H.
2. Es idempotente, es decir H H = H.
3. En forma similar la matriz I – H es simétrica e idempotente.

Por tanto se tiene:

e ?(I ?H)(X? ??) ? X? ?HX? ?(I ?H)? ? X? ? X(X'X)?1X'X? ?(I ?H)?
e = (I – H) ?
(3.55)
De esta forma los residuos tienen la misma transformación lineal para las observaciones Y y para los
errores ?.

La varianza de los residuos es:
Var(e) ?? 2(I ? H)
(3.56)
Como la matriz I – H no es diagonal, los residuos tienen diferentes varianzas y están correlacionados.
La varianza del residuo i-ésimo es:
V(ei) ?? 2(1?hii)
(3.57)
Donde hii es el elemento diagonal i-ésimo de H.

Tomando esta desigualdad de varianza en cuenta, varios autores recomiendan para escalamiento de
los residuos, graficar los residuos “estudentizados” siguientes en lugar de ei (o di):
,
i
ei
MSE(1?hii)
r ?
i = 1, 2, ………., n
(3.58)
Los residuos estudentizados tienen varianza constante = 1, independientemente de la localización de
Xi, cuando la forma del modelo es correcto. A pesar de que los residuos estandarizados y los
estudentizados proporcionan casi la misma información, como cualquier punto con residuo y hii
grande tiene una influencia potencial en el ajuste de mínimos cuadrados, se recomienda el análisis de
los residuos estudentizados.

La covarianza entre ei y ej es:
Cov(ei,ej) ? ?? 2hij
(3.59)

PRESS ??e( 2 i) ???Yi ?Y ˆ(i)?
? ei
PRESS = ?? ?
? ?
De tal forma que otra forma de escalamiento de residuos es transformar los residuos n dependientes
en n-p funciones ortogonales de los errores ?.

Residuos PRESS – Suma de cuadrados del error de predicción

La suma de cuadrados del error de predicción (PRESS) propuesto por Allen (1971) proporciona un
escalamiento útil para los residuos. Para calcular PRESS, seleccione una observación, por ejemplo (i),
Ajuste el modelo de regresión a las observaciones remanentes (N – 1), usando la ecuación para
predecir la observación retenida (Yi). Denotando el error de predicción como:
ˆ
e(i) ?Yi ?Y(i)
(3.60)
El error de predicción es normalmente denominado el residuo i-ésimo PRESS, el procedimiento se
repite para cada una de las observaciones i = 1, 2, ….., N, produciendo los residuos PRESS
correspondientes. Así el estadístico PRESS se define como la suma de cuadrados de los N residuos
PRESS, como:
2
N

i?1
(3.61)
Así PRESS utiliza cada uno de los posibles subconjuntos de N – 1 observaciones como el conjunto de
datos de estimación, y cada observación en turno es usada para formar el conjunto de datos de
predicción.

Como:
ei
1?hii
e(i) ?
(3.62)
Entonces:
?
?
2
N
i?1 ?1?hii
(3.63)
De esta forma se observa que los residuos asociados con valores altos de hiiserán puntos de alta
influencia, donde si se excluyen mostrarán un ajuste pobre del modelo.

La varizanza del residuo i-ésimo PRESS es:
Var(e(i)) ?
? 2
1?hii
(3.64)
Y el residuo PRESS estandarizado es:
e(i)
V(e(i) )
?
ei
? 2(1?hii)
(3.65)
2
discutido previamente.

R- STUDENT

Otro método para diagnosticar la presencia de outliers o puntos de alta influencia es el residuo
estudentizado R – Student donde la estimación de la varianza se hace excluyendo la j-ésima
observación, como sigue:
S 2) ?
(N ? p)MSE ?e2 /(1?hii)
n? p ?1
i
(i
i = 1, 2, ……….., n
(3.66)
y el residuo estudentizado externamente R – Student, está dado por:
,
(i
e(i)
S 2)(1?hii)
ti ?
i = 1, 2, ……….., n
(3.67)
En muchas situaciones este residuo puede diferir del residuo estudentizado ri . Si la observación i-
ésima tiene influencia, entonces
S2) ? MSE
(i
y el estadístico R-student será más sensible a este
punto. También ofrece una prueba más formal de prueba de hipótesis de outliers, ya que se puede
comparar todos los n valores de |ti |.versus.t(? /2n),n?p?1.

2
PRESS
SYY
2
RPredicción ?1?
(3.68)
Para el ejemplo de las bebidas se tiene:
2
457.4
5784.5426
2
? 0.9209
RPredicción ?1?
Por lo que esperaríamos que este modelo explicara aproximadamente el 92% de la variabilidad al
predecir nuevas observaciones, que se compara con el 95.96% de la variabilidad en los datos
originales explicados por el ajuste de mínimos cuadrados.

Tabla de residuos
R Student
2
Montgomery, Douglas C., Peck, Elizabeth A., Introduction to Linear Regression Analysis, 2º edition,
John Wiley and Sons, Nueva York, 1991, p. 176

?bj(X ij ? X i' j)?
D ???
?
j?1?
?
MSE
0.07824
0.04111
0.16594
0.05943
0.09626
0.09645
0.10169
0.16528
0.39158
0.04126
0.12061
0.06664
19.75
24
29
15.35
19
9.5
35.1
17.9
52.32
18.75
19.83
10.75
18.6825
23.3288
29.6629
14.9136
15.5514
7.7068
40.8880
20.5142
56.0065
23.3576
24.4029
10.9626
1.0675
0.6712
-0.6629
0.4364
3.4486
1.7932
-5.7880
-2.6142
-3.6865
-4.6076
-4.5729
-0.2126
0.3275
0.2059
-0.2034
0.1339
1.0580
0.5501
-1.7757
-0.8020
-1.1310
-1.4136
-1.4029
-0.0652
0.3411
0.2103
-0.2227
0.1380
1.1130
0.5788
-1.8736
-0.8778
-1.4500
-1.4437
-1.4961
-0.0675
1.1581
0.7000
-0.7948
0.4639
3.8159
1.9846
-6.4432
-3.1318
-6.0592
-4.8059
-5.2000
-0.2278
11.0712
11.1077
11.1050
11.1204
10.5034
10.9606
9.3542
10.7402
10.0664
10.0756
9.9977
11.1278
1.3413
0.4900
0.6317
0.2152
14.5614
3.9387
41.5145
9.8082
36.7137
23.0963
27.0403
0.0519
0.3625
0.2145
-0.2612
0.1434
1.2386
0.6306
-2.2227
-1.0460
-2.4484
-1.5463
-1.7537
-0.0707
PRESS
459.03907
3.7 Estimación del error puro a partir de vecinos cercanos
Para la regresión lineal, la suma de cuadrados del error puro SSPE se calcula utilizando respuestas
replicadas en el mismo nivel de X. La suma de cuadrados del error o residual se parte en un
componente debido al error “puro” y un componente debido a la falta de ajuste o sea:
SSE = SSPE + SSLOF

Esto mismo podría extenderse a la regresión múltiple, donde el cálculo de SSPE requiere
observaciones replicadas en Y con el mismo nivel de las variables regresoras X1, X2, ……, Xk, o sea
que algunas de las filas de la matriz X deben ser las mismas. Sin embargo estas condiciones
repetidas no son comunes y este método es poco usado.

Daniel y Wood han sugerido un método para obtener un estimado del error independiente del modelo
donde no hay puntos repetidos exactos. El procedimiento busca puntos en el espacio X que son
“vecinos cercanos” es decir observaciones que se han tomado con niveles cercanos de Xi1, Xi2, …, Xik.
Las respuestas Yi de tales “vecinos cercanos” pueden ser consideradas como réplicas a usar para el
cálculo del error puro. Como una medida de la distancia entre dos puntos Xi1, Xi2, …, Xik y Xj1, Xj2, …,
Xjkproponen el estadístico de suma de cuadrados ponderados de la distancia como:
2
k
2
ii
(3.69)
Los pares de puntos que tienen esta distancia pequeña son vecinos cercanos sobre los cuales se
puede calcular el error puro, y los que generan
2
Dii ??1 están ampliamente separados en el espacio
X.

El estimado del error puro se obtiene del rango de los residuos en el punto i e i’, como sigue:
Ei ?|ei ?ei' |
(3.70)
Hay una relación entre el el rango de una muestra de una distribución normal y la desviación estándar
de la población. Para muestras de tamaño 2, la relación es:
E
1.128
ˆ
R
d2
? 0.886E
?
? ?
Esta desviación estándar corresponde al error puro.

? ? u 1Eu
Un algoritmo para calcular la desviación estándar estimada es como sigue:

1. Arreglar los conjuntos de datos de puntos X’s en orden ascendente de Yi-est.
2. Calcular los valores de
2
Dii , para todos los N-1 pares de puntos con valores adyacentes de Y-est.
Repetir el procedimiento para los pares de puntos separados por uno, dos o tres valores intermedios
de Y-est. Lo cual producirá (4 N – 10) valores de
2
Dii .
4. Arreglar los (4 N –10) valores de
2
Dii en orden ascendente. Sea Eu, u = 1, 2,…, 4N-10, sea el
rango de los residuos en esos puntos.
5. Para los primeros m valores de Eu, calcular un estimado de la desviación estándar del error puro
como:
0.886 m
m
ˆ
? ?
No se deben incluir Eu para los cuales la suma de las distancias cuadradas ponderadas sea muy
grande.
Ejemplo 3.6 La tabla 4.9 muestra el cálculo de
2 ˆ
Dii para pares de puntos que en términos de Y son
adyacentes, en uno, dos y tres puntos. Las columnas R en la tabla identifican a los 15 valores más
pequeños de
2
Dii .

Los 15 pares de puntos se usan para estimar ? = 1.969. Sin embargo de una tabla anterior se había
calcualdo
MSE ? 10.6239 ?3.259. Por otro lado no se observa falta de ajuste y esperaríamos
ˆ
ˆ
haber encontrado que ? ? MSE. Sin embargo en este caso MSE es sólo del 65% mayor que
? , indicando una cierta falta de ajuste, lo cual puede ser debido a el efecto de regresores no
presentes en el modelo o la presencia de uno o más outliers.

Determinación de la Desviación estándar

?h
? i
Desviación estándar
Diagnóstico de influyentes
A veces un pequeño grupo de puntos ejerce una influencia desproporcionada en el modelo de
regresión, se deben revisar con cuidado, si son valores “mal” tomados, se deben eliminar, de otra
forma se debe estudiar el porqué de su ocurrencia.

Puntos influyentes
Son observaciones remotas que tienen un apalancamiento desproporcionado potencial en los
parámetros estimados, valores de predicción, y estadísticas en general.

Hoaglin y Welsch discuten el papel de la matriz sombrero H donde sus elementos de la diagonal
principal (hij) puede ser interpretado como la cantidad de influencia ejercida por Yj en
ˆ
Yi .
Así,
enfocando
la
atención
en
los
elementos
de
la
diagonal
de
la
matriz
H,
como
ii
n

i?1
? rango(H) ? rango(X) ? p , el tamaño medio de un elemento en la diagonal principal es
p/n. Por tanto si un elemento de la diagonal principal
hii ? 2p/n, la observación (i) es un punto con
apalancamiento alto.

Medidas de influencia: la D de Cook
Cook sugirió un diagnóstico de eliminación, es decir, mide la infuencia de la pésima observación si
se eliminara de la muestra. Sugiere medir la distancia cuadrada entre el estimado de mínimos
cuadrados basado en todos los n puntos b y el estimado obtenido al borrar el i-ésimo punto b(i) , esta
distancia se expresa como:
,i ?1,2,……,n
(b(i) ?b)'M(b(i) ?b)
c
Di(M,c) ?
(3.71)
Donde M = X’X y c = pMSe, obteniéndose:
,i ?1,2,……,n
(b(i) ? b)'X'X(b(i) ? b)
pMSe
Di(M,c) ?
(3.72)
.
Los puntos con valores grandes de Di tienen una influencia considerable en los estimadores de
mínimos cuadrados b. La magnitud de Di puede evaluarse comparándola con F?,p,n?p. Si
Di ? F5,p,n?p, entonces al borrar el punto i moverá a b al límite del intervalo de confianza del 50%
para ? con base en el conjunto de datos completo. Como
.
F5,p,n?p ?1 normalmente se considera que
los puntos donde
Di ?1
tendrán influencia. Idealmente cada
b(i)deberá permanecer dentro de la
banda del 10 a 20% de la región de confianza.

Otra forma de escribir el estadístico Di es:
i ˆ
r2 V(Yi)
p V(ei)
,???i ?1,2,……,n
r2 hii
p (1?hii)
Di ?
(3.73)

DFFITSi ? ? ?
? ?
Así Di está formado por un componente que refleja que tan bien se ajusta el modelo a la i-ésima
observación Yi y un componente que mide que tan lejos se encuentra el punto del resto de los datos.
Uno o ambos componentes pueden contribuir a un valor grande de Di .

Por ejemplo para el caso de tiempos de entrega para la primera observación se tiene:
? 0.10009
0.1018
(1?0.1018)
?1.62772
3
?
i
r2 hii
p (1?hii)
Di ?
En la tabla mostrada abajo el valor máximo de Di = D9 = 3.41835, indicando que el punto 9 tiene una
alta influencia en el estimado de los coeficientes Beta, se consideran como influyentes los puntos
mayores a 1. También es la distancia euclidiana al cuadrado que se mueve el vector de los valores
estimados cuando elimina la i-ésima observación.

Influencia en los valores estimados (DFFITS) y en los parámetros estimados (DFBETAS)
También se puede investigar la influencia de la observación i-ésima en la predicción de un valor. Un
diagnóstico razonable es:
ˆ ˆ
(i
,i ?1,2,………,n
Yi ?Y(i)
S 2)hii
DFFITSi ?
(3.74)
Donde
ˆ
Y(i) es el valor estimado de Yi obtenido sin el uso de la iésima observación, el denominador
es una estandartización, por tanto DFFITS es el número de desviaciones estándar que el valor
estimado
Yi
ˆ
cambia si la observación i-ésima es removida. Computacionalmente se tiene:
ti
1/2
?
?
? hii
?1?hii
(3.75)
Donde ti es la R-student.

Por lo general merece atención cualquier observación donde
n
DFFITSi ? 2 p
(3.76)
Para el caso de DFBETAS, indica cuánto cambia el coeficiente de regresión Beta(j) en unidades de
desviación estándar, si se omitiera la i-ésima observación.
(i
ˆ ˆ
? j ?? j(i)
S 2)C jj
DFBETAS j,i ?
C jj es el j-ésimo elemento diagonal de la matriz (X’X)-1
? j
ˆ
es el j-ésimo coeficiente de regresión, calculado sin usar la i-ésima observación. Un valor grande
de DFBETAS indica que la i-ésima observación tiene grana influencia sobre el j-ésimo coeficiente de
regresión.

-1
observaciones de la muestra tienen sobre Beta. Si r’j es el j-ésimo renglón de R, se tiene:
ti
1?hii
rj,i
rj'rj
DFBETAS j,i ?
n elementos
Ejemplo de cálculo:
Renglón R = (X'X)-1X'
j=1

j=2
j=3
1
2
3
4
5
6
7
8
9
10
1
12
13
14
15
16
17
18
19
20
21
22
23
R'

? i
DFFITSi ? ? ?
? ?
C
Atender Di > 1
Atender DFFITS > 2*raiz(p/n)
0.69282032
Atneder DFBETAS > 2/raiz(n)
0.4
-1.991908828
i ˆ
r2 V(Yi)
p V(ei)
,???i ?1,2,……,n
r2 hii
p (1?hii)
Di ?
ti
1/2
?
?
? hii
?1?hii
ti
1?hii
rj,i
rjrj
DFBETAS j,i ?
0.035217
0.3364746
-1.8878

0.9477341
Calculo de
Bo,i
r(0,1) =
raiz(Cjj)
t1 =
raiz(1-h11)
=
–
0.20848235
Tabla 6.1 Esatdísticas para detectar observaciones influyentes
MSE =

(a)
R
Student
(b)
(c )
(d)
(e )
(f)
De acuerdo a los puntos de corte de DFFITS de 0.69, los puntos 9 y 22 excend este valor por lo que
se consideran influyentes.
Con base en el punto de corte de DFBETAS de 0.4, los puntos 9 y 22 tienen efectos grandes sobre
los tres parámetros. La eliminación del punto 9 da como resultado que la respuesta estimada se
desplace en en más de cuatro desviaciones estándar.

Medida de desempeño del modelo
Como medida escalar de la precisión general de la estimación, se usa el determinante de la matriz de
covarianza, denominada varianza generalizada, para expresar el papel de la i-ésima observación en la

(S(2 i)) p ? 1 ?
MSRe p s ? ?hii ? ?
estimación de la precisión de la estimación, se define la relación de covarianzas (COVRATIOi) como
sigue:
? ?
COVRATIO?
'
(X(i)X(i))?1 /(X ' X)?1 , por lo que un punto de alto balanceo
Notar que [1/(1-hii)] es la relación de
hará que COVRATIOi, sea grande.
Si
COVRATIOi ?1?3p/n o
COVRATIOi ?1?3p/n
se debería considerar el i-ésimo punto como influyente.
Ejemplo:
En el caso de los refrescos: el corte para COVRATIOi es 1+-3*3/25 o sea (0.64, 1.66), se puede
observar de la tabla que se salen los puntos 9 y apenas el 22.

Multicolinealidad
La multicolinealidad implica una dependencia cercana entre regresores (columnas de la matriz X ), de
tal forma que si hay una dependencia lineal exacta hará que la matriz X’X se singular. La presencia de
dependencias cercanamente lineales impactan dramáticamente en la habilidad para estimar los
coeficientes de regresión.

La varianza de los coeficientes de la regresión son inflados debido a la multicolinealidad. Esta es
evidente por los valores diferentes de cero que no estan en la diagonal principal de X’X. Los cuales se
denominan correlaciones simples entre los regresores. La multicolinealidad puede afectar seriamente
la precisión con la cual los coeficientes de regresión son estimados.

Entre las fuentes de colinealidad se encuantran:
? El método de recolección de datos empleado.
? Restricciones en el modelo o en la población.
? Especificación del modelo.
? Un modelo sobredefinido.

Los elementos de la diagonal principal de la matriz X’X se denominan Factores de inflación de
varianza (VIFs) y se usan como un diagnóstico importante de multicolinealidad. El factor para el
coeficiente j-ésimo coeficiente de regresión es:
j
1
1? R2
VIFj ?
(3.77)
j
R2es el coeficiente de determinación múltiple obtenido al hacer una regresión de Xj con con todos los
demás regresores. Si Xj es casi linealmente dependiente de algunos de los otros regresores, entonces
2
que si es mayor a 10 implica que se tienen serios problemas de multicolinealidad.

Los modelos de regresión que tienen presente multicolinealidad muestran ecuaciones de predicción
pobres y los coeficientes de regresión son muy sensibles a los datos en la muestra colectada en
particular. En comparación con el caso de regresores ortogonales que son muy estables (imaginar un
plano encima).
Y
Y

X'X ? ?
? ? (X'X)
?
W'W ? ?
?0.824215,1.00000?
(W'W)?1 ? ?
??2.57023,3.11841?
?
X1
X2
X1
X2
a) Datos con multicolinealidad b) Regresores ortogonales
(muy inestable)
(muy estable)
Fig. 3.2 Efectos de la colinealidad en la estabilidad
del sistema
En la figura anterior, un sistema ortogonal se obtiene de los datos siguientes:
X1
X2
5
10
5
10
5
10
5
10
20
20
30
30
20
20
30
30
Asumiendo que se utiliza el escalamiento unitario para los coeficientes de regresión, se obtiene:
?1
?1,0?
?0,1?
Las varianzas de los coeficientes estandarizados de regresión b1,b2 son:
?1
?
V(b2)
? 2
V(b1)
2
Y un sistema con colinealidad es:

?1.00000,0.824215?
?
donde
?3.11841,?2.57023?
?
Las varianzas de los coeficientes estandarizados de regresión b1,b2 son:
? 3.11841
?
V(b2)
? 2
V(b1)
2
Se observa que están infladas debido a la multicolinealidad.

4. MODELOS DE REGRESIÓN POLINOMIAL
4.1Introducción
El modelo de regresión lineal en forma matricial Y ? ?X ?? es un modelo general para estimar
cualquier relación que sea lineal en los parámetros desconocidos ?. Esto incluye a los modelos de
regresión polinomial de segundo orden en una variable y en dos variables. Los cuales son

2
ampliamante utilizados en situaciones donde la respuesta es curvilinea o muy compleja, pero que
puede ser modelada por polinomios en una región con pequeños rangos en las X’s.

Y ? ?0 ??1X1 ??2X2 ??11X1 ??22X2 ??12X1X 2 ??
4.2.
Modelos polinomiales en una variable
El modelo denominado cuadrático es el siguiente:

Y ? ?0 ??1X ??2X 2 ??

Normalmente se denomina a ?1 el parámetro del efecto lineal y ?2 el parámetro del efecto
cuadrático. Como regla general el uso de polinomios de más alto orden debe evitarse a menos que no
haya otra alternativa.

5. REGRESIÓN MÚLTIPLE POR PASOS (Stepwise)
Introducción
El análisis de regresión es usado para investigar y modelar las relaciones entre una variable de
respuesta y uno o más predictores. Minitab proporciona mínimos cuadrados, mínimos cuadrados
parciales, y procedimientos de regresión logística.

? Usar mínimos cuadrados cuando la variable de respuesta sea continua.

? Usar procedimientos de mínimos cuadrados cuando los predictores sean altamente
correlacionados o excedan al número de observaciones.

? Usar regresión logística cuando la variable de respuesta sea categórica.

Tanto el método de regresión por mínimos cuadrados como la regresión logística estiman parámetros
en el modelo de manera que se optimice su ajuste.

La regresión por mínimos cuadrados, minimiza la suma de cuadrados de los errores para obtener los
parámetros estimados, mientras que la regresión logística obtiene estimados de los parámetros con la
máxima verosimilitud.

La regresión de cuadrados parciales (PLS) extrae combinaciones lineales de los predictores para
minimizar el error de predicción.
Usar…
Para…
Tipo de
Método de
respuesta estimación
Regression Realizar regression simple, multiple o
regression polynomial por mínimos
cuadrados.
continua
Mínimos
cuadrados
Stepwise
Realizar regresión por pasos, selección de
variables hacia adelante, o eliminación de
variables hacia atrás para identificar un
conjunto útil de predictores.
continua
Mínimos
cuadrados
Best
Subsets
Identificar subconjuntos de los predictores
con base en el criterio R máximo.
continua
Mínimos
cuadrados
Plot
Fitted Line Realizar regresión lineal y polinomial con un
predictor simple y graficar una línea de
regresión a través de los datos.
continua
Mínimos
cuadrados

PLS
Realizar regression con datos mal
condicionados (ver explicación abajo).
continua
biased, non-
least
Binary
Logistic

Ordinal
Logistic

Nominal
Logistic
Realizar regresión logística sobre una
respuesta que solo tiene dos valores
posibles, tal como presencia o ausencia.
Realizar regresión logística en una
respuesta que con tres o más valores
posibles que tienen un orden natural, tal
como: ninguno, medio o severo.
Realizar regresión logística en una
respuesta con tres o más valores posibles
squares
categórica máxima
verosimilitud

categórica máxima
verosimilitud

categórica máxima
verosimilitud
que no tienen un orden natural, tal como:
dulce, salado, o ácido.

Datos mal condicionados
Los datos mal condicionados se refieren a problemas en las variables predoctoras, las cuales pueden
causar dificultades computacionales y estadísticas. Se presentan dos tipos de problemas:
multicolinealidad y un pequeño coeficiente de variación.

Multicolinearidad
La multicolinealidad significa que ambos predictores estan correlacionados con otros predictores. Si la
correlación es alta, se pueden calcular los valores estimados y los residuos, pero el error estándar de
los coeficientes será grande y su exactitud numérica puede ser afectada. Se recomienda eliminar una
de las variables correlacionadas.

Para identificar los predictores que están altamente correlacionados, se puede examinar la estructura
de las variables predoctoras y hacer una regresión con cada uno de los predictores sospechosos y los
otros predictores. Se puede también revisar el factor de inflación VIF, que mide cuanto de la varianza
de un coeficiente de regresión se incrementa, si los predictores están correlacionados. Si el VIF < 1,
no hay colinealidad, pero si VIF > 1, los predictores pueden estar correlacionados. Montogomery
sugiere que si se sobrepasa el límite de 5 a 10, los coeficientes tienen una estimación deficiente.
Algunas soluciones al problema de multicolinealidad son:
2
? Cambiar los predictores formando una combinación lineal con ellos usando la regresión parcial de
mínimos cuadrados o análisis de componentes principales.
? Si se usan plinomios, restar un valor cercano a la media de un predictor antes de elevarlo al
cuadrado.
Coeficientes de variación pequeños
Los predictores con coeficientes de variación pequeños (porcentaje de la desviación estándar de la
media) y que casi son constantes, pueden causar problemas numéricos. Por ejemplo, la variable Año
con valores de 1970 a 1975 tiene un pequeño coeficiente de variación, las diferencias numéricas se
encuentran en el cuarto dígito. El problema se complica se Año es elevado al cuadrado. Se pude
restar una constante de los datos, reemplazando Año con Año_desde_1970 con valores de 0 a 5.

Regresión por pasos (Stepwise regression)

Stat > Regression > Stepwise
La regresión por pasos remueve y agrega variables al modelo de regresión con el propósito de
identificar un subconjunto útil de predictores. La regresión por pasos remueve y agrega variables; la
selección hacia delante agrega variables y la selección hacia atrás remueve variables.
? En este método de regresión por pasos, se puede iniciar con un conjunto de variables predoctoras
en Predictors in initial model. Estas variables se remueven si sus valores p son mayores que el
valor de Alpha to enter. Si se quieren conservar las variables en el modelo independientemente de su
valor p, seleccionarlas en Predictors to include in every model en la ventana principal de diálogo.

? Cuando se selecciona el método de selección por pasos o hacia delante (forward), se puede poner
un valor de alfa para una nueva variables en Alpha to enter.
? Cuando se selecciona el método de eliminación hacia atrás, se puede establecer el valor de alfa
para remover una variable del modelo en Alpha to remove.
Entre los problemas que se presentan con el método automático de selección se tienen los siguientes:
? Como el procedimiento automáticamente “encuentra” el mejor de muchos modelos, puede ajustar
los datos demasiado bien, pero solo por azar.
? Los tres procedimientos automáticos son algoritmos heurísticos, que frecuentemente trabajan bien,
pero pueden no seleccionar el modelo con la R2 más alta (para un cierto número de predictores).
? Los procedimientos automáticos no pueden tomar en cuenta el conocimiento especial que le
analista puede tener sobre los datos. Por tanto, el modelo seleccionado puede no ser el mejor desde
el punto de vista práctico.
Ejemplo:
Los estudiantes de un curso introductorio de estadística participan en un experimento simple. Cada
estudiante registra su altura, peso, género, preferencia en fumar, nivel de actividad normal, y puso en
reposo. Todos lanzan una moneda, y aquellos que les salga sol, corren durante un minuto. Después
de esto el grupo coimpleto registra su pulso en reposo una vez más. Se desea encontrar los mejores
predictores para la segunda tasa de pulso.
Los datos se muestran a continuación:
PULSE.MTW

Corrida en Minitab:
1
2
3
Open worksheet PULSE.MTW.
Presionar [CTRL] + [M] para activar la session de commandos.
Seleccionar Editor > Enable Commands de forma que Minitab despliegue la sesión de
comandos.
4
5
6
7
8
Ejecutar Stat > Regression > Stepwise.
En Response, seleccionar Pulse2.
En Predictors, seleccionar Pulse1 Ran-Weight.
Click Options.
In Number of steps between pauses, anotar 2. Click OK en cada una de las
ventanas de
diálogo.
9
En la ventana de sesión, en el primer More? prompt, contestar Yes.
10 En la ventana de sesión, en el primer More? prompt, contestar No.

Resultados:

Results for: Pulse.MTW
MTB > Stepwise 'Pulso2' 'Pulso1' 'Corrió'-'Peso';
SUBC> AEnter 0.05;
SUBC> ARemove 0.10;
SUBC> Best 0;
SUBC> Steps 2;
SUBC> Constant;
SUBC> Press.

Stepwise Regression: Pulso2 versus Pulso1, Corrió, …

Alpha-to-Enter: 0.05 Alpha-to-Remove: 0.1

Response is Pulso2 on 6 predictors, with N = 92
Step
1
2
Constant

Pulso1
T-Value
P-Value
10.28 44.48

0.957 0.912
7.42 9.74
0.000 0.000

Corrió
T-Value
P-Value
-19.1
-9.05
0.000
S 13.5 9.82
R-Sq
R-Sq(adj)
37.97 67.71
37.28 66.98
Mallows C-p
103.2 13.5
PRESS 17252.4 9304.69
R-Sq(pred)
35.12 65.01
More? (Yes, No, Subcommand, or Help)

SUBC> Yes
Step
Constant

Pulso1
T-Value
P-Value

Corrió
T-Value
P-Value

Sexo
T-Value
P-Value
3
42.62

0.812
8.88
0.000

-20.1
-10.09
0.000

7.8
3.74
0.000
S 9.18
R-Sq
R-Sq(adj)
72.14
71.19
Mallows C-p
1.9
PRESS 8195.99
R-Sq(pred)
69.18
More? (Yes, No, Subcommand, or Help)

SUBC> No
MTB >

Interpretando los resultados
Este ejemplo usa seis predictores. Se requirío a Minitab intervenir para mostrar los resultados.
La primera “página” de salida proporciona los resultados para los dos primeros pasos. En el paso 1, la
variable Pulso1 entró al modelo; en el paso 2, entró la variable Corrio. No se removío ninguna variable
en ninguno de los dos pasos. En cada uno de los modelos, se mostró el término constante del
modelo, los coeficientes y su valor t de cada variable en el modelo, S (raíz de MSE), y R2.
Como se constestó “Yes” en “MORE?”, el procedimiento automático realizó un paso adicional,
agregando la variable “Sexo”. En este punto, no más variables entraron o salieron de modo que se
terminó el procedimiento automático, y otra vez preguntó por intervención, donde se indicó NO.
La salida por pasos está diseñada para presentar un resumen conciso de un número de modelos
ajustados.

6. REGRESIÓN POR MEJORES SUBCONJUNTOS HALLADOS (Best Subsets)

La regresión de los mejores subconjuntos idnetifica los modelos de regresión que mejor ajusten los
datos con los predictores especificados. Es una forma eficiente de identificar modelos que logreen las
metas con los menores predictores que sea posible. Los modelos de subconjuntos pueden realmente
estimar los coeficientes de regresión y predecir respuestas futures con varianzas más pequeñas que
el modelo completo que utiliza todos los predictores.

Primero se evalúan los modelos que tienen un predictor, después los de dos predictores, etcetera. En
cada caso se muestra el mejor modelo.
Ejemplo:
El flujo de calor solar se mide ocmop parte de una prueba de energía térmica solar. Se desea ver
como se estima el flujo de calor con base en otras variables: aislamiento, posición de puntos focales
en el este, sur, y norte, y la hora del día. (datos de D.C. Montgomery and E.A. Peck (1982).
Introduction to Linear Regression Analysis. John Wiley & Sons. p. 486).
Los datos son los siguientes (Exh_regr.Mtw):
Instrucciones de Minitab:
1
2
3
4
Open worksheet EXH_REGR.MTW.
Seleccionar Stat > Regression > Best Subsets.
En Response, seleccionar Flujo_de_Calor.
En Free Predictors, seleccionar Aislamiento-Hora Click OK.
Los resultados se muestran a continuación:

Results for: Exh_regr.MTW

Best Subsets Regression: Flujo_de_calor versus Aislamiento, Este, …

Response is Flujo_de_calor
A
i
s
l
a
m
i N
eE oH
nsSro
Mallows t t u t r
Vars R-Sq R-Sq(adj)
C-p
S oerea
1 72.1 71.0 38.5 12.328 X
1 39.4 37.1 112.7 18.154 X
2 85.9 84.8 9.1 8.9321 X X
2 82.0 80.6 17.8 10.076 X X
3 87.4 85.9 7.6 8.5978 X X X
3 86.5 84.9 9.7 8.9110 X X X
4 89.1 87.3 5.8 8.1698 X X X X
4 88.0 86.0 8.2 8.5550 X X X X
5 89.9 87.7 6.0 8.0390 X X X X X

Interpretando los resultados
Cada línea de la salidad representa un modelo diferente. Vars es el número de variables o predictores
en el modelo, R2 y R2 ajustada se convienten a porcentajes. Los predictores que están presentes se
indican con una X.

En este ejemplo, no es claro que modelo ajusta mejor a los datos.

? El modelo con todas las variables tiene la mayor R2 ajustada (87.7%), un valor bajo de Cp de
Mallows (6.0), y el menor valor de S (8.039).

? El modelo de cuatro predictores con todas las variables excepto la Hora, tiene un valor bajo de Cp
(5.8), la S es ligeramente mayor (8.16) y la R2 ajustada en ligeramente menor (87.3%).

? El mejor modelo de tres predictores incluye Norte, Sur, y Este, con un valor de Cp ligeramente más
alto (7.6) y un valor menor de R2 ajustado.

? El modelo con dos predictores podría ser considerado con el menor ajuste. Se puede observar que
el agregar la variable Este no mejora el ajuste del modelo.

Antes de seleccionar un modelo, se debe verificar si no se viola ninguno de los supuestos de la
regresión por medio de las gráficas de residuos y otras pruebas de diagnóstico, tales como las
siguientes.

Verificación de la adecuación del modelo
Características de un modelo de
regression adecuado
Checar usando…
Posibles soluciones
Relación lineal entre respuesta y
predictores
Prueba de Lack-of-fit (falta de ajuste)
Gráfica de Residuales vs variables
·
Agregar terminos de mayor orden al
modelo
·
Transformar variables.

Los Residuales tienen varianza
constante.
Los Residuales son independientes
entre sí (no correlacionados).
Gráfica de Residuals vs estimados
(fits)
Estadístico de Durbin-Watson
Gráfica de Residualess vs orden
·
·
·
·
·
Transformar variables.
Mínimos cuadrados ponderados.
Agregar un nuevo predictor.
Usar análisis de series de tiempo.
Agregar variable defasada en
tiempo (lag).
Los Residuales están normalmente
distribuidos.
Histograma de residuales
Gráfica Normal de residuales
Gráfica de Residuales vs estimados
(fits)
Prueba de Normalidad
·
·
Transformar variables.
Checar puntos atípicos.
Observations No usuales, puntos
atípicos o outliers.
Gráficas de Residuales
Influyentes (Leverages)
Distancia de Cook's
DFITS
·
·
Transformar variables.
Eliminar la observación atípica.
Datos mal condicionados (ill
conditioned).
Factor de Inflación de Variance (VIF)
Matriz de correlación de predictores
·
·
Remover predictor.
Regresión de mínimos cuadrados
parciales.
·
Transformar variables.
Si se determina que el modelo no cumple con los criterios listados en la tabla, se debe:
1. Verificar si los datos se introdujeron correctamente, especialemente identificar puntos atípicos.
2. Tratar de determinar las causas del problema. Puedes querer ver que tan sensible es el modelo al
problema. Por ejemplo, si se observa un Outlier, correr el modelo sin esa observación, para ver como
difieren los resultados.
3. Considerar alguna de las soluciones listadas en la tabla.

7. REGRESIÓN POR MÍNIMOS CUADRADOS PARCIALES (PLS)
Usar reegresión de mínimos cuadrados parcial (PLS) para realizar una regresión sesgada, no de
mínimos cuadrados. PLS se utiliza cuando los predictores son muy colineales o se tienen más
predictores que observaciones, y la regresión lineal normal falla o produce coeficientes con altos
errores estándar. La PLS reduce el número de predictores a un conjunto de componentes no
correlacionados y realiza la regresión de mínimos cuadrados en esos componentes.
La PLS ajusta variables de respuesta múltiple en un modelo simple. Dado que los modelos PLS tratan
las respuestas como multivariadas, los resultados pueden diferir de si se tratan individualmente por
separado. El modelo agrupa las respuestas múltiples sólo si estan correlacionadas.
Ejemplo:
Un productor de vino quiere saber como la composición química del vino se relaciona con las pruebas
sensoriales. Se tienen 37 muestras, cada una descrita por 17 concentraciones elementales (Cd, Mo,
Mn, Ni, Cu. Al, Ba, Cr, Sr, B, Mg, Si, Na, Ca, P, K) y una medida del aroma del vino de un panel de
catadores. Se quiere predecir la media del aroma a partir de los 17 elementos y determinar si el
modelo PLS es adecuado, dado que la relaciónde muestras a predictores es baja. Los datos son de
I.E. Frank and B.R. Kowalski (1984). "Prediction of Wine Quality and Geographic Origin from Chemical
Measurements by Partial Least-Squares Regression Modeling," Analytica Chimica Acta, 162,
241 251.
Archivo WineAroma.mtw

Las instrucciones de Minitab son las siguientes:
1
2
3
4
5
6
7
Open worksheet WINEAROMA.MTW o tomar los datos de la tabla.
Seleccionar Stat > Regression > Partial Least Squares.
En Responses, seleccionar Aroma.
En Predictors, selección las variables Cd-K.
En Maximum number of components, indicar 17.
Click Validation, seleccionar Leave-one-out. Click OK.
Click Graphs, luego seleccionar Model selection plot, Response plot, Std Coefficient plot,
Distance plot, Residual versus leverage plot, y Loading plot. No seleccionar Coefficient plot.
Click OK en cada una de las ventanas de diálogo.

Los resultados se muestran a continuación:
PLS Regression: Aroma versus Cd, Mo, Mn, Ni, Cu, Al, Ba, Cr, …

La primera línea, muestra el número de componentes en el modelo óptimo, el cual es definido como el
2 2
Cd
Mo
Mn
Ni
Cu
Al
Ba
Cr
Sr
Pb
B
Mg
Si
Na
Ca
P
K
Aroma
0.005
0.055
0.056
0.044
0.16
0.146
1.51
1.16
1.1
0.122
0.149
0.088
0.83
0.066
0.643
0.982
1.02
1.29
0.387
0.312
0.308
0.029
0.038
0.035
1.23
0.975
1.14
0.561
0.697
0.73
2.63
6.21
3.05
128
193
127
17.3
19.7
15.8
66.8
53.3
35.4
80.5
75
91
150 1130
118 1010
161 1160
3.3
4.4
3.9
0.063
0.191
0.96
0.38
0.133
1.05
0.165
0.036
0.927
0.796
2.57
112
13.4
27.5
93.6
120
924
3.9
0.011
0.05
0.025
0.024
0.009
0.033
0.039
0.045
0.06
0.363
0.106
0.479
0.234
0.058
0.074
0.071
0.147
0.116
1.38
1.25
1.07
0.91
1.84
1.28
1.19
2.76
1.15
0.16
0.114
0.168
0.466
0.042
0.098
0.043
0.071
0.055
0.051
0.055
0.753
0.102
0.17
0.053
0.163
0.074
0.18
1.32
1.27
0.715
0.811
1.8
1.35
0.971
0.483
0.912
0.38
0.275
0.164
0.271
0.225
0.329
0.105
0.301
0.166
0.059
0.019
0.062
0.044
0.022
0.03
0.028
0.087
0.041
1.13
1.05
0.823
0.963
1.13
1.07
0.491
2.14
0.578
1.73
0.491
2.06
1.09
0.048
0.552
0.31
0.546
0.518
3.07
6.56
4.57
3.18
6.13
3.3
6.56
3.5
6.43
138
172
179
145
113
140
103
199
111
16.7
18.7
17.8
14.3
13
16.3
9.47
9.18
11.1
76.6
15.7
98.5
10.5
54.4
70.5
45.3
80.4
59.7
84.6
112
122
91.9
70.2
74.7
67.9
66.3
83.8
164 1090
137 1290
184 1170
187 1020
158 1240
159 1100
133 1090
212 1470
139 1120
5.6
4.6
4.8
5.3
4.3
4.3
5.1
3.3
5.9
0.067
0.077
0.064
0.025
0.02
0.166
0.261
0.191
0.009
0.027
1.53
1.65
1.78
1.57
1.74
0.041
0.073
0.067
0.041
0.046
0.043
0.285
0.552
0.081
0.153
0.512
0.596
0.633
0.655
1.15
0.132
0.078
0.085
0.072
0.094
0.026
0.063
0.063
0.021
0.021
0.229
0.156
0.192
0.172
0.358
0.699
1.02
0.777
0.232
0.025
7.27
5.04
5.56
3.79
4.24
107
94.6
110
75.9
80.9
6
6.34
6.96
6.4
7.92
55.2
10.4
13.6
11.6
38.9
44.9
54.9
64.1
48.1
57.6
148
132
167
132
136
854
899
976
995
876
7.7
7.1
5.5
6.3
5
0.034
0.05
1.15
0.058
0.058
1.35
0.294
0.006
1.12
0.206
2.71
120
14.7
68.1
64.8
133 1050
4.6
0.043
0.061
0.268
0.245
2.32
1.61
0.066
0.07
0.314
0.172
0.627
2.07
0.099
0.071
0.045
0.053
0.36
0.186
1.28
1.19
5.68
4.42
98.4
87.6
9.11
7.62
19.5
11.6
64.3
70.6
176
156
945
820
6.4
5.5
0.047
0.048
0.049
0.042
0.058
0.065
0.065
0.068
0.067
0.084
0.161
0.146
0.155
0.126
0.184
0.211
0.129
0.166
0.199
0.266
1.47
1.85
1.73
1.7
1.28
1.65
1.56
3.14
1.65
1.28
0.154
0.092
0.051
0.112
0.095
0.102
0.166
0.104
0.119
0.087
0.082
0.09
0.158
0.21
0.058
0.055
0.151
0.053
0.163
0.071
0.546
0.889
0.653
0.508
1.3
0.308
0.373
0.368
0.447
1.14
0.181
0.328
0.081
0.299
0.346
0.206
0.281
0.292
0.292
0.158
0.06
0.1
0.037
0.054
0.037
0.028
0.034
0.039
0.058
0.049
0.898
1.32
0.164
0.995
1.17
0.72
0.889
1.11
0.927
0.794
0.747
0.604
0.767
0.686
1.28
1.02
0.638
0.831
1.02
1.3
8.11
6.42
4.91
6.94
3.29
6.12
7.28
4.71
6.97
3.77
160
134
86.5
129
145
99.3
139
125
131
143
19.3
19.3
6.46
43.6
16.7
27.1
22.2
17.6
38.3
19.7
12.5
125
11.5
45
65.8
20.5
13.3
13.9
42.9
39.1
82.1
83.2
53.9
85.9
72.8
95.2
84.2
59.5
85.9
128
218 1220
173 1810
172 1020
165 1330
175 1140
194 1260
164 1200
141 1030
164 1390
146 1230
4.7
4.1
6
4.3
3.9
5.1
3.9
4.5
5.2
4.2
0.069
0.087
0.183
0.208
1.94
1.76
0.07
0.061
0.095
0.099
0.465
0.683
0.225
0.087
0.037
0.042
1.19
0.168
0.915
1.33
2
5.04
123
92.9
4.57
6.96
7.51
12
69.4
56.3
123
157
943
949
3.3
6.8
0.074
0.084
0.142
0.171
2.44
1.85
0.051
0.088
0.052
0.038
0.737
1.21
0.408
0.263
0.022
0.072
1.16
1.35
0.745
0.899
3.94
2.38
143
130
6.75
6.18
36.8
101
67.6 81.9 1170
64.4 98.6 1070
5
3.5
0.106
0.102
0.307
0.342
1.15
4.08
0.063
0.065
0.051
0.077
0.643
0.752
0.29
0.366
0.031
0.048
0.885
1.08
1.61
1.77
4.4
3.37
151
145
17.4
5.33
7.25
33.1
103
58.3
177 1100
117 1010
4.3
5.2

2
2 2
2 2
2
modelos dado que es calculada con observaciones no incluidas en el cálculo del modelo.
2
Su valor se encuentra entre 0 y 1, y se calcula a partir del estadístico PRESS. Valores altos de R
Predictora sugieren modelos de mayor capacidad de predicción o estimación.

Como se tiene el mimso número de componentes que predictors (17), se pueden comparar los
estadísticos de bondad de ajuste y de bondad de predicción para el modelo PLS y la solución de
mínimos cuadrados.
Number of components selected by cross-validation: 2
Number of observations left out per group: 1
Number of components cross-validated: 17

El ANOVA muestra que el valor p para Aroma es 0.000 menor a 0.05, proporcionando suficiente
evidencia de que el modelo es significativo.

Analysis of Variance for Aroma
Source DF SS MS F P
Regression 2 28.8989 14.4494 39.93 0.000
Residual Error 34 12.3044 0.3619
Total
36 41.2032
Usar la tabla de Selección y Validación del Modelo para seleccionar el número óptimo de
componentes para el modelo. Dependiendo de los datos o campo de estudio, se puede determinar
que un modelo diferente del seleccionado por validación cruzada es más apropiado.

Model Selection and Validation for Aroma
Components X Variance Error SS R-Sq
PRESS R-Sq (pred)
1 0.225149 16.5403 0.598569 22.3904 0.456585
2 0.366697 12.3044 0.701374 22.1163
0.463238
3 8.9938 0.781720 23.3055 0.434377
4 8.2761 0.799139 22.2610 0.459726
5 7.8763 0.808843 24.1976 0.412726
6 7.4542 0.819087 28.5973 0.305945
7 7.2448 0.824168 31.0924 0.245389
8 7.1581 0.826274 30.9149 0.249699
9 6.9711 0.830811 32.1611 0.219451
10 6.8324 0.834178 31.3590 0.238920
11 6.7488 0.836207 32.1908 0.218732
12 6.6955 0.837501 34.0891 0.172660
13 6.6612 0.838333 34.7985 0.155442
14 6.6435 0.838764 34.5011 0.162660
15 6.6335 0.839005 34.0829 0.172811
16 6.6296 0.839100 34.0143 0.174476
17 6.6289 0.839117 33.8365 0.178789

2
2 2
2
2 2
de mínimos cuadrados de 17 componentes, se puede ver que el modelo PLS predice los datos mucho

R-Sq
Calculated Response
2
mientreas que el de 17 componentes es de solo 18%.
–
La varianza de X indica la cantidad de varianza en los predictores que es explicada por el modelo.
16
14
12
10
8
6
4
2
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
optimal
Variable
Fitted
Crossval
En este ejemplo, el modelo de dos componentes explica el 36.7% de la varianza en los predictores.
–

Esta gráfica muestra la tabla de “Model Selection and Validation. La línea vertical indica que le modelo
óptimo tiene dos componentes. Se puede observar que la habilidad predictiva de todos los modelos
con más de cuatro componentes, se reduce significativamente, incluyendo el de 17 componententes
con sólo 18%.

PLS Model Selection Plot
(response is Aroma)
8
7
6
5
4
3
8

7

6

5

4

3
Variable
Fitted
Crossval
Components

Como los puntos muestran un patrón de línea recta, de abajo hacia arriba, la gráfica de respuesta
indica que el modelo ajusta los datos adecuadamente. A pesar de haber diferencias entre las
respuestas estimadas (fitted) y las de validación cruzada (cross-validated indica que tan bien el
modelo estima los datos, de modo que se puedan omitir), ninguno es suficientemente severo para
indicar puntos influyentes extremos.

PLS Response Plot
(response is Aroma)
2 components
Actual Response

La gráfica de coeficientes muestra los coeficientes estandarizados para los predictores. Se usa para
interpretar la magnitud y signo de los coeficientes. Los elementos Sr, B, Mg, Pb y Ca tienen los

Standardized Coefficients
Component 2
16
14
12
10
8
6
4
2
coeficientes más altos y el mayor impacto en Aroma. Los elementos Mo, Cr, Pb, y B están
positivamente realcionados con Aroma, mientras que Cd, Ni, Cu, Al, BA y Sr están realcionados
negativamente.

PLS Std Coefficient Plot
(response is Aroma)
2 components
0.3

0.2

0.1

0.0

-0.1

-0.2

-0.3
0.2
0.1
0.0
-0.1
-0.2
-0.3
-0.4
-0.5
0.5
0.4
0.3
0.2
0.1
0.0
-0.1
-0.2
-0.3
K
P
Ca
Na
Si
Mg
B
Sr
Cr
Ba
Al
Cu
Ni
Mn
Mo
Pb
Cd
Predictors

La gráfica de carga compara la influencia relativa de los predictors en la respuesta. El Cu y el Mn
tienen líneas muy cortas, indicando que tienen carga baja en X y no se realcionan con Aroma. Los
elementos Sr, Mg, y Ba tienen líneas largas, indicando que tienen una carga mayor y se están más
relacionadas con Aroma.

PLS Loading Plot
0.6
Component 1

La gráfica de distancia y la gráfica de residuales versus influyentes, muestran los puntos atípicos e
influyentes. Brushing la gráfica de distancia, pueden observarse comparados con el resto de datos. La
observación 14 y 32 tienen una mayor distancia en el eje Y y las observaciones de los renglones 7,
12, y 23 tienen una mayor distancia en el eje X.

Distance FromY
Standardized Residual
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0.0
9
8
7
6
5
4
3
2
1
0
PLS Distance Plot
2 components
Distance FromX

La gráfica de residuos versus influyentes confirma estos hallazgos, indicando que:
–
Las observaciones 14 y 32 son puntos atípicos, ya que salen de las líneas de referencia
horizontales.
–
Las observaciones 7, 12 y 23 tienen valores influyentes extremos, dado que están a la derecha de
Leverages
1.0
0.8
0.6
0.4
0.2
0.0
la línea vertical de referencia.

PLS Residual Versus Leverage
(response is Aroma)
2 components
0.108
2

1

0

-1

-2
8. REGRESIÓN LOGÍSTICA BINARIA
3
Tanto la regression logística como la regresión por mínimos cuadrados, investigan la relación entre
una variable de respuesta y uno o más predictores. Una diferencia práctica entre ellas es que las
técnicas de regresión logística se utilizan con variabnles de respuesta categóricas, y las técnicas de
regresión lineal son usadas con variables de respuesta comtinuas.

Hay tres procedimientos de regresión logística que se pueden utilizar para evaluar las relaciones entre
uno o más vareiables predoctoras y una respuesta categórica de los tipos siguientes:
3
Hair., Joseph Jr., Et. Al., Multivariate Data Analysis, Prentice Hall Internacional, Nueva Jersey, 1984,
pp. 279- 325

Tipo de
Variable Número de
categorias
Características
Ejemplos
Binary
2
Dos niveles
Éxito, falla
Si, No
Ordinal
3 o más
Orden natural de niveles
Nada, moderado, severo
Nominal 3 o más
Niveles sin orden natural
Fino, medio, grueso
Azul negro, rojo, amarillo
Soleado, lluvioso, nublado

Tanto los métodos de regression logísticos como los métodos de mínimos cuadrados, estiman los
parámetros en el modelo de manera que el ajuste es optimizado. El de mínimos cuadrados minimiza
la suma de cuadrados de los errores para estimar los parámetros, mientras que la regresión logística
obtiene la máxima verosimilitud de los parámetros usando un algoritmo iterativo de mínimos
cuadrados reponderados.

La regresión logística predice directamente la probabilidad de que un evento ocurra, la respuesta tiene
un rango entre cero y uno con una forma de S.

Su término de error es el de una variable discreta, que no sigue la distribución normal sino la binomial;
la varianza de una variable dicotómica no es contante, creando situaciones de heteroestacidad.

Su relación única entre las variables independientes y dependiente requiere un método diferente para
estimar, evaluar bondad de ajuste e interpretar los coeficientes.

P(y) = 1
P(y) = 0
Bajo
Alto
Para la estimación de sus coeficientes dada su naturaleza no lineal, se utiliza el método de máxima
verosimilitud, buscando el mayor valor de verosimilitud (likelihood value) de que un evento ocurra, en
vez de la mínima suma de cuadrados como en la regresión múltiple.

En el siguiente ejemplo se muestran ejemplos de cuando el modelo puede adecuado y cuando no.

A. Relación con ajuste pobre
Hay valores de X que tienen respuesta Y de eventos y no eventos.
B. Relación con ajuste bien definido

Los valores de X sólo tienen una respuesta en Y de eventos o no eventos.

El nombre de regresión logística deriva de la transformación utilizada en su variable dependiente. El
procedimiento para calcular los coeficientes logísticos, comparan la probabilidad de que un evento
ocurra con la probabilidad de que no ocurra. Esta razón de posibilidades se expresa como:
P(evento)
P(no evento)
? eB0 ? B1X1 ? B2X2 ?….? BnXn
Los coeficientes estimados (B0, B1, … Bn) son medidas reales de las posibilidades en la relación de
probabilidades. Como se expresan en logaritmos, al final se deben regresar con las funciones de
antilogaritmo de modo que se pueda el efecto en las probabilidades de manera más fácil.

Cuando los coeficientes son positivos, su transformación será mayor a uno, en la razón de
posibilidades se incrementa y viceversa en caso contrario.

Rlogit ?
La medición global de que tan bien ajusta el modelo, similar a la menor suma de cuadrados en la
regresión múltiple, se da por el valor de verosimilitud (que es realmente menos 2 veces el logaritmo
del valor de verosimilitud = -2LL). Un modelo ideal tendrá una verosimilitud de 1 y un -2LL de cero.
Para determinar un “pseudos R2” de la regresión logística se puede calcular como:
2
?2LLnull ?(?2LLmodel)
?2LLnull
Para probar la significancia de los coeficientes se usa el estadístico de Wald, utilizado de manera
similar a la regresión múltiple para probar significancia.

Ejemplo de Minitab
Un investigador está interesado en comprender el efecto de fumar y el peso en la tasa de pulso en
reposo. Dado que se ha categorizado la tasa de respuesta del puso en baja y alta, el análisis de
regresión logística es adecuado para comprender los efectos de fumar y peso en la tasa de pulso.

Corrida en Minitab:
1
2
3
Abrir la hoja de trabajo EXH_REGR.MTW o tomar datos de esta tabla.
Seleccionar Stat > Regression > Binary Logistic Regression.
En Response, seleccionar RestingPulse. En Model, seleccionar Smokes Weight. En Factors
(optional), seleccionar Smokes.
4
Click Graphs. Seleccionar Delta chi-square vs probability y Delta chi-square vs leverage. Click
OK.
5
Click Results. Seleccionar In addition, list of factor level values, tests for terms with more
than 1 degree of freedom, and 2 additional goodness-of-fit tests. Click OK en cada uno de las
ventanas de diálogo.
Model: Especificar los términos a ser incluidos en el modelo.
Factors (optional): Especificar cuales de los predictores son factores, Minitab asume que todas las
variables en el modelo con covariados a menos que se especifique cuales predictors son factores. Los
predoctores continuos deben ser modelados como covariados; y los predictores categóricos deben ser
modelados como factores.

Los resultados se muestran a continuación:

Results for: Exh_regr.MTW

Binary Logistic Regression: RestingPulse versus Smokes, Weight

Link Function: Logit

Información de la respuesta: – muestra el número de valores no considerados y el número de
observaciones que caen dentro de cada una de las dos categorías de respuesta. El valor de la
respuesta que se ha designado como el evento de referencia es la primera entrada en Valor y se
etiqueta como evento. En este caso, el evento de referencia es tasa de pulso baja.
Response Information
Variable
Value Count
Pulso en reposo Bajo 70 (Event)
Alto 22
Total 92

Información de los factores: muestra todos los factores del modelo, el número de niveles para cada
factor, y los valores de nivel de los factores. El nivel del factor que se ha designado como nivel de
referencia es la primera entrada en Values, el sujeto no fuma.
Factor Information
Factor Levels Values
Fuma 2 No, Si

Tabla de regression logística – muestra los coeficientes estimados, error estándar de los
coeficientes, su valor Z y p. Cuando se usa la función de enlace logia, se puede también obtener la
tasa de posibilidades y un intervalo de confianza del 95% para esta tasa.
? De la salida, se puede ver que los coeficientes estimados para ambos Fuma (z=-2.16, p =0.031) y
Peso (z= 2.04, p = 0.041), tienen valores p menores a 0.05 indicando que hay suficiente evidencia de
que los coeficientes no sean cero utilizando un alfa de 0.05.
? El coeficiente estimado de -1.193 para Fuma, representa el cambio en el logaritmo de P(pulso
bajo/P(pulso alto) cuando el sujeto fuma comparado a cuando no lo hace, con el covariado peso
mantenido constante.
? El coeficiente estimado de 0.025 para Peso representa el cambio en el logaritmo de P(pulso
bajo/P(pulso alto) con un incremento en peso de 1 libra, con el factor Fuma mantenido constante.
? A pesar de que hay evidencia de que el coeficiente estimado para el peso no es cero, la tasa de
posibilidades es cercana a uno (1.03), indicando que un incremento de una libra en peso afecta de
forma mínima a la tasa de pulso en reposo de la persona. Se puede observar una diferencia más
significativa si se comparan sujetos con una diferencia más grande en peso, (por ejemplo, si la unidad
de peso es de 10 libras, la tasa de posibilidades pasa a ser 1.28, indicando que las posibilidades de
un sujeto para que tenga un pulso bajo se incrementan 1.28 veces con cada 10 libras de incremento
en peso).
? Para Fuma, el coeficiente negativo de -1.193 y la tasa de posibilidades de 0.30, indica que quien
fuma, tiende a tener una tasa de pulso más alta que los sujetos que no fuman. Si los sujetos tienen el
mismo peso, la tasa de posibilidades se puede interpretar como las posibilidades de que los
fumadores en la muestra tengan un pulso bajo sea sólo del 30% de las posibilidades de que los no
fumadores tengan un pulso bajo.
Logistic Regression Table
Odds 95% CI
Predictor Coef SE Coef Z
P Ratio Lower Upper
-1.98717
1.67930 -1.18 0.237
Constant
Fuma
Si
-1.19297 0.552980 -2.16 0.031 0.30 0.10 0.90
Peso 0.0250226 0.0122551 2.04 0.041 1.03 1.00 1.05

Se muestra el último valor de verosimilitud logarítmica de las iteraciones de máxima verosimilitud,
junto con el estadístico G. Este estadístico prueba la hipótesis nula de que todos los coeficientes
asociados con los predictores son iguales a cero versus que sean diferentes de cero. En este caso, G
= 7.54, con un valor P de 0.023, indica que suficiente evidencia de uno de los coeficientes es diferente
de cero, para alfa de 0.05.

Log-Likelihood = -46.820
Test that all slopes are zero: G = 7.574, DF = 2, P-Value = 0.023

Las pruebas de bondad de ajuste muestran las pruebas de – Pearson, desviación, y Hosmer-
Lemeshow. Como se seleccionó el enlace a la función Logia y las opciones en la ventana de
resultados, además se muestran las pruebas de Brown de alternativa general y simétrica. Las pruebas
de bondad de ajuste, con valor p de 0.312 y 0.724, indican que no hay suficiente evidencia para
afirmar que el modelo no ajusta los datos adecuadamente, si los valores p fueran menores a alfa, el
modelo no ajustaría a los datos.

Goodness-of-Fit Tests
Method Chi-Square DF P
Pearson 40.8477 47 0.724
Deviance 51.2008 47 0.312
Hosmer-Lemeshow
4.7451 8 0.784
Brown:
General Alternative 0.9051 2 0.636

Symmetric Alternative
0.4627 1 0.496
La tabla de valores observados y frecuencias esperadas – permite ver que tan bien el modelo
ajusta los datos, al comparar las frecuencias observadas y esperadas. Hay evidencia insuficiente de
que el modelo no ajuste a los datos bien, ya que ambas frecuencias son similares. Esto soporta las
conclusiones hechas en las pruebas de bondad de ajuste.

Table of Observed and Expected Frequencies:
(See Hosmer-Lemeshow Test for the Pearson Chi-Square Statistic)
Group
Value 1 2 3 4 5 6 7 8 9 10 Total
Bajo
Obs 4 6 6 8 8 6 8 12 10 2 70
Exp 4.4 6.4 6.3 6.6 6.9 7.2 8.3 12.9 9.1 1.9
Alto
Obs 5 4 3 1
1 3 2 3 0 0 22
Exp 4.6 3.6 2.7 2.4 2.1 1.8 1.7 2.1 0.9 0.1
Total 9 10 9 9 9 9 10 15 10 2 92

Medidas de asociación – muestran una tabla del número y porcentaje de pares de datos
concordantes, discordantes y apareados, así como las estadísticas de correlaciones comunes de
rangos. Estos valores miden la asociación entre las respuestas observadas y las probabilidades
estimadas.

? La tabla de pares de datos concordantes, discordantes y apareados se calcula con valores de
respuesta diferentes. En este caso, se tienen 70 individuos con pulso bajo y 22 con pulso alto,
resultando en 70*22 = 1540 pares con diferentes valores de respuesta. Con base en el modelo, un par
es concordante si el individuo con pulso bajo tiene una probabilidad más alta de tener un pulso bajo;
es discordante si ocurre lo opuesto; y pareado si las probabilidades son iguales.
? En este ejemplo, el 67.9% es concordante y 29.9% son discordantes. Se pueden usar
estos
valores como una medición comparativa de predicción, por ejemplo al comparar valores estimados
con diferentes conjuntos de predictores o con diferentes funciones de enlace.

? Se presentan resúmenes pares concordantes y discordantes de Sommers, Goodman-Krsukal
Gamma y Kendall Tau-a. Estas medidas tienden a encontrarse entre 0 y 1, donde los valores más
grandes indican que le modelo tien una mejor habilidad predictiva. En este ejemplo, el rango de
medición de 0.14 a 0.39 implica una predictibilidad menor a la deseable.

Measures of Association:
(Between the Response Variable and Predicted Probabilities)
Pairs Number Percent Summary Measures
Concordant 1045 67.9 Somers' D 0.38
Discordant 461 29.9 Goodman-Kruskal Gamma 0.39
Ties 34 2.2 Kendall's Tau-a
0.14
Total 1540 100.0

Gráficas: – En el ejemplo, se sele