[통계데이터분석] 패널티회귀분석

회귀분석-  패널티회귀분석 (릿지, 라소, 일래스틱넷)

-지나치게 많은 독립변수를 갖는 모델에 페널티를 부과하는 방식으로 보다 간명한 회귀모델을 생성

  -> 모델의 성능에 크게 기여하지 못하는 변수의 영향력을 축소하거나 모델에서 제거

  -> 최소자승법에 의한잔차 (관측값- 예측값)의 제곱합과 페널티항의 합이 최소가 되는 회귀계수를 추정

 

- 릿지회귀분석(Ridge), 라소회귀분석(Lasso), 일래스틱넷회귀분석  = 페널티항 구성에 따라 차이

 

릿지 회귀분석

- 모델의 설명력에 기여하지 못하는 독립변수의 회귀계수 크기를 0에 근접하도록 축소

- L2- norm 페널티항으로 회귀모델에 페널티를 부과함으로써 회귀계수를 축소

  -> 잔차도 작게, 회귀계수의 제곱 합도 작게!! (유용한 변수의 계수는 유지, 유용하지 않은 변수는 0에 가까워짐)

  -> 중요 변수: 잔차 를 크게 만드는 변수

  -> 관심 없는 변수: 잔차도 작지 

 

*  회귀계수가 작아짐: 점점 기울기가 평평해짐

 

라소 회귀분석

- 모델의 설명력에 기여하지 못하는 독립변수의 회귀계수를 0으로 만듦

- L1- norm 페널티항으로 회귀모델에 페널티를 부과함으로써 회귀계수를 축소

   -> B 의 절댓값이 최소가 되는, 잔차의 합이 최소가 되는 -> 이 둘의 합이 최소가 되는 

 

일래스틱넷 회귀분석

- L1-norm 과 L2-norm 모두를 이용하여 회귀모델에 페널티를 부과

 

library(MASS)
str(Boston)

 

릿지회귀분석