mmings_pring_day

0.  페널티회귀분석 개요- 표준적인 선형회귀모델은 독립변수의 개수가 표본크기에 비해 지나치게 많은 경우 제대로 된 성능을 발휘하기 어려움.     (불필요한 회귀계수는 모델의 예측성능을 저하시키기 때문임)- 또한 많은 독립변수가 포함되어 있으면 다중공선성으로 인해 일부 회귀계수의 영향력이 과다 추정될 수 있음=> 통계데이터분석) 모델의 단순화는 매우 중요함 (최소한의 독립변수로 이루어진 간명한 모델은 유사한 다른 문제로의 일반화 가능성을 크게 해주기 때문)=> 예측정확도가 비슷한 두 대안모델이 있으면 일반적으로 독립변수의 개수가 더 적은 단순한 모델을 선택하는 것이 과적합의 위험을 피할 수 있다는 점에서 보다 바람직히다 - 지나치게 너무 많은 독립변수를 갖는 모델, 즉 복잡한 모델에 페널티를 부과하는 ..

회귀분석-  패널티회귀분석 (릿지, 라소, 일래스틱넷)-지나치게 많은 독립변수를 갖는 모델에 페널티를 부과하는 방식으로 보다 간명한 회귀모델을 생성  -> 모델의 성능에 크게 기여하지 못하는 변수의 영향력을 축소하거나 모델에서 제거  -> 최소자승법에 의한잔차 (관측값- 예측값)의 제곱합과 페널티항의 합이 최소가 되는 회귀계수를 추정 - 릿지회귀분석(Ridge), 라소회귀분석(Lasso), 일래스틱넷회귀분석  = 페널티항 구성에 따라 차이 릿지 회귀분석- 모델의 설명력에 기여하지 못하는 독립변수의 회귀계수 크기를 0에 근접하도록 축소- L2- norm 페널티항으로 회귀모델에 페널티를 부과함으로써 회귀계수를 축소  -> 잔차도 작게, 회귀계수의 제곱 합도 작게!! (유용한 변수의 계수는 유지, 유용하지 않..

회귀분석- 더미변수 회귀분석- 독립변수 (연속형 변수) : 교육기간/ 자동차 모델- 마력, 무게  (다중회귀분석) 등등- 독립변수가 범주형 변수일 때 독립변수를 더미변수로 변환하여 회귀분석 수행- 더미변수란 어떤 속성 (또는 사건)이 존재할 경우 그 값을 1로, 존재하지 않을 경우 그 값을 0으로 코딩한 인위적 변수- 더비변수를 이용한 회귀분석을 통해 얻ㄱ 되는 회귀계수는 1로 코딩된  소득 = Bo + B1 X 성별더미 - 독립변수 성별더미: 남자는 1, 여자는 0으로 코딩   (0으로 코딩된 소득은 '절편')- 회귀계수 B1: 코드값이 1인 범주 (즉, 남자)의 소득에 대한 영향   (0으로 코딩된 범주와 1로 코딩된 범주의 종속변수  간의 간격) 범주가 여러 개일 경우) 확장편[더미변수 코딩과 회귀..

다항회귀분석 - 단순회귀분석처럼 한 개의 연속형 독립변수를 이용하여 한 개의 연속형 종속변수를 예측- 단순회귀분석과 달리 선형관계는 독립변수의 n 차 다항식으로 모델링-> 따라서 비록 한 개의 독립변수를 사용하고 잇지만, 실제론 그 한 개의 독립변수로 n차 항의 새로운 독립변수를 생성해서 여러 개의 독립변수를 회귀모델에 투입하게 됨-> 다항회귀분석 - 여러 개의 독립변수를 예측 변수로 사용하는 다중 회귀 분석의 한 특수한 경로로 볼 수 있음 - 관측값을 통과하는 추세선(산점도 상의 관측값을 통과하는 추세선) 을 그렸을 때, 개의 굴절이 관찰되면 일반적으로 이를 n차 다항식으로 모델링- 한 개의 굴절 관찰: 2차 다항식으로 모델링- 두 개의 굴절 관찰: 3차 다항식으로 모델링 (3차항 초과의 다항식은 흔..