[Regularization model-1] Ridge Regression (2)

[Ridge Regression]

L2-norm regularization : 제곱 오차를 최소화하면서 회귀 계수 Beta의 L2-norm을 제한

두 식은 같다.

 

[MSE Contour]

 MSE를 전개하면 이와 같다.

 

 MSE 식에서 판별식을 구해보자.

 MSE 식을 계산하여 판별식에 넣어보면 0보다 작다. 0보다 작다는 것은 '타원'의 형태를 의미한다. 즉, MSE는 타원의 형태를 가진다. 제약조건이 주어질 때 MSE 값의 변화에 따른 타원의 형태를 살펴보자.

 

 

제약조건과 MSE값

 

 최소제곱법은 제약조건이 주어질 때, 그 안에 들어올 수 없다. 따라서 Bias 값을 희생하며 MSE 값을 키워본다. 이 과정은 Variance를 줄이기 위해 행해지며 MSE의 판별식이 0보다 작기에 타원의 형태를 그리며 커진다. MSE 타원이 제약조건과 맞닿을 때 그때의 Beta를 Ridge estimator라고 부른다. Ridge estimator는 제약조건을 만족하며 에러를 최소로 하는 추정량이다. 또한 그림에서 알 수 있듯이 제약조건에 가까워질수록 Beta 값은 작아진다.

 

[Tuning parameter t값에 따른 B_ridge의 변화]

t값에 따른 Beta의 변화

 t 값이 너무 크면 제약을 가하지 않은 것과 같아진다. 제약조건인 t값이 커지면 Beta 제곱들의 합을 이루는 원이 커지며 OLS estimator에 가깝게 된다. 반대로 t값을 매우 작게 하면 Beta 값은 OLS estimator에서 점점 멀어지고 MSE 타원이 커지며 그에 따라 작아진다.

 

 

[Ridge Solution]

 Ridge는 행렬 연산을 통해 closed form solution을 구할 수 있다.

Ridge Solution 구하기

 최소제곱법은 unbiased estimator이다. 그러나 Ridge Solution은 λ(람다)를 더해줬기 때문에 bias estimator이다. Ridge Solution의 Variance가 OLS estimator 보다 작기 때문에 현재 데이터에 대한 설명은 떨어질 수 있으나 새로운 데이터에 대한 예측면에서는 좋다.