Regularized Linear Regression

선형 회귀 복습

• 최소제곱 손실을 최소화하는 문제가 기본 선형 회귀임

min⁡wL(w)=∑i=1n(yi−xiTw)2=∥XTw−y∥22\min_w L(w) = \sum_{i=1}^n (y_i - x_i^T w)^2 = \|X^T w - y\|_2^2

• 가우시안 노이즈 가정 하에서 최대우도추정과 동치임
• 해석적 해는 Normal Equation으로 구함

XXTw=Xy⇒w∗=(XXT)−1XyX X^T w = X y \quad\Rightarrow\quad w^* = (X X^T)^{-1} X y

• (X X^T) 가 full rank여야 역행렬이 존재함
• 해는 dense한 파라미터 벡터가 됨
• 과적합과 과소적합 문제가 발생함

Underfitting vs Overfitting

다항식 곡선 피팅 설정

• 입력 (x) 에 대해 다음과 같은 다항식 모델을 사용함