선형회귀 Overview

• 선형회귀의 개념은 Francis Galton(1822–1911)의 연구에서 기원

• 종속 변수 Y를 독립 변수 X의 선형 결합으로 표현한 모델

  • 선형 결합: 벡터들 각각에 대해 스칼라를 곱하고 더하는 연산

  • 입력 변수(X)와 출력 변수(Y) 간의 관계를 직선(선형 함수)으로 **설명(해석)**하고 예측함

    

    • ex) 근속연수 X / 연봉 Y → y = 300x + 4500
      • 해석: 초봉은 4500, 해마다 300씩 연봉이 인상되는구나!

• 관측값들이 선형적인 관계를 가진다고 가정하고, 이 관계를 가장 잘 설명하는 직선을 찾는 것이 목표임

  

선형회귀 모델

• 선형회귀 모델:

  

  → 입력 벡터 X와 가중치 벡터 β의 선형 결합 + 확률 오차

  • ϵ은 확률 오차항 (x로 설명이 되지 않는 부분; 예측이 설명하지 못하는 부분)

    • 정규분포를 따른다고 가정함

      

  • 확률 오차를 고려한 Y값에 대한 분석

    

  • 선형회귀의 목적

    

    • 입력변수 (X)와 출력변수의 평균 (E(Y))의 관계를 설명함!

선형회귀 모델 학습

목적함수

• 빨간 직선과 파란 직선 중 어느선이 더 좋은선?

  • a1 + a2 > b1 + b2 → 최소가 되는 것이 더 좋은 예측

    

• 목적 함수 : 절대값을 의미 → 미분 불가로 인해 실제 데이터와 예측값의 차의 제곱 평균 사용

  

  • 해당 목적 함수를 minimize해야함!
  • 해당 목적함수는 β에 대한 2차식으로 볼 수 있음!

    • 2차식: 볼록 함수(convex function)이기 때문에 미분해서 0이 되는 점을 찾으면 최적해가 됨!

      

• 용어 주의

  

  • Random Error: 조절 불가능한 확률 오차
  • Residual: 최적화가 가능한 값

벡터 표현식 및 최소제곱법 (Least Squares Method; LSM)

• 최소제곱법 목적: 예측값과 실제값의 차이를 제곱한 값을 최소화함

  

  • 해석적 최소제곱 해: 목적함수의 편미분을 통해서 도함수가 0이 되는 지점을 찾음!

• 벡터 표현식: X에 대한 feature의 차원이 커지면, matrix 폼으로 다뤄야함!

  

  

  

  

  • 해석적 최소제곱 해: 벡터 표현식의 목적함수의 편미분을 통해서 도함수가 0이 되는 지점을 찾음!

• 최소 제곱법의 한계: $β=(X^TX)^{-1}​$이 존재하지 않는 경우!!

  • $(X^TX)$이 존재하려면, full rank여야함 (차원마다 독립적이어야함)
    • (N x d)^T * (N x d) = (d x d)
  • Large P, Small N
    • Feature의 수가 많지만, 데이터가 적은 경우
      • ex) feature 10만개, 데이터 100개
        • 변수의 수 10만개, 방정식 100개 (독립적이지 않으면 개수 더 적어짐)
    • 변수의 수는 많지만, 방정식의 수가 적은 경우

  ⇒ 수치해석적으로 접근해보자! : 경사하강법