L18-19 구현

한 줄 요약

18, 19강은 별도 이론 없이 앞선 L15~L17 개념(경사하강법·OLS·정규화·로지스틱/소프트맥스 회귀)을 코드로 직접 구현하는 실습 파트다. (원본 Notion 페이지 본문은 비어 있어, 구현 대상 개념만 정리한다.)

선형회귀 학습 루프: design matrix $X$ , 파라미터 $\theta$ 로 예측 $y_{\text{pred}}=X\theta$ 계산 → MSE 손실 → 그래디언트 $(f_\theta(x)-y)x$ → 경사하강법 업데이트. 학습이 진행되며 MSE 로그가 감소하는지 확인하는 것이 핵심 검증.
OLS(정규방정식) 구현: 반복 없이 $\theta^*=(X^\top X)^{-1}X^\top y$ 를 한 번에 계산. 경사하강법 결과와 비교.
다항/비선형 특징: $\phi(x)=[1,x,x^2,\dots]$ 로 특징 변환 후 선형 모델로 학습 → 결과는 곡선(비선형) 모델.
정규화(Ridge/Lasso): 목적함수에 $\lambda\|\theta\|_2^2$ 또는 $\lambda\|\theta\|_1$ 추가. $\lambda$ 를 바꿔가며 과적합 곡선이 완만해지는지, Lasso에서 일부 가중치가 0이 되는지(sparsity) 관찰.
로지스틱/소프트맥스 회귀: 선형 점수 → 시그모이드/소프트맥스로 확률 출력 → 크로스엔트로피 손실 → 경사하강법. 결정 경계 시각화.