최소제곱법과 최적화

한 줄 요약

같은 최소제곱 해 $\hat{w} = (X^\top X)^{-1} X^\top y$를 기하학 대신 최적화로 유도한다: 목적함수를 전개해 gradient를 0으로 놓으면 되고, $X^\top X$가 positive definite라 문제는 convex해서 유일한 최적해를 갖는다.

핵심 개념

• 두 접근의 동치: L04(기하)는 직교 투영 $X^\top \hat{r}=0$, L05(최적화)는 $\nabla_w f = 0$. 도구는 달라도 결과는 같은 $\hat{w} = (X^\top X)^{-1} X^\top y$.
• 분류 세팅: 레이블 $y_i \in \{-1,+1\}$. $\hat{y}=Xw$는 실수라서 $\tilde{y}_i = \text{sign}(\hat{y}_i)$로 변환. sign 외에 Sigmoid, ReLU, Tanh 같은 activation function도 존재.
• 학습/예측 파이프라인: 학습 단계에서 $\hat{w}=(X^\top X)^{-1}X^\top y$ 계산 → 예측 단계에서 새 샘플에 $\tilde{y}_{new}=\text{sign}(\hat{w}^\top x_{new})$.
• Positive Definite(PD): $z^\top Q z > 0,\; \forall z \ne 0$ ($Q \succ 0$). PSD는 $\ge 0$ ($Q \succeq 0$). PD ⟺ convex ⟺ 최소화 쉬움.
• Convexity: $Q>0$이면 그릇 모양(convex, 유일 global min), $Q<0$이면 위로 볼록(non-convex). Convex의 장점: 유일 최솟값, gradient 방법 효과적, 함수가 항상 접선 위.
• Gradient: 스칼라 미분 $df/dw$의 벡터 일반화. 각 변수로 편미분한 벡터.

관점	핵심 개념	핵심 조건	결과
기하학 (L04)	직교 투영	$X^\top \hat{r}=0$	$\hat{w}=(X^\top X)^{-1}X^\top y$
최적화 (L05)	Gradient = 0	$\nabla_w f=0$	$\hat{w}=(X^\top X)^{-1}X^\top y$

핵심 수식 / 예시

목적함수 전개 (스칼라 $w^\top X^\top y = y^\top Xw$ 이용): $\|y - Xw\|_2^2 = (y-Xw)^\top(y-Xw) = y^\top y - 2w^\top X^\top y + w^\top X^\top X w$

핵심 gradient 공식: $\nabla_w(c^\top w) = c,\quad \nabla_w(w^\top w) = 2w,\quad \nabla_w(w^\top Q w) = 2Qw \;(Q=Q^\top)$

목적함수 gradient → 0: $\nabla_w f = -2X^\top y + 2X^\top X w = 0 \;\Rightarrow\; X^\top X w = X^\top y \;\Rightarrow\; \hat{w} = (X^\top X)^{-1} X^\top y$

PD 성질:

• $P \succ 0, Q \succ 0 \Rightarrow P+Q \succ 0$
• $Q \succ 0, a>0 \Rightarrow aQ \succ 0$
• $A^\top A \succeq 0$ 항상 (열 선형독립이면 $A^\top A \succ 0$): $z^\top A^\top A z = \|Az\|^2 \ge 0$
• $Q \succ 0 \Rightarrow Q^{-1}$ 존재

조건 연쇄: $X$ 열 선형독립 → $X^\top X \succ 0$ → $f(w)$ convex → $(X^\top X)^{-1}$ 존재 → 유일한 최적해.