최소제곱법과 기하

한 줄 요약

선형회귀의 잔차를 최소화하는 문제는 $y$ 를 $X$ 의 열공간에 직교 투영하는 것과 같고, 그 해가 정규방정식 $\hat{w} = (X^\top X)^{-1} X^\top y$ 다.

선형 모델: 예측은 $\hat{y} = Xw$ . 주어진 것은 $X$ (피처 행렬, $n\times p$ )와 $y$ (레이블, $n\times 1$ ), 찾는 것은 가중치 $w$ .
잔차(Residual): $r(w) = y - Xw$ . 모델 오차, 측정 오차, 노이즈 등으로 $y \ne Xw$ 가 일반적이므로 잔차가 생긴다.
최소제곱(Least Squares): $\|r(w)\|_2^2 = \sum_i r_i^2$ 를 최소화하는 $w$ 를 찾는 것. 제곱을 쓰는 이유 → 부호 무시, 미분 용이(closed-form 존재), 큰 오차에 큰 페널티, 기하학적 해석, 가우시안 노이즈 가정 시 MLE와 일치.
Span: 벡터들의 모든 선형결합 집합. $\hat{y} = Xw$ 는 항상 $\text{span}(\text{cols}(X))$ 안에 있지만, $y$ 는 노이즈 때문에 그 밖에 있을 수 있다.
직교 투영: 평면 밖의 점( $y$ )에서 평면(span)까지 최단 거리는 수직으로 내린 점. 따라서 최적 $\hat{y}$ 는 $y$ 의 직교 투영이고, 잔차 $\hat{r} = y - \hat{y}$ 는 span에 수직이다.
선형독립 / Rank / 역행렬: $\text{rank}(X)$ = 선형독립 열(=행)의 개수. 역행렬은 정사각 + full rank일 때만 존재. $X$ 는 보통 정사각이 아니라서 $X^{-1}$ 로 못 푼다.

직교 조건에서 정규방정식 유도: $X^\top \hat{r} = X^\top(y - X\hat{w}) = 0 \;\Rightarrow\; X^\top X\,\hat{w} = X^\top y$

$X^\top X$ 가 역행렬을 가지면: $\hat{w} = (X^\top X)^{-1} X^\top y \quad \text{(Normal Equation)}$

피타고라스로 직교가 최소임을 증명: 직교가 아닌 잔차 $\tilde{r}$ 에 대해 $\|\tilde{r}\|^2 = \|\hat{r}\|^2 + \|d\|^2 > \|\hat{r}\|^2 \quad (d \ne 0)$

$X^\top X$ 역행렬 존재 조건: $n \ge p$ 이고 $\text{rank}(X) = p$ (full column rank) 이면 $X^\top X$ 가 $p\times p$ full rank → $(X^\top X)^{-1}$ 존재.