부분공간, 기저, 투영

한 줄 요약

최소제곱법의 $(X^TX)^{-1}$ 역행렬 부담을, 같은 공간을 span하는 직교정규기저 $U$로 바꾸면 $U^TU=I$ 덕분에 투영을 역행렬 없이 계산할 수 있다.

핵심 개념

개념	정의	의미 / 중요성
부분공간 Subspace	선형결합에 닫힌 벡터 집합. $x,y\in S \Rightarrow \alpha x+\beta y\in S$	데이터가 사는 공간. 직선·평면 등
기저 Basis	부분공간을 span하는 선형독립 벡터들	중복 없는 최소 표현
직교정규기저 Orthonormal basis	서로 직교($u_i^Tu_j=0$) + 길이 1($\|u\|=1$)인 기저	가장 좋은 표현. $U^TU=I$
투영 Projection	$y$를 공간 위로 수직으로 내린 점	예측값 $\hat y$ = 최소제곱 해
차원 Dimension	$\dim(S)$ = 기저 벡터 개수 = $\text{rank}(X)$	직선 1, 평면 2, 공간 3

• 같은 평면 $S=\{x\in\mathbb{R}^3: x_3=0\}$도 일반 span / 기저 span / 직교정규 span 세 가지로 표현 가능 — 직교정규가 최선.
• 직교정규기저의 장점: ① 길이 보존 $\|Uv\|^2=\|v\|^2$ ② $(U^TU)^{-1}=I$ ③ 계산 간소화.

핵심 수식 / 예시

투영 = 최소제곱: $\hat y = \text{argmin}_{x\in X}\|y-x\|^2$

$X$ 기저로 풀 때: $\hat w = (X^TX)^{-1}X^Ty,\qquad \hat y = X(X^TX)^{-1}X^Ty = P_X\,y$

직교정규기저 $U$로 풀 때 (같은 공간, $U^TU=I$): $\tilde w = (U^TU)^{-1}U^Ty = U^Ty,\qquad \hat y = UU^Ty$

• $X$가 크면 $X^TX$의 역행렬이 부담 → $U$로 바꾸면 $\tilde w=U^Ty$로 끝.
• $\text{span}(\text{cols}(U))=\text{span}(\text{cols}(X))$ 이므로 공간은 같고 $\hat y$도 같다.