기계학습 중간 종합정리

한 줄 요약

데이터 수학적 표현(Lec 01-03) → 최소제곱법과 최적화(Lec 04-06) → 선형대수로 효율화(Lec 07-09, 투영·SVD) → 첫 알고리즘과 모델 평가(Lec 10-11) → 지도학습 프레임워크 정리(Lec 12)로 이어지는 흐름.

강의 흐름

단계	강의	핵심
기초	Lec 01 Course Intro	강의 안내
기초	Lec 02 Intro to ML	ML 개요·종류·프로세스
기초	Lec 03 Vectors & Matrices	데이터·모델의 수학적 표현 도구
최소제곱	Lec 04 LS & Geometry	기하학적 투영 관점, 정규방정식 유도
최소제곱	Lec 05 LS & Optimization	목적함수 최적화 관점(볼록성·그래디언트)
최소제곱	Lec 06 Gradient Descent	대규모 데이터용 경사하강법
효율화	Lec 07 Subspaces/Bases/Projections	직교정규기저로 효율적 투영 (L07 부분공간 기저 투영)
효율화	Lec 08 Intro SVD	직교정규기저를 찾는 SVD (L08 특이값분해 SVD)
효율화	Lec 09 SVD ML	차원축소·압축·안정적 최소제곱 (L09 특이값분해 SVD 2)
알고리즘·평가	Lec 10 kNN	k-최근접 이웃
알고리즘·평가	Lec 11 Model Complexity & Validation	과적합/과소적합, 교차검증, 하이퍼파라미터
프레임워크	Lec 12 Supervised Learning Basics	데이터셋·모델클래스·목적함수·옵티마이저

핵심 개념 (Lec 02 상세)

ML 3대 카테고리

종류	데이터	목표	대표 작업
지도 학습 Supervised	Label 있음	Feature→Target 관계 학습	분류(Classification), 회귀(Regression)
비지도 학습 Unsupervised	Label 없음	숨은 구조/패턴	군집화(Clustering), 차원축소
강화 학습 Reinforcement	보상 신호	Reward 최대화 Policy	게임·로봇·자율주행

지도 학습 7단계

1. 데이터 수집 → 2. 전처리(표준화·crop·레이블) → 3. 특성 추출(딥러닝은 생략 가능) → 4. 학습 샘플 $(x_i,y_i)$ 생성 → 5. 손실 함수 선택 → 6. 모델 학습(손실 최소화) → 7. 일반화 오류 평가(Test Data)

ML의 과제

• 견고성 부족: 적대적 예제(Adversarial Example, 팬더+노이즈→긴팔원숭이)
• 데이터 편향: 다양성 부족 시 불공정 결과
• 윤리: 범죄예측 편향 등. “magic black box”로 취급하지 말 것

핵심 수식 / 예시

손실 함수 예 (제곱 오차 합): $\sum_i (y_i - \hat y_i)^2$

최소제곱 해의 두 형태 (Lec 04-09 관통): $\hat w = (X^TX)^{-1}X^Ty \quad\xrightarrow{\text{SVD}}\quad \hat w = V\Sigma^+U^Ty$