AI네트워킹 요약

---

응용 계층

9.1 HTTP / 웹

• WWW 구조: 클라이언트(브라우저)·서버·URL(protocol://host:port/path)의 분산 구조
• 쿠키: 무상태(stateless) HTTP에서 클라이언트를 식별하기 위한 상태 저장
• 웹 문서 3종
• 정적(static): 미리 만들어진 HTML 전달
• 동적(dynamic): 요청 시점에 서버가 생성 (CGI·PHP·JSP·ASP)
• 액티브(active): 클라이언트 측 실행 (JavaScript·Java Applet)

9.2 FTP & SMTP

• FTP: 제어 연결(포트 21) + 데이터 연결(포트 20) 분리. 전송 유형/구조/모드 설정, SSL/TLS 보안
• 이메일 3주체: UA(사용자 프로그램) · MTA(전송, SMTP·포트 25) · MAA(수신, POP3·IMAP)
• 이메일 형식: Envelope + Header + Body
• POP3단순(삭제/유지 모드) vs IMAP4강력(헤더 선검사·부분 다운로드·폴더 관리)
• MIME: 멀티미디어 메일 지원 (Content-Type + Base64/Quoted-printable 인코딩)
• DNS
• 계층적 이름공간: 루트 → TLD(.com/.edu) → 도메인 → 호스트
• 질의: 재귀적(recursive) vs 반복적(iterative), TTL 기반 캐싱
• 자원 레코드(RR): A(IPv4)·AAAA(IPv6)·MX(메일)·CNAME(별칭)·NS(권한서버)
• 전송: 512B 이하 UDP, 초과 시 TCP

---

AI 분산·병렬 학습

11-1 Parallel ML

• 병렬화 3종
• 데이터 병렬화: 데이터 분할 · 모델 복제 · 그래디언트 집계
• 모델 병렬화: 모델을 쪼개 각 노드에서 처리
• 파이프라인 병렬화: 모델 스테이지를 순차 오버랩
• 도전: 동기화 오버헤드, 통신 비용, 로드 밸런싱, 메모리 제약
• 모델별: CNN(전부 가능) · RNN/LSTM(순차성 때문에 어려움) · Transformer(어텐션 기반 고효율)

11-2 Federated & Split Learning

• 연합학습(FL): 데이터는 안 보내고 로컬 가중치만서버로 보내 집계
• 도입 이유 4가지: Privacy · Efficiency · Scalability · Collaboration
• 라운드 흐름: 글로벌 모델 배포 → 로컬 학습 → 가중치 업로드 → 서버 집계 → 반복
• FedAvg: 데이터 양에 비례한 가중평균 w = Σ(n_k/n)·w_k (양이 같으면 단순 평균)
• 핵심 집계 기법(한 줄씩)
• Weighted Aggregation: 클라이언트 신뢰도/데이터 양에 따라 가중치를 부여해 집계
• Secure Aggregation(암호화 기반): 파라미터 자체를 암호화해 전송·집계
• Differential Privacy: 전송 전 로컬 파라미터에 노이즈(주로 가우시안)를 추가해 프라이버시 보호
• Clustered FL(클러스터링): 유사한 파라미터/분포를 가진 클라이언트끼리 묶어 집계
• Sparse Aggregation: 변동이 큰 중요 파라미터만 전송해 통신량 절감
• 연합 강화학습(FRL): FL을 강화학습으로 확장 — 여러 에이전트의 정책 π·가치함수 V를 가중 집계 π_global = Σ αᵢπᵢ. 다중 에이전트 협력 학습이 가능하나 RL 전용 알고리즘이 필요. (※ 에이전트 = “반드시 액션이 있고 피드백으로 다음 액션을 정하는 SW”)
• non-IID: 클라이언트별 데이터 분포 불일치 (FL의 대표 과제)
• 스플릿 러닝: 모델 앞부분=클라이언트 / 뒷부분=서버
• 핵심 차이: 서버도 학습한다 (연합학습은 집계만)
• 구조 3종: Vanilla · U자형(양끝이 클라이언트) · Multi-client
• 장점: 클라이언트 연산/저장 부하↓ · 로컬 데이터 프라이버시 유지 · 서버가 무거운 연산 담당 → 자원 제약 환경에 효율적
• 도전과제: 통신 오버헤드(잦은 교환→활성값 압축) · 프라이버시 위험(중간 활성값 노출→차등프라이버시·보안채널) · 지연(네트워크 의존→비동기 실행)
• 최적화 기법: 활성값 압축(통신비↓) · 비동기 스플릿 러닝(클라/서버 분리로 지연 극복) · 하이브리드(스플릿+연합 결합) · 경량화(pruning·knowledge distillation)

세 패러다임 비교 (병렬 vs 연합 vs 스플릿)

특성	병렬성(Parallelism)	연합학습(FL)	스플릿 러닝
데이터 프라이버시	낮음	높음	중간
자원 효율성	중간	높음	높음
확장성	높음	중간	중간
통신 오버헤드	중간	높음	중간

참고: 통신 오버헤드 총량이 가장 큰 것은 연합학습(큰 파라미터 전체 전송), 하지만 병목(중간 트래픽)은 스플릿 러닝이 많음.

11-3 Communication Challenge in ML

• 왜 문제인가: GPT-4(1.8조 파라미터)는 단일 GPU로 학습 불가 → 수천 GPU 클러스터 필요. **연산은 빠르지만 GPU 연결(통신)이 진짜 병목.**클러스터가 커질수록 통신 비중↑ (10 GPU≈30% → 1000 GPU≈80%)

• 그래디언트 집계 2방식

• Parameter Server(중앙집중): 워커가 중앙으로 전송 → 대역폭 수요가 워커 수에 선형 증가, 중앙 노드 병목

• Ring All-Reduce: 노드들이 링으로 이웃과 교환 → 노드 수 N과 무관하게 통신량 일정 (확장성 우수)

• 4대 네트워크 병목

• ① Incast: 다수 노드가 한 서버로 동시 전송(All-Reduce/FL 집계) → 스위치 버퍼가 12μs 만에 차서 패킷 드롭→ TCP 재전송 타임아웃(200500ms) → 클러스터 전체 stall. 유효 스루풋 3~10배↓ (1시간 학습 중 40분 손실 사례). 대응: PFC·DCQCN·RDMA

• ② Tail Latency(스트래글러): 모든 GPU가 다음 스텝 전 현재 스텝 완료해야 함 → 느린 노드 1개가 전체를 멈춤 (“사슬은 가장 약한 고리만큼만 강하다”)

• ③ Bandwidth: PCIe Gen5(128GB/s) < 트랜스포머 요구(~500GB/s) < NVLink 4.0(900GB/s) → PCIe로는 부족

• ④ CPU Overhead: 전통 TCP/IP는 계층마다 CPU 개입·커널 복사 → CPU 사이클 소모·고지연·저스루풋

• 3대 솔루션

• ① NVLink & NVSwitch: GPU-GPU 직접 연결로 PCIe 우회. NVLink 4.0=900GB/s, NVSwitch 풀메시(8 GPU)=7.2TB/s. (세대별 P100 160 → H100 900 → B200 1800GB/s)

• 제로카피는 CPU 오버헤드뿐 아니라 열(에너지) 발생도 줄인다— 메모리↔GPU 데이터 이동에서 열이 가장 많이 나기 때문

• ③ NCCL: NVIDIA 집합통신 라이브러리. 토폴로지 인식(NVLink·PCIe·IB·RoCE 자동 감지) → 인트라노드 NVLink / 브리지 RDMA / 인터노드 이더넷 3계층 자동 오케스트레이션

• 핵심 결론: 효율적 AI 학습 = **네트워크 중심(network-centric)**접근. HW + SW 코디자인(NVLink·SmartNIC + NCCL·RDMA·그래디언트 압축·CUDA 스트림 오버랩)이 필수 → 거의 선형적 확장, 학습시간 40%+ 단축

• 미래 트렌드: SmartNIC/DPU(NIC 내 처리) · 광 인터커넥트 · In-Network Computing(스위치가 부분 집계) · 400/800G 이더넷

---

AI 응용·차세대 네트워크

11-4 AI Agent

• 정의: 환경을 감지 → 의사결정 → 행동반복하는 자율 시스템 (피드백 루프). 소프트웨어 기반이거나 물리 시스템(로봇)에 체화(embodied)될 수 있음
• 에이전트 3종 (예시)
• 인간 에이전트(Human): 센서=눈·귀·피부·혀 / 액추에이터=손·손가락·다리·입
• 로봇 에이전트(Robot): 센서=카메라·적외선 거리계·범퍼 / 액추에이터=그리퍼·바퀴·조명·스피커
• 소프트웨어 에이전트(Software): 센서=스캐너·키보드·마우스·리더기 / 이펙터(effector)=모니터·스피커·프린터·파일
• 환경(Environment): 에이전트 관점에서 본 주변. 시스템 작동 방식이 환경에 따라 달라지므로 어떤 환경인지 가장 먼저 판단해야 함. 분류 쌍:
• 결정론적 vs 확률적: 다음 상태가 현재 상태+행동으로 완전히 결정되는가
• 정적 vs 동적: 에이전트가 행동하는 동안 환경이 변하지 않는가
• 완전 관찰 vs 부분 관찰: 환경의 전체 상태를 알 수 있는가
• 에피소드형 vs 순차형: 이후 행동이 이전 행동에 의존하는가
• 이산 vs 연속: 지각·행동의 수가 유한한가
• 예) 클라우드 장애조치 에이전트 = 부분 관찰 + 동적(모니터링 중 노드가 새로 생기므로)
• 에이전트 6유형(한 줄씩)
• 단순 반사(Simple Reflex): 현재 지각만 보고 사전 정의된 규칙으로 반응 (예: 온도조절기)
• 모델 기반 반사(Model-Based): 세계의 내부 모델을 유지, 결과·영향 평가 후 결정 (예: 로봇청소기·자율주행차)
• 목표 기반(Goal-Based): 정의된 목표 달성 위해 여러 접근법 비교, 가장 효율적 경로 선택 (예: 내비)
• 효용 기반(Utility-Based): 보상(효용) 함수를 최대화하도록 행동
• 학습형(Learning): 경험을 통해 반복 학습하며 성능을 개선
• 계층적(Hierarchical): 여러 에이전트를 계층(tier)으로 조직, 상위가 하위를 지휘
• PEAS: 에이전트를 설계할 때 정의하는 4요소 — Performance(성능 척도) · Environment(동작 환경) · Actuators(행동 수행 장치) · Sensors(환경 지각 장치). 예) 자율주행차 = P:안전·속도 / E:도로·교통(가장 중요) / A:핸들·브레이크·액셀 / S:카메라·GPS·속도계·소나
• AI 에이전트의 구조 (Structure): 지각 → 처리 → 행동의 사이클로 환경과 상호작용하며 목표 달성. 5단계:
• ① 지각(Perception): 센서·데이터 소스로 환경 수집 (물리=카메라·LiDAR·마이크 / 디지털=텍스트·API·DB 질의)
• ② 처리·의사결정(Processing): 규칙 기반(if-then) · ML 모델(신경망·트랜스포머·CNN) · 강화학습으로 행동 결정
• ③ 행동(Action): 액추에이터로 환경에 영향 (물리=로봇 팔 / 디지털=메시지 전송·설정 조정)
• ④ 피드백 루프(Feedback Loop): 자기 행동에서 학습 (지도학습=레이블 데이터 / 강화학습=보상·처벌)
• ⑤ 환경 상호작용(Environment Interaction): 동적 환경과 지속 상호작용하며 새 입력에 맞춰 행동 조정 (예: 자율주행차 실시간 내비 갱신)
• 현대 AI 에이전트 트렌드 & 기술 7가지(한 줄씩)
• ① 딥러닝 & 트랜스포머: 이미지 인식·NLP·자율 의사결정에 활용 (챗봇·비서·추천)
• ② 강화학습 & 자율 에이전트: 시행착오로 행동 최적화 (자율주행·산업 로봇). 멀티 에이전트의 기반
• ③ 생성형 AI & 파운데이션 모델: 이미지·텍스트·음악 생성 (DALL·E·ChatGPT), 창의 작업 자동화
• ④ 설명가능 AI(XAI) & 윤리적 AI: 투명성·해석가능성·편향 없음 보장 (헬스케어·금융·법률)
• ⑤ 멀티 에이전트 시스템(MAS) & AI 협업: 에이전트끼리 통신·조정 (물류·군집 로보틱스·분산 AI). 협업엔 통신 필수
• ⑥ 엣지 AI & 실시간 의사결정: 클라우드→온디바이스 처리로 지연↓ (드론·보안카메라·음성비서)
• ⑦ 과학적 발견 & 자동화: 신약 개발·기후 모델링·스마트 제조 가속
• AI 에이전트 도전과제 8가지(한 줄씩)
• ① 데이터 의존성·품질: 불완전·편향·저품질 데이터 → 부정확한 예측, 프라이버시로 데이터 접근 제한
• ② 편향 & 공정성: 학습 데이터의 편향 상속 → 차별적 결과 (채용·대출·얼굴인식)
• ③ 설명가능성 & 신뢰: 블랙박스 작동 → 투명성 부족으로 신뢰 제한, XAI는 여전히 연구 중
• ④ 보안 위험 & 취약점: 적대적 공격에 속음(변형된 정지 표지판), 모델 탈취·조작 위험
• ⑤ 윤리적·도덕적 딜레마: 알고리즘화 어려운 판단 (자율차의 탑승자 vs 보행자, AI 무기)
• ⑥ 높은 계산·에너지 비용: 대규모 GPU·전력 필요(GPT-4) → 환경 영향·소규모 조직 접근 제약
• ⑦ 일반화·적응력 부족: 특정 작업엔 강하나 도메인 간 일반화 약함, AGI는 아직 요원
• ⑧ 규제 & 법적 문제: 법·정책보다 빠른 발전 → 책임 소재 불명확, GDPR 등 준수 필요

14-1 AI-Enabled 6G

• 왜 6G인가: 5G 3대 서비스(eMBB·URLLC·mMTC)로는 IoE 응용(XR·뇌-컴퓨터 인터페이스·자율드론·위성통신)을 감당 못 함. 특히 ① 긴 패킷+초고신뢰 트래픽(5G는 short packet 전제), ② 10⁶/km² 초과 디바이스 밀도, ③ 장거리(저궤도 위성)·3D 연결 요구 → 6G 필요
• 5G vs 6G 핵심 KPI: 전송률 1Gbps → 1Tbps, 지연 1ms → 0.1ms, 신뢰성 → 99.99999%. 코어뿐 아니라 **종단(end-to-end)**까지 성능 고려
• 6G 신규 응용 4종
• MBRLLC(Mobile Broadband Reliable Low Latency): 고신뢰+저지연+고전송률 (XR, 무선 BCI)
• mURLLC(massive URLLC): 초고신뢰 + 대규모 연결 + 확장 가능 URLLC (IoT, 자율 로보틱스, 블록체인)
• HCS(Human Centric Services): 인간 생체 측정 기반, 새 지표 QoPE(physical experience 품질) 필요 (의료·헬스케어)
• MPS(Multipurpose 3CLS & Energy Services): 통신+컴퓨팅+제어+위치추정+감지 융합 (원격수술 CRAS, 환경 매핑)
• ※ 3CLS= Communication·Computing·Control·Localization·Sensing 융합
• 6G 통신 기술: THz(테라헤르츠) · VLC(가시광통신) · 양자통신(먼 미래) · 3D 네트워크(드론+위성+지상 cell-free) · 바이오-나노통신
• AI가 필수인 이유: 서비스 요구 분석 시 ~2000개 파라미터 조합→ 복잡도가 너무 높아 5G식 수학적 최적화(최적화이론·게임이론)로 불가 → AI/ML로 해결. KPI도 기존(대역폭·지연)을 넘어 학습능력·저장비용·계산용량·상황인지로 확장
• AI 기반 6G 10대 도전과제: 종단간 서비스 보장 · 물리~응용 전 계층 AI · 동적 온라인 학습(데이터 수집 오버헤드) · 분산 vs 중앙집중 · 전역 지능 확장성 · 학습 효율 · 효율적 데이터셋 생성 · 계산 오버헤드 배포 · 실현가능성 검증 · 표준화
• AI 기반 6G 4계층 아키텍처(아래→위)
• ① 지능형 감지(Sensing): 카메라·센서·드론으로 환경 데이터 수집, 스펙트럼 감지·침입/간섭 탐지
• ② 데이터 마이닝·분석(Analytics): 고차원·이질·비선형 원시 데이터 처리 → 차원 축소(PCA·ISOMAP)·이상 필터링·지식 발견
• ③ 지능형 제어(Control): 학습·최적화·의사결정으로 파라미터 최적화·자원 관리·스케줄링·정책 학습 → 자가 구성/최적화/조직화/치유(self-X)
• ④ 스마트 응용(Application): 자동화·서비스 프로비저닝·성능 평가 (스마트시티·산업·교통·헬스), 평가 결과를 지능화 과정에 피드백

---

실습 (개념·방법론만)

	실습 1 이상탐지	실습 2 연합학습	실습 3 SYN Flood 탐지
목표	정상 벗어난 패턴 탐지	데이터 안 모으고 분산 학습	실시간 DoS 공격 탐지
방법	오토인코더(비지도)	FedAvg 라운드 집계	eBPF 캡처 + ML 분류
데이터셋	KDD99	KDD99 (분산)	CIC-DDoS2019
모델	Autoencoder	(로컬 모델)	Random Forest
핵심 원리	재구성 오차↑ = 이상	가중치만 교환	half-open 누적 = 자원고갈
평가	Valid Detection Rate	이상탐지 정확도	Precision/Recall/F1

• 이상탐지: 정상 데이터로만 학습 → 이상은 복원 실패(오차↑). fit(x_train, x_train)로 자기 자신 재구성. Valid Detection Rate = (TP+TN)/전체
• 연합학습: 서버는 학습 안 하고 집계만. FedAvg = 데이터 양 비례 가중평균
• SYN Flood: SYN만 보내고 ACK 미응답 → half-open 누적 → backlog 고갈(DoS). 5-튜플 flow 단위 탐지, ACK Flag Count가 핵심 변별 피처. eBPF로 커널 내 고속 캡처

---

핵심 기술 용어집 (이름으로 등장한 기술들)

네트워크·통신·시스템

• eBPF(extended Berkeley Packet Filter): 커널 수정 없이 Linux 커널 내부에서 샌드박스 프로그램을 실행하는 기술. 커널 이벤트(패킷 도착 등)에 hook을 걸어 고속·저오버헤드 실시간 패킷 캡처에 사용
• DPDK(Data Plane Development Kit): 커널 네트워크 스택을 우회해 유저 공간에서 패킷을 직접 고속 처리하는 라이브러리. SmartNIC/DPU에서 바이패싱에 활용
• RDMA(Remote Direct Memory Access): CPU·OS 커널을 우회해 원격 메모리에 직접 접근하는 제로카피전송 기술. TCP 대비 지연 100×↓, CPU 부하 97%↓
• RoCE(RDMA over Converged Ethernet): 일반 이더넷 위에서 RDMA를 구현한 방식 (RoCEv2)
• NCCL(NVIDIA Collective Communications Library): GPU 간 집합 통신(All-Reduce 등) 라이브러리. 토폴로지를 자동 인식해 NVLink·RDMA·이더넷 최적 경로 선택
• NVLink: GPU-GPU를 PCIe 우회해 직접 연결하는 고속 인터커넥트 (4.0=900GB/s)
• NVSwitch: 여러 GPU를 풀메시로 연결하는 스위치 칩 (8 GPU=7.2TB/s)
• InfiniBand: 데이터센터용 초고속·저지연 인터노드 네트워크 표준 (NDR 400G)
• PCIe(PCI Express): GPU·장치를 연결하는 범용 버스 (Gen5=128GB/s, AI엔 대역폭 부족)
• SmartNIC / DPU: NIC 내부에서 RDMA·압축·암호화를 오프로드 처리하는 지능형 네트워크 카드
• All-Reduce: 모든 노드의 그래디언트를 합쳐 다시 전체에 분배하는 집합 통신 패턴 (Ring All-Reduce는 노드 수와 무관하게 통신량 일정)
• PFC / DCQCN: Incast 대응 혼잡 제어 — PFC(우선순위 흐름 제어), DCQCN(무손실 혼잡 제어)
• TCP 3-way handshake: SYN → SYN-ACK → ACK로 연결 성립 (SYN Flood는 마지막 ACK 미응답으로 악용)

머신러닝·AI

• Autoencoder: Encoder(차원 축소)+Decoder(복원) 구조의 비지도 모델. 재구성 오차로 이상 탐지
• Random Forest: 결정 트리 앙상블, 다수결로 예측하는 분류 모델
• FedAvg: 연합학습의 가중평균 집계 알고리즘
• Transformer: 어텐션(Q/K/V) 기반 모델 (GPT·BERT), 병렬 처리에 유리
• CNN / RNN(LSTM): 합성곱 신경망 / 순환 신경망(순차 데이터, 병렬화 어려움)
• PEAS: 에이전트 설계 프레임워크 (Performance·Environment·Actuators·Sensors)