# ResNet(Residual Network) – 잔차 학습 기반 심층 신경망
ResNet은 딥러닝에서 깊은 네트워크 학습의 핵심 문제 중 하나였던 degradation 문제를 잔차 학습(Residual Learning)과 스킵 연결(Skip Connection)로 해결한 대표적인 심층 신경망 아키텍처다. 2015년 He 등은 이미지 인식 대회에서 깊이가 늘어나도 성능이 향상되는 모습을 보여주며, 이미지 분류 및 컴퓨터 비전 전반에 걸친 다양한 분야의 기준점으로 자리매김했다.
## 개요
- 목적: 깊은 신경망에서도 효과적으로 학습이 가능하도록 그래디언트 흐름을 보존하는 잔차 학습 구조를 도입
- 핵심 아이디어: 입력 x에 대해 학습된 잔차 함수 F(x)를 더한 출력 y = x + F(x)로 스킵 연결을 통해 신호를 직접 경로로 전달
- 효과: 네트워크 깊이가 증가해도 학습 가능성과 일반화 성능이 크게 개선되며, ImageNet 규모의 데이터에서 뛰어난 성능을 달성
## 배경과 역사
- 문제의식: 더 깊은 네트워크를 학습할수록 성능이 오르는 경향이 있지만, 비선형성 증가와 그로 인한 기울기 소실로 학습이 어려워지는 현상(degradation) 발생
- 해결책: 잔차 학습으로 학습해야 하는 함수의 규모를 줄이고, 입력을 직접 더해 주는 스킵 연결로 그래디언트가 흐르는 경로를 보존
- 대표 논문: Deep Residual Learning for Image Recognition (He, Zhang, Ren, Sun, 2015)
## 핵심 아이디어 및 구성 요소
- 잔차 블록(Residual Block)
- 기본 아이디어: F(x)라는 학습 가능한 잔차 함수와 입력 x를 더해 y = x + F(x) 형태로 출력
- 구성 요소: 연속된 합성곱(convolution) 계층 + 활성화 함수(ReLU) + 배치정규화(Batch Normalization)
- 스킵 연결(Skip Connection)
- 입력 x를 잔차 경로와 합성에 직접 연결하는 경로
- 차원 불일치가 있을 때는 축 일부를 맞추기 위해 1×1 컨볼루션 등으로 차원 매칭
- BasicBlock vs BottleneckBlock
- BasicBlock: ResNet-18/34에서 사용, 2개의 3×3 컨볼루션으로 구성
- BottleneckBlock: ResNet-50/101/152에서 사용, 1×1 축소 → 3×3 핵심 → 1×1 확장 구조로 채널 차원을 효율적으로 처리
- ResNet-v1 vs ResNet-v2
- ResNet-v1: 컨볼루션-배치정규화-활성화 순으로 구성된 초기 구조
- ResNet-v2(Pre-activation): 배치정규화와 ReLU를 컨볼루션 이전에 배치하여 학습 안정성을 강화
## 아키텍처 패밀리 및 특징
- ResNet-18/34 (BasicBlock)
- 비교적 얕은 네트워크로, 기본 블록 2개의 컨볼루션으로 구성
- 빠른 학습과 경량화에 유리
- ResNet-50/101/152 (BottleneckBlock)
- 깊이가 커질수록 Bottleneck 구조를 사용해 매 계층의 연산 효율성 향상
- 일반적으로 더 높은 표현력과 성능을 제공하지만 연산량도 증가
- 일반적 구성 흐름
- 초기 conv1(7×7, stride=2) → max-pooling → 여러 스테이지(stage)로 나뉜Residual Block들 → 글로벌 평균풀링 → Fully Connected(또는 분류층)
- 스테이지별 출력 채널 수 예: 64, 128/256, 512/1024, 1024/2048 등은 블록 타입에 따라 다름
- 실제 구성 예시(대표값)
- ResNet-50: 50층, 3, 4, 6, 3개의 Bottleneck 블록 스테이지
- ResNet-101: 3, 4, 23, 3
- ResNet-152: 3, 8, 36, 3
- 적용 가능성
- ImageNet 수준의 대규모 데이터에서 주로 백본(backbone)으로 사용
- 객체 검출, 분할, 얼굴 인식 등 다양한 비전 태스크에 백본으로 널리 활용
## 학습 및 일반화
- 손실 함수 및 최적화
- 분류 태스크의 경우 보통 교차 엔트로피 손실(Cross-Entropy)
- 최적화 알고리즘: SGD(Simulated Gradient Descent) with momentum, Adam 등도 사용 가능
- 학습 안정성 및 정규화
- 배치정규화(Batch Normalization)로 내부 공변량 shift를 감소
- 가중치 감소(Weight Decay) 및 데이터 증강(Data Augmentation)으로 일반화 성능 향상
- 데이터 증강 전략
- Random crop, horizontal flip, color jitter, AutoAugment 등 다양한 기법이 사용
- 초기화 및 학습 팁
- He 초기화(Half-Variance)나 Xavier 초기화 등 적합한 가중치 초기화
- 학습 초기에 낮은 학습률에서 시작해 점진적으로 감소시키는 스케줄링이 일반적
## 변형과 파생 연구
- Pre-activation ResNet (ResNet-v2)
- 배치정규화 및 ReLU를 컨볼루션 앞에 배치하여 학습 안정성을 강화
- Wide ResNet (WRN)
- 깊이는 줄이고 너비를 늘려 파라미터 효율성 및 성능의 균형을 추구
- ResNeXt
- 병렬 경로를 도입한 카디널리티(cardinality) 확대로 표현력을 확장
- SE-ResNet, CBAM-ResNet 등의 주의집중 모듈이 결합된 확장 버전도 존재
- CIFAR 등 작은 해상도 데이터셋을 위한 변형들
- 해상도에 맞춘 채널 수 및 계층 구성 조정 필요
## 실무 적용 가이드
- 백본 선택 시 고려사항
- 모델 깊이 vs 계산 자원: 학습 가능성과 추론 속도 사이의 균형
- 데이터 규모 및 해상도에 따른 블록 유형(BasicBlock vs Bottleneck) 선택
- 프레임워크 예시
- PyTorch: torchvision의 torchvision.models에 ResNet 구현체 다수 제공
- TensorFlow/Keras: keras.applications에 ResNet 계열 모델 포함
- 실무 팁
- 학습 시드 고정 및 재현성 확보
- 적절한 데이터 증강으로 과적합 방지
- 백본으로의 사용 시, 좌우 대칭성 및 해상도 변환에 대한 Robustness 고려
## 한계 및 주의점
- 깊은 네트워크의 계산 비용: 매우 깊은 버전은 연산량과 메모리 요구가 증가
- 작은 데이터셋에서의 과적합 가능성: 데이터 양이 충분하지 않으면 일반화 성능이 저하될 수 있음
- 구조 설계 의존성: 잘못된 블록 구성이나 차원 매칭 실패 시 학습 불안정성 증가
---
관련 문서: [[Residual Block]], [[Pre-activation ResNet (ResNet-v2)]], [[Deep Residual Learning for Image Recognition]], [[ImageNet]]