ResNet / 잔차 연결

ResNet / 잔차 연결

Skip Connection(잔차 연결)을 도입하여 입력을 출력에 직접 더함으로써(F(x)+x) 기울기 소실 없이 매우 깊은 네트워크(152층+)를 학습 가능하게 한 CNN 아키텍처로, 2015 ImageNet 우승(3.57% top-5 에러)

잔차 연결 원리: 출력 = F(x) + x, 잔차 함수 F(x) = H(x) - x만 학습, 기울기가 Skip Connection을 통해 직접 전파(기울기 소실 해결), Identity Mapping(x 그대로 전달/깊어져도 성능 하락 없음)

Bottleneck 구조: 1x1 Conv(차원 축소) → 3x3 Conv(특징 추출) → 1x1 Conv(차원 복원), 파라미터 효율(깊은 모델에 사용 ResNet-50/101/152)

영향력: 후속 아키텍처에 Skip Connection 보편화(DenseNet/U-Net/Transformer), 전이학습 백본으로 광범위 사용, 객체 탐지·세그멘테이션 기반 모델

비교: VGGNet(단순 직선형/16~19층/기울기 소실/파라미터 많음) vs ResNet(잔차 연결/50~152층/기울기 소실 해결/효율적) vs DenseNet(모든 층 연결/특징 재사용/파라미터 효율/메모리 많음)

연관: CNN, CNN 아키텍처, 기울기 소실, Skip Connection, 전이학습