Very Deep Convolutional Networks for Large-Scale Image Recognition 요약

📜 K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," in ICLR, 2014

논문 2줄 요약

1. 고전적인 Convolution 아키텍처에서 벗어나지 않고 네트워크의 깊이를 증가함으로써 성능을 향상시켰다.
2. 네트워크의 깊이를 증가시키기 위해 매우 작은 $ 3\times3 $ 크기의 Convolutional filter를 사용하였다.

---

Abstract

  본 연구는 대규모 이미지 인식 문제에서 convolution network (ConvNet)의 깊이가 정확도(accuracy)에 미치는 영향을 조사합니다. 본 연구의 주된 성과는 매우 작은 $ 3\times3 $ Conv. 필터(filter)를 여러 개 사용하여 네트워크의 깊이를 증가시키면서 이를 철저히 평가했다는 것입니다. 16~19개의 layer로 네트워크를 확장시킴으로써 이전의 모델들에 비하여 성능을 상당히 개선할 수 있다는 것을 확인하였습니다. 이러한 발견은 ImageNet 2014 대회에 저자들이 제출한 모델을 기반으로 합니다. 저자들은 본 대회의 위치 식별(localization)과 분류(classification) 분제에서 각각 1위와 2위의 성적을 거두었습니다. 본 연구는 다른 데이터에서도 좋은 성능을 보였으며 state-of-the-art (SOTA)의 성능을 달성하였습니다. Computer Vision (CV)에서 deep visual representation을 사용하는 방법에 대한 추가적인 연구를 위하여 본 연구에서 성능이 가장 우수했던 2개의 ConvNet 모델을 공개합니다.

---

1. Introduction

  CV 분야에서 ConvNet이 흔하게 사용되면서, AlexNet [A. Krizhevsky et al., 2012]과 같이 기존의 아키텍처를 개선하여 정확도를 높이려는 시도가 있었습니다. 예를 들어, ILSVRC 2013에서 뛰어난 성능을 거둔 모델들은 첫 번째 Conv. layer에 더 작은 크기의 수용 윈도우(receptive window)와 더 작은 스트라이드(stride)를 사용하였습니다. 또 다른 예시로는 전체 이미지와 다양한 크기로의 이미지 조절을 통해 네트워크를 보다 조밀하게 학습하고 테스트하는 방법이 있었습니다. 본 논문에서는 ConvNet 아키텍처 설계에서 또 다른 중요한 부분인 깊이(depth)를 다룹니다. 이를 위해 아키텍처의 다른 매개변수(parameter)를 고정하고, 더 많은 Conv. layer를 추가하여 네트워크를 꾸준히 깊게 만듭니다. 모든 Conv. layer에는 매우 작은 $ 3\times3 $ Conv. 필터를 사용합니다.

  이러한 결과를 바탕으로 저자들은 훨씬 더 정확한 ConvNet 아키텍처들을 제안합니다. 이 아키텍처들은 상대적으로 단순한 파이프라인을 사용했음에도 ILSVRC의 분류와 위치 식별 문제에서 SOTA의 성능을 달성했습니다. 이 뿐만 아니라 다른 이미지 데이터셋에서도 적합한 성능을 보입니다. 저자들은 향후 연구를 위하여 최고의 성능을 보인 2개의 모델을 공개했습니다.

---

2. ConvNet Configurations

  ConvNet의 깊이에 따른 성능을 공정하게 측정하기 위해 모든 Conv. layer의 설정은 Ciresan 연구진의 연구[D. Ciresan et al., 2011]와 AlexNet에서 영감을 받아 동일한 원칙으로 설계하였습니다.

2.1 Architecture

  학습 과정에서 ConvNet의 입력(input)은 크기가 $ 224\times224 $로 고정된 RGB 이미지입니다. 학습 과정에서의 유일한 전처리는 학습 데이터셋의 각 픽셀로부터 계산한 RGB 값의 평균(mean RGB value)을 빼주는 것입니다. 전처리한 이미지는 누적된 Conv. layer를 통과합니다. Conv. layer에는 매우 작은 수용 영역(receptive field)인 $ 3\times3 $ 크기의 필터를 사용합니다. 이는 저자들이 $ 3\times3 $ 크기의 필터를 '좌/우'와 '상/하', '중간'의 개념(notion)을 포착하는 가장 작은 사이즈라고 생각했기 때문입니다. ConvNet의 설정 가운데 하나는 입력 채널의 선형 변환(linear transformation)으로 볼 수 있는 $ 1\times1 $ Conv. 필터를 사용합니다. Conv. 필터의 스트라이드는 1픽셀로 고정합니다. 이를 통해 Conv. layer의 입력에 대한 spatial padding이 합성곱(convolution) 이후에도 공간적인 해상도(spatial resolution)를 보존하도록 만듭니다. spatial pooling은 5개의 max-pooling layer로 수행합니다. max-pooling은 스트라이드가 2인 $ 2\times2 $ 크기의 윈도우(window)로 수행합니다.

  누적된 Conv. layer들 이후에 3개의 fully-connected layer (FC layer)를 연결합니다. 첫 번째와 두 번째 FC layer는 각각 4096개의 채널을 가졌으며, 세 번째 FC layer는 ILSVRC에서 1000개의 부류(class)로 분류하기 위해 1000개의 채널을 갖습니다. 마지막 layer는 soft-max layer입니다. FC layer의 구성 요소는 모든 네트워크 설정에서 동일합니다.

  모든 은닉층에는 비선형성(non-linearity)을 추가하기 위해 Rectified Linear Unit (ReLU)가 사용됩니다. 또한 오직 하나의 네트워크에만 Local Response Normalization (LRN)이 포함되며, 이는 AlexNet과 동일한 매개변수를 갖습니다.

그림 1. AlexNet(아래)과 13층 VGGNet(위)의 아키텍처 비교

2.2 Configurations

  본 논문에서 평가한 ConvNet의 설정은 표 1에 요약되었습니다. 각 설정에 따라 이름(A-E)이 붙었습니다. 모든 설정은 2.1절에서 설명한 일반적인 설계를 따르며 깊이에만 차이가 있습니다. Conv. layer의 너비(채널 수)는 첫 번째 layer에서 64개로 시작하여 각 max-pooling layer에서 2배씩 증가하며 최대 512개까지 늘어납니다.

표 1. ConvNet의 구성

  표 2는 각 설정에 따른 매개변수의 개수를 보여줍니다. 네트워크의 깊이가 더 깊어졌음에도 불구하고, 얕으면서 layer의 너비와 수용 영역이 큰 네트워크인 OverFeat [P. Sermanet et al., 2014]보다는 네트워크의 매개변수가 적습니다.

표 2. 파라미터의 개수(단위 : 백만)

2.3 Discussion

  본 논문에서는 매우 작은 $ 3\times3 $ 수용 영역을 전체 네트워크에 사용하였습니다. 1개의 $ 7\times 7$ 혹은 $ 5\times5 $ Conv. layer가 아닌 $ 3\times3 $ layer를 여러 개 쌓음으로써 얻는 이점은 무엇일까요?

1. ReLU를 여러 개 사용함으로써 결정 함수(decision function)가 더 잘 식별할 수 있도록 만듭니다.
2. 매개변수의 개수를 줄입니다.

그림 2. 2계층의 $ 3\times 3 $ Conv. layer와 1계층의 $ 5\times5 $ Conv. layer 비교

  예를 들어, 입력과 출력이 동일한 채널(C)을 갖는다고 가정합니다. 2 계층의 $ 3\times3 $ Conv. layer들은 $ 2(3^2C^2) = 18C^2 $의 파라미터를 갖습니다. 반면 1 계층의 $ 5\times5 $ Conv. layer는 $ 5^2C^2 = 25C^2 $의 파라미터를 갖습니다. 즉, 같은 효과를 얻음에도 불구하고 38%의 파라미터가 더 필요합니다. 이는 $ 7\times7 $ Conv. layer일 때 더 심해집니다.
  또한, 여러 개의 $ 3\times3 $ Conv. 필터로 분해함으로써 일반화(regularization)를 부여합니다.

  네트워크 C처럼 $ 1\times1 $ Conv. layer를 포함하는 것은 Conv. layer들의 수용 영역의 영향을 제외하며 결정 함수의 비선형성을 높이는 방법이기도 합니다. 비록 본 논문의 $ 1\times1 $ Conv. layer는 본질적으로 동일한 차원의 공간으로 선형 투영(linear projection)하지만, ReLU를 통해 비선형성을 추가합니다. $ 1\times1 $ Conv. layer는 최근 Lin 연구진의 "Network in Network"에도 사용되었습니다.

  작은 크기의 Conv. 필터는 이미 Ciresan 연구진이 사용하였습니다. 하지만 Ciresan 연구진의 네트워크는 본 연구의 네트워크보다 덜 깊었고 ILSVRC의 대규모 데이터셋으로 평가하지 않았습니다. ILSVRC 2014의 분류 문제에서 최고 성능을 보인 GoogLeNet [C. Szegedy et al., 2014]은 본 연구와 독립적으로 개발되었지만, 22층의 깊은 ConvNet을 사용했다는 점과 작은 Conv. 필터를 사용했다는 점이 유사합니다. 하지만 GoogLeNet의 네트워크 위상 구조는 본 논문의 네트워크보다 복잡하며, 연산량을 줄이기 위해 "Inception"의 첫 번째 layer에서 특징 맵의 공간적인 해상도를 더 공격적으로 줄였습니다.

---

3. Classification framework

3.1 Training

  ConvNet의 학습 절차는 일반적으로 AlexNet의 방법을 따랐습니다. 학습 과정에서 모멘텀(momentum)을 활용한 미니 배치 경사 하강법(mini-batch gradient descent)을 사용하여 다항 로지스틱 회귀(multinominal logistic regression)의 목적 함수를 최적화합니다. 배치 사이즈는 256으로 설정하였으며 모멘텀은 0.9입니다. 첫 2개의 FC layer에 대해 가중치 감소(weight decay)와 드롭아웃(dropout)을 통해 학습을 규제하였습니다. 학습률(learning rate)의 초깃값은 $ 10^{-2} $로 설정하였고, 평가 데이터셋(validation set)의 정확도가 향상되는 것이 멈추면 10배 감소시켰습니다. 종합하여 총 3차례 학습률은 감소하였고, 74 에폭 이후 학습은 멈추었습니다. AlexNet과 비교하여 더 많은 매개변수와 더 깊은 layer를 사용했음에도 불구하고, 본 논문의 네트워크는 다음 2가지의 이유로 더 적은 에폭만에 수렴할 수 있었습니다.

1. 더 깊은 layer와 작은 Conv. 필터를 통한 잠재적인 일반화 적용
2. 특정 layer들에 대하여 사전에 초기화한 값을 이용

  네트워크 가중치의 초기화(initialization)는 중요합니다. 특히 깊은 네트워크에서 잘못된 초기화는 기울기(gradient)의 불안정성으로 인하여 학습을 지연시킵니다. 이 문제를 피하기 위해, 랜덤 초기화(random initialization)로 학습하기 충분히 얕은 네트워크인 네트워크 A를 학습하였습니다. 이후 더 깊은 아키텍처를 학습할 때, 네트워크 A의 layer들을 첫 4개의 Conv. layer와 마지막 3개의 FC layer의 초깃값으로 이용하였습니다. 학습 과정에서 사전에 초기화된 layer들의 변화를 허용하기 위해 학습률을 줄이지 않았습니다. 랜덤 초기화를 위해 평균이 0이고 분산이 $ 10^{-2} $인 정규분포(normal distribution)로부터 가중치를 추출하였습니다. 편향(bias)은 0으로 초기화하였습니다. 논문을 제출한 이후, [Glorot & Bengio, 2010]의 연구에서 제시한 랜덤 초기화 절차를 사용하면 사전 학습 없이도 초기화가 가능하다는 것을 확인했습니다.

  ConvNet의 입력으로 사용할 $ 224\times224 $의 크기로 고정된 이미지를 얻기 위해 크기가 조정된 학습 이미지들을 랜덤하게 crop하였습니다. 학습 데이터셋을 더 늘리기(augment) 위하여 crop한 사진들 가운데 무작위로 좌우 반전(horizontally flipping)하고 RGB 색을 랜덤하게 옮겼습니다. 학습 이미지의 크기 조절에 관한 방법은 아래와 같습니다.

Training image size
  crop된 데이터 가운데 양면의 크기를 비례하게 조정한(isotropically-rescaled) 학습 이미지의 가장 짧은 면을 $ S $라고 하겠습니다. crop의 크기를 $ 224\times224 $로 고정하였지만, $ S $는 224 이상의 값이면 괜찮습니다. $ S=224 $인 crop의 경우, 학습의 이미지의 가장 짧은 면을 완벽하게 포괄하기 때문에 이미지에 대한 전체적인 통계치를 담고 있습니다. $ S\gg224 $인 crop의 경우, 작은 객체나 객체의 일부분을 포함하는 이미지의 작은 부분에 해당합니다.
  본 논문에서는 학습 데이터의 크기 $ S $를 설정하는 2가지 접근법을 고려하였습니다. 첫 번째는 학습 데이터를 하나의 크기로 고정하는 것입니다. 본 논문에서는 256과 384 2개의 고정된 크기를 이용하여 학습한 모델을 평가하였습니다.
  두 번째 접근 방법은 다양한 크기로 학습하는 것입니다. 각각의 학습 이미지는 특정 범위에서 독립적으로 랜덤하게 $ S $를 뽑아 크기를 조정하였습니다. 본 논문에서는 $ S_{min} $을 256으로 $ S_{max} $를 512로 설정하여 $ S $의 범위를 $ [256, 512] $로 제한하였습니다. 이는 scale jittering을 통한 학습 데이터의 증가로 볼 수도 있습니다.

3.2 Testing

  테스트 과정에서는 학습한 ConvNet과 입력 이미지가 주어집니다. 분류 문제를 위해 아래와 같은 방법을 따릅니다.

1. 사전에 정의한 가장 짧은 이미지의 면($ Q $)에 따라 양면의 크기를 비례하게 조정합니다. 여기서 테스트 크기인 $ Q $는 학습 크기인 $ S $와 같을 필요는 없습니다.
2. 네트워크에 OverFeat와 유사한 방식으로 조정된 테스트 이미지를 적용합니다. 다시 말하면, 우선 FC layer를 Conv. layer로 변환합니다(첫 번째 FC layer는 $ 7\times7 $ Conv. layer로, 나머지 2개의 FC layer는 $ 1\times1 $ Conv. layer로 변환). 변환한 Fully-Conv. 네트워크에 crop되지 않은 전체 이미지를 적용합니다. 그 결과, 부류 숫자와 같은 채널 수를 가진 class score map과 입력 이미지의 크기에 의존하는 다양한 spatial resolution를 얻을 수 있습니다.
3. 이미지에 대한 부류 점수로 이루어진 고정된 크기의 벡터를 얻기 위해 class score map을 sum pooling합니다. 이 과정에서 이미지를 좌우 반전하여 테스트 데이터의 양을 증가하였습니다. 원본과 좌우 반전한 이미지의 soft-max 값을 평균 내어 이미지에 대한 최종 점수를 획득하였습니다.

  Fully-Conv. 네트워크에 전체 이미지가 적용되었기 때문에, 테스트 과정에서는 AlexNet처럼 다양한 크기의 crop을 추출할 필요가 없습니다. 다양한 크기의 crop을 추출할 경우, crop 별로 네트워크의 재연산을 요구하기 때문에 효율성이 떨어집니다. 이를 위해 Szegedy 연구진처럼 crop의 대규모 집합을 이용하는 방법을 고려해야 합니다. 이 방법은 정확도를 향상할 수 있으며 Fully-Conv. 네트워크와 비교하여 입력 이미지를 더 잘 추출합니다. 또한, multi-crop evaluation은 서로 다른 Conv. 경계 조건으로 인해 dense evaluation과 상호보완적인 관계를 가집니다. ConvNet에 crop을 적용할 경우, 특징 맵의 주위는 0으로 패딩되는 반면 dense evaluation은 같은 crop에 대한 패딩이 이미지의 인접한 부분(neighbouring part)에서 자연스럽게 생성됩니다. 이는 전체적인 네트워크의 수용 영역을 더 많이 증가하게 하며 많은 문맥을 포착할 수 있도록 합니다. 여러 crop으로 인하여 연산 시간이 증가하는 것이 잠재적으로 정확도를 높이는 것으로 이어지지 않는다고 믿었지만, 추론 과정에서는 네트워크를 평가하기 위해 크기 별로 50개의 crop을 사용하였습니다.

Dense Evaluation [P. Sermanet et al., 2014]
  FC layer를 $ 1\times1 $ Conv. 개념으로 사용하여 다양한 크기의 영상을 슬라이딩 윈도우 방식으로 효율적으로 처리하였습니다. 다양한 크기의 풀링 맵을 생성 하여 훨씬 조밀한 검출 결과를 생성하는 방법을 말합니다.
  아래 그림 3의 (a)와 같이 unpooled map이 주어질 경우, (b)처럼 다양한 크기의 offset 매개변수를 통해 겹쳐지지 않게 max pooling을 수행합니다. 결과적으로 (c)처럼 다른 크기의 offset 별 pooling map이 생성되고 (d)와 같이 슬라이딩 윈도우 방식으로 pooling map에 대해 분류기를 적용합니다. 최종적으로 (e)와 같이 여러 크기의 offset으로 생성된 map 결과를 조합하면 조밀한 결과의 output map이 생성됩니다.

그림 3. OverFeat의 Dense Evaluation 절차

---

4. Classification Experiments

Dataset
  이번 장에서는 ILSVRC 2012 데이터셋을 이용한 이미지 분류 결과에 대해 알아보겠습니다. 데이터셋은 1000개의 부류를 포함하고 있으며 3개의 데이터셋으로 나뉩니다. 학습(1300만 장), 평가(5만 장), 테스트(10만 장).

평가 방법
  분류 성능은 2가지의 방법으로 평가합니다. 상위 1개의 오차율(top-1 error)은 다중 분류 오차(multi-class classification error)로 분류된 이미지가 부정확할 비율을 뜻합니다. 상위 5개의 오차율(top-5 error)은 ILSVRC에서 평가 기준으로 사용하였으며, 이미지로부터 예측한 5개의 카테고리 가운데 참값이 포함되지 않은 확률을 계산합니다.

4.1 Single Scale Evaluation

  2.2절에서 설명한 layer의 설정을 사용하여 단일 크기의 이미지로 각 ConvNet 모델의 성능을 측정하였습니다. 테스트 이미지의 크기는 다음과 같습니다. $ Q=S $($ S $는 고정)이며 scale jittering을 위해 $ S\in[S_{min}, S_{max}] $에서 Q=0.5(S_{min}+S_{max})입니다. 결과는 아래의 표 3에서 확인할 수 있습니다.

표 3. 단일 크기에 따른 ConvNet 성능 비교

  실험을 통해 다음의 3가지를 확인할 수 있었습니다.

1. LRN을 사용하는 것이 정규화 layer가 없는 모델 A를 개선하지 않는다는 것을 확인했습니다. 따라서 이후의 심층 아키텍처(B-E)에는 정규화를 적용하지 않았습니다.
2. ConvNet의 깊이에 따라 분류 오차율이 감소하는 것을 확인했습니다. 특히 동일한 깊이에도 불구하고 3개의 $ 1\times1 $ Conv. layer를 포함한 C가 네트워크에 $ 3\times3 $ Conv. layer를 적용한 D보다 성능이 나쁜 것을 확인했습니다. 이는 B에 비하여 C가 낫다는 점에서 추가적인 비선형성이 성능에 도움이 된다는 것을 알 수 있습니다. 하지만 D가 C보다 낫다는 점에서 특별한(non-trival) 수용 영역을 가진 Conv. filter를 사용하여 공간적인 맥락을 포착하는 것이 더 중요하다는 점을 보여줍니다. 19층에 깊이가 도달하면 오차율이 더 이상 개선되지는 않지만, 더 큰 데이터셋에 대해서는 더 깊은 모델이 유리할 수 있습니다. 또한, 네트워크 B와 B의 $ 3\times3 $ Conv. layer 2개를 $ 5\times5 $ Conv. layer로 교체하여 얕게 만든 네트워크를 비교하였습니다. 얕은 네트워크는 B와 비교하여 오차율이 7% 높았으며, 이는 작은 필터들을 가진 깊은 네트워크가 큰 필터를 가진 얕은 네트워크보다 성능이 뛰어나다는 것을 보여줍니다.
3. 학습 단계에서 scale jittering하는 것은 짧은 면으로 고정된 이미지를 사용하는 것보다 매우 좋은 결과를 보여줍니다. 이는 scale jittering을 통한 학습 데이터셋의 증가가 다양한 크기의 이미지를 포착하는데 더 효과적임을 알려줍니다.

4.2 Multi-Scale Evaluation

  이전 절에서는 단일 크기의 이미지로 ConvNet 모델을 평가했습니다. 이번 절에서는 테스트 단계에서 scale jittering을 한 효과를 평가하겠습니다. 테스트 이미지를 다양한 크기로 조정하여 추론한 후, 이를 평균 내어 부류를 예측합니다. 학습 이미지 크기와 테스트 이미지 크기의 큰 차이가 성능을 떨어뜨린다는 점을 고려하여, 고정된 크기의 $ S $에 대하여 학습한 모델을 학습 이미지의 크기와 유사한 3가지의 테스트 이미지 크기($ Q $)로 평가합니다. 여기서 $ Q=\{S- 32, S, S+32\} $입니다. 또한, 학습 과정의 scale jittering에 대해 테스트 과정에서 다양한 범위의 크기에도 적응할 수 있도록 합니다. 이를 위해 $ Q=\{S_{min}, 0.5(S_{min}+S_{max}, S_{max}\} $로 평가합니다.

표 4. 다양한 크기의 테스트에 따른 ConvNet 성능 비교

  그 결과, 테스트 단계에서 scale jittering이 더 좋은 성능을 이끈다는 것을 위 표 4를 통해 확인할 수 있습니다. 이는 이전 절과 동일하게 가장 깊은 설정인 D와 E에서 가장 성능이 좋으며, scale jittering을 적용하는 것이 짧은 면 $ S $로 고정된 이미지로 학습하는 것보다 더 뛰어납니다.

4.3 Multi-Crop Evaluation

  아래의 표 5는 multi-crop evaluation과 dense evaluation을 비교합니다. 2가지 평가 기법의 상호보완성을 측정하기 위해 각 기법의 soft-max 결과를 평균 냅니다. 표 5에서 볼 수 있듯이, multi-crop을 사용하는 것이 dense evaluation보다 다소 성능이 좋았으며, 2가지 방법은 상호보완적이기 때문에 혼합하여 사용하는 것이 좋은 성능을 만듭니다.

표 5. ConvNet 평가 기법 비교

4.4 ConvNet Fusion

  지금까지는 개별 ConvNet 모델의 성능을 평가했습니다. 이번 절에서는 몇몇 모델의 soft-max 결과의 평균을 구하는 방식으로 모델들을 융합하겠습니다. 이는 모델들의 상호보완성 때문에 성능이 향상되는 결과를 만들며 ILSVRC 2012와 2013에 제출한 모델들이 사용한 방법입니다.

  표 6은 그 결과를 보여줍니다. ILSVRC에 제출할 때, 단일 크기의 네트워크와 다중 크기의 D 네트워크만을 학습하였습니다. 7개의 네트워크를 앙상블한 결과, 상위 5개의 오차율은 7.3%였습니다. 제출한 이후, 가장 성능이 좋은 다중 크기의 모델 2개(D와 E)를 앙상블하는 것을 고려하였습니다. 이는 dense evaluation을 적용했을 때 오차율을 7.0%까지 줄였으며, dense evaluaton과 multi-crop evaluation을 혼합하여 적용했을 때는 6.8%까지 감소하였습니다.

표 6. ConvNet 앙상블 결과 비교

4.5 Comparison with the State of The Art

  마지막으로 SOTA 모델들과 비교하겠습니다. ILSVRC 2014의 분류 문제에서 VGG 팀은 7개의 모델을 앙상블하여 7.3%의 오차율을 기록하였고 이는 2위의 성적이었습니다. 제출 이후, 2개의 모델을 앙상블하여 오차율을 6.8%까지 낮추었습니다.

표 7. ILSVRC의 분류 문제에서 SOTA 모델 비교

  표 7에서 볼 수 있듯이 본 논문의 깊은 ConvNet은 2012년, 2013년 대회에서 좋은 성적을 거둔 이전 세대의 모델들보다 뛰어난 성능을 보여줍니다. 또한, 2014년 분류 문제의 우승 모델인 GoogLeNet과 경쟁력 있는 결과를 보였으며 2013년 우승 모델인 Clarifai를 상당히 뛰어넘는 결과입니다. 단일 모델의 성능에서 본 논문의 아키텍처는 7.0%로 최고 성능을 보였고 이는 GoogLeNet보다 0.9% 뛰어납니다. 본 연구에서 특히 주목해야 할 부분은 LeNet [LeCun et al., 1989]에서 제시한 고전적인 ConvNet 아키텍처에서 벗어나지 않고 깊이를 상당히 증가함으로써 성능을 향상했다는 것입니다.

---

5. Conclusion

  본 연구는 대규모 이미지 분류를 위한 매우 깊은 ConvNet을 평가하였습니다. 본 논문은 representation depth가 분류의 정확도에 이롭다는 점과 평범한 ConvNet 아키텍처를 깊게 쌓음으로써 ImageNet 대회에서 SOTA의 성능을 거둘 수 있다는 점을 증명하였습니다. 본 논문의 결과는 visual representation에서 깊이의 중요성에 대하여 다시 한번 확인시켜줍니다.

그림 4. 16층 VGGNet의 아키텍처

---

References

1. F. Perronnin et al., "Improving the Fisher Kernel for Large-Scale Image Classification," in ECCV, 2010
2. A. Krizhevsky et al., "ImageNet Classification with Deep Convolutional Neural Networks," in NIPS, 2012
3. A. Krizhevsky, "One Weird Trick for Parallelizing Convolutional Neural Networks," in CoRR, 2014
4. D. Ciresan et al, "Flexible, High Performance Convolutional Neural Networks for Image Classification," in IJCAI, 2011
5. P. Sermanet et al., "OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks," in ICLR, 2014
6. M. D. Zeiler and R. Fergus, "Visualizing and Understanding Convolutional Networks," in CoRR, 2013
7. C. Szegedy et al., "Going Deeper with Convolutions," in CoRR, 2014
8. X. Glorot and Y. Bengio, "Understanding the Difficulty of Training Deep Feedfoward Neural Networks," in AISTATS, 2010

* 인용된 논문은 더 있지만, 본 요약에서 언급한 논문만을 정리했습니다.

* 번역 오류는 댓글로 남겨주시면 수정하겠습니다.

---

참고 자료

1. 조선영, 신명숙, "Deep Convolutional Neural Networks를 이용한 객체 검출 성능의 발전 동향," 국방과학연구소, 2017
2. "VGG16 - Convolutional Network for Classification and Detection," https://neurohive.io/en/popular-networks/vgg16/, 2018