지식을 나누면 두배로

ILSVRC라는 Visual Recognition Challenge와 대회에서 수상을 했던 4개의 Network의 특징에 대해 알아보자. VGGNet convolution filter의 크기를 가장 작은 크기인 3x3으로 고정시켜 모델의 layer를 깊게 만들고, 파라미터의 수는 상대적으로 적게 줄였다. 3x3 filter로 두번 convolution 연산하는 것과 5x5 filter로 한번 convolution 연산하는 것은 같은 크기의 receptive field를 갖는다. 그러나, 3x3 filter를 2번 사용하는 것이 파라미터의 수가 훨씬 적게 필요하다. (3*3*2 < 5*5) 3x3 convolution filter를 사용함으로써 네트워크의 깊이가 깊어져 비선형성이 증가하고, 파라미터의 수는..

기본적인 딥러닝 모델 중 하나인 CNN과 RNN의 개념에 대해 알아보자. CNN 커널을 입력벡터 상에서 움직여가면서 선형 모델과 합성함수가 적용되는 구조이다. 입력이 3차원인 경우, 즉 여러 채널의 2차원 입력이 주어질 경우, 커널의 채널 수를 입력의 채널 수와 같게 만들어야 한다. 출력의 채널 개수를 O_c개로 만들고 싶다면, 커널을 O_c개 사용하면 된다. CNN의 역전파 간단한 CNN 구조에서 순전파의 예시 그림이다. 그레디언트가 출력 벡터에 전달된다. 커널의 각 파라미터에 전달되는 그레디언트는 convolution 연산과 같은 형태가 된다. RNN 시퀀스 데이터의 패턴을 학습하는데 특화된 인공 신경망의 한 종류이다. 이전 시퀀스의 정보들을 잠재변수 H_t에 모아, 출력을 만들고, 다음 순서의 잠재..