지식을 나누면 두배로

sequential data를 처리하기 위한 모델인 RNN(Recurrent Neural Network)에 대해 알아보자. Sequential Model Naive sequence model Autoregressive model Markov model Latent autoregressive model RNN (Recurrent Neural Network) The problem of long-term dependencies RNN 구조에서는 먼 과거에 대한 정보가 잘 고려되지 않는 문제점이 있다. LSTM (Long Short Term Memory) RNN 구조의 한계인 long-term dependency 문제를 해결하기 위해 등장했다. previous cell state cell 밖으로 나가지 않는 정..

기본적인 딥러닝 모델 중 하나인 CNN과 RNN의 개념에 대해 알아보자. CNN 커널을 입력벡터 상에서 움직여가면서 선형 모델과 합성함수가 적용되는 구조이다. 입력이 3차원인 경우, 즉 여러 채널의 2차원 입력이 주어질 경우, 커널의 채널 수를 입력의 채널 수와 같게 만들어야 한다. 출력의 채널 개수를 O_c개로 만들고 싶다면, 커널을 O_c개 사용하면 된다. CNN의 역전파 간단한 CNN 구조에서 순전파의 예시 그림이다. 그레디언트가 출력 벡터에 전달된다. 커널의 각 파라미터에 전달되는 그레디언트는 convolution 연산과 같은 형태가 된다. RNN 시퀀스 데이터의 패턴을 학습하는데 특화된 인공 신경망의 한 종류이다. 이전 시퀀스의 정보들을 잠재변수 H_t에 모아, 출력을 만들고, 다음 순서의 잠재..