지식을 나누면 두배로

LSTM Cell 위 그림은 LSTM Cell의 구조이다. LSTM의 Cell을 구현한 코드는 아래와 같다. from typing import Optional, Tuple import torch from torch import nn class LSTMCell(nn.Module): def __init__(self, input_size: int, hidden_size: int): super().__init__() self.hidden_lin = nn.Linear(hidden_size, 4 * hidden_size) self.input_lin = nn.Linear(input_size, 4 * hidden_size, bias = False) def forward(self, x: torch.Tensor, h: t..

sequential data를 처리하기 위한 모델인 RNN(Recurrent Neural Network)에 대해 알아보자. Sequential Model Naive sequence model Autoregressive model Markov model Latent autoregressive model RNN (Recurrent Neural Network) The problem of long-term dependencies RNN 구조에서는 먼 과거에 대한 정보가 잘 고려되지 않는 문제점이 있다. LSTM (Long Short Term Memory) RNN 구조의 한계인 long-term dependency 문제를 해결하기 위해 등장했다. previous cell state cell 밖으로 나가지 않는 정..

ILSVRC라는 Visual Recognition Challenge와 대회에서 수상을 했던 4개의 Network의 특징에 대해 알아보자. VGGNet convolution filter의 크기를 가장 작은 크기인 3x3으로 고정시켜 모델의 layer를 깊게 만들고, 파라미터의 수는 상대적으로 적게 줄였다. 3x3 filter로 두번 convolution 연산하는 것과 5x5 filter로 한번 convolution 연산하는 것은 같은 크기의 receptive field를 갖는다. 그러나, 3x3 filter를 2번 사용하는 것이 파라미터의 수가 훨씬 적게 필요하다. (3*3*2 < 5*5) 3x3 convolution filter를 사용함으로써 네트워크의 깊이가 깊어져 비선형성이 증가하고, 파라미터의 수는..

머신 러닝에서 모델이 과적합되는 것을 방지하기 위해 사용하는 여러 Regularization 기법들에 대해 알아보자. Early Stopping validation 데이터 셋에 대한 loss 값이 커지기 직전 시점의 값으로 모델의 파라미터를 결정한다. Parameter Norm Penalty loss function에 파라미터의 패널티 항을 추가해서 weight 값이 커지는 것에 제약을 준다. Data Augmentation 가지고 있는 훈련 데이터 셋을 여러가지 방법으로 증강하여 그 수를 늘린다. Noise Robustness 입력값 또는 weight에 노이즈를 넣어 다양한 입력값들에 대해 강건한 모델을 만든다. Label Smoothing 여러 라벨의 데이터를 섞음으로써, 정확히 하나의 클래스만 표현..

Gradient Descent 1차 미분 계수를 활용해 파라미터를 최적화한다. 문제점 적절한 Learning rate를 설정하는 것이 어렵다. global minimum이 아닌, local minimum로 수렴할 수 있다. Momentum 이전 gradient에 대한 정보를 활용하여 파라미터 값을 업데이트한다. 문제점 momentum으로 인해 loss function의 minimum 값에 수렴하지 못하고, 발산하는 문제가 발생한다. Nesterov Accelerated Gradient momentum과 비슷한 방식이지만, gradient 대신 Lookahead gradient를 활용한다. Lookahead gradient는 현재 시점의 gradient가 아닌, 다음 예상 위치의 gradient이다. Lo..

Generalization 관측하지 못한 데이터가 입력으로 주어졌을 때, 모델이 정확하게 동작하는 능력을 말한다. Cross-validation 일반적인 경우, 아래 그림과 같이 고정된 데이터 셋을 통해 모델을 검증한다. 이러한 경우, 모델이 해당 test set에 대해 과적합될 수 있다. 이러한 문제를 해결하기 위해, test set을 하나로 고정하는 것이 아닌, 모든 데이터 셋을 test set으로 활용하여 교차 검증을 진행한다. 아래는 교차 검증에서 가장 널리 사용되는 기법인 k-fold cross validation이다. Bias & Variance Bias(편향) 실제 값과 모델의 출력 값이 얼마나 차이가 나는지를 의미한다. Variance(분산) 비슷한 입력 값을 넣었을 때, 출력 값이 얼마나..