지식을 나누면 두배로

ILSVRC라는 Visual Recognition Challenge와 대회에서 수상을 했던 4개의 Network의 특징에 대해 알아보자. VGGNet convolution filter의 크기를 가장 작은 크기인 3x3으로 고정시켜 모델의 layer를 깊게 만들고, 파라미터의 수는 상대적으로 적게 줄였다. 3x3 filter로 두번 convolution 연산하는 것과 5x5 filter로 한번 convolution 연산하는 것은 같은 크기의 receptive field를 갖는다. 그러나, 3x3 filter를 2번 사용하는 것이 파라미터의 수가 훨씬 적게 필요하다. (3*3*2 < 5*5) 3x3 convolution filter를 사용함으로써 네트워크의 깊이가 깊어져 비선형성이 증가하고, 파라미터의 수는..

GPUtil GPU의 상태를 보여주는 모듈이다. !pip install GPUtil import GPUtil GPUtil.showUtilization() OOM (Out Of Memory) GPU에서 메모리가 부족할 때 발생한다. batch 사이즈를 줄인 뒤, GPU를 clean 시키고 재실행시켜 본다. del 명령어 python에서는 loop이 끝나도 loop 안에서 선언된 변수가 메모리를 차지하고 있기 때문에, del 명령어를 사용해서 삭제해주는 것이 필요하다. for x in range(10): i = x print(i) # 출력: 9 torch.cuda.empty_cache() 사용되지 않는 GPU 캐시를 정리하여 가용 메모리를 확보한다. del은 객체를 삭제하지만, 해당 객체에 대한 모든 참조가..

Transfer Learning 대량의 데이터 셋이 학습되어 있는 pre-trained model에 현재 데이터를 학습시켜 사용하는 방식이다. freeze pre-trained model을 가져와 일부 layer만 학습시키고 싶은 경우에 사용한다. 학습시키지 않을 layer를 freeze하여 파라미터 값이 업데이트되지 않게 한다. from torch import nn from torchvision import models class MyNewNet(nn.Module): def __init__(self): super(MyNewNet, self).__init__() # pre-train된 vgg19 모델 불러오기 self.vgg19 = models.vgg19(pretrained=True) self.linea..

머신 러닝에서 모델이 과적합되는 것을 방지하기 위해 사용하는 여러 Regularization 기법들에 대해 알아보자. Early Stopping validation 데이터 셋에 대한 loss 값이 커지기 직전 시점의 값으로 모델의 파라미터를 결정한다. Parameter Norm Penalty loss function에 파라미터의 패널티 항을 추가해서 weight 값이 커지는 것에 제약을 준다. Data Augmentation 가지고 있는 훈련 데이터 셋을 여러가지 방법으로 증강하여 그 수를 늘린다. Noise Robustness 입력값 또는 weight에 노이즈를 넣어 다양한 입력값들에 대해 강건한 모델을 만든다. Label Smoothing 여러 라벨의 데이터를 섞음으로써, 정확히 하나의 클래스만 표현..

Gradient Descent 1차 미분 계수를 활용해 파라미터를 최적화한다. 문제점 적절한 Learning rate를 설정하는 것이 어렵다. global minimum이 아닌, local minimum로 수렴할 수 있다. Momentum 이전 gradient에 대한 정보를 활용하여 파라미터 값을 업데이트한다. 문제점 momentum으로 인해 loss function의 minimum 값에 수렴하지 못하고, 발산하는 문제가 발생한다. Nesterov Accelerated Gradient momentum과 비슷한 방식이지만, gradient 대신 Lookahead gradient를 활용한다. Lookahead gradient는 현재 시점의 gradient가 아닌, 다음 예상 위치의 gradient이다. Lo..

Generalization 관측하지 못한 데이터가 입력으로 주어졌을 때, 모델이 정확하게 동작하는 능력을 말한다. Cross-validation 일반적인 경우, 아래 그림과 같이 고정된 데이터 셋을 통해 모델을 검증한다. 이러한 경우, 모델이 해당 test set에 대해 과적합될 수 있다. 이러한 문제를 해결하기 위해, test set을 하나로 고정하는 것이 아닌, 모든 데이터 셋을 test set으로 활용하여 교차 검증을 진행한다. 아래는 교차 검증에서 가장 널리 사용되는 기법인 k-fold cross validation이다. Bias & Variance Bias(편향) 실제 값과 모델의 출력 값이 얼마나 차이가 나는지를 의미한다. Variance(분산) 비슷한 입력 값을 넣었을 때, 출력 값이 얼마나..

PyTorch를 사용하다보면, 학습 결과를 저장한 뒤, 불러와야 하는 경우가 생긴다. 이러한 상황을 위해 PyTorch로 만든 모델을 저장하고, 불러오는 방법에 대해 알아보자. state_dict란? 각 layer의 파라미터에 대한 정보가 들어있는 dict 타입의 객체이다. # 모델 정의 class TheModelClass(nn.Module): def __init__(self): super(TheModelClass, self).__init__() self.conv1 = nn.Conv2d(3, 6, 5) self.pool = nn.MaxPool2d(2, 2) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16 * 5 * 5, 120) self.fc2 = n..

PyTorch에서 신경망 학습을 위해 지원하는 자동 미분 엔진인 Autograd에 대해 간단한 예제를 통해 알아보자. Autograd import torch from torchvision.models import resnet18, ResNet18_Weights model = resnet18(weights=ResNet18_Weights.DEFAULT) data = torch.rand(1, 3, 64, 64) labels = torch.rand(1, 1000) prediction = model(data) # 순전파 단계(forward pass) loss = (prediction - labels).sum() loss.backward() # 역전파 단계(backward pass) # 옵티마이저 생성 optim ..

모듈 안에는 하나 이상의 모듈들이 포함될 수 있고, 여러 모듈을 포함한 하나의 거대한 모듈을 모델이라고 부른다. 대부분의 torch.nn.Module의 method들은 모델에 method를 적용하면, 모델 내부의 모든 모듈들에도 적용시키는 기능을 지원한다. 그러나 우리가 직접 만든 custom 함수는 이 기능을 지원하지 않기 때문에, apply를 사용해 모델의 하위 모듈들에 함수를 재귀적으로 적용시킬 수 있다. Apply import torch from torch import nn from torch.nn.parameter import Parameter # Function class Function_A(nn.Module): def __init__(self, name): super().__init__() ..

Hook hook이란, 프로그래머가 본인의 패키지에 사용자가 custom 코드를 실행시킬 수 있도록 만든 인터페이스이다. def program_A(x): print('program A processing!') return x + 3 def program_B(x): print('program B processing!') return x - 3 class Package(object): """프로그램 A와 B를 묶어놓은 패키지 코드""" def __init__(self): self.programs = [program_A, program_B] self.hooks = [] def __call__(self, x): for program in self.programs: x = program(x) # Package를 ..