지식을 나누면 두배로

Transfer Learning은 많은 양의 데이터로 사전 훈련된 모델을 가져와 새로운 태스크를 학습시키는 기술이다. Hugging Face의 Transformers 라이브러리는 다양한 사전 훈련된 모델을 제공하며, 이러한 모델을 fine tuning하여 새로운 태스크를 수행할 수 있다. 이번 포스팅에서는 Hugging Face의 Transformers 라이브러리를 사용하여 Transfer Learning을 수행하는 방법에 대해 알아보자. 1. Downstream Task에 알맞게 pre-trained된 모델 수정 from_pretrained() 메서드를 사용하여 사전 훈련된 모델과 토크나이저를 불러올 수 있다. Downstream Task를 수행하기 위해서는 pre-trained 모델의 출력 차원을 조..

Transfer Learning 대량의 데이터 셋이 학습되어 있는 pre-trained model에 현재 데이터를 학습시켜 사용하는 방식이다. freeze pre-trained model을 가져와 일부 layer만 학습시키고 싶은 경우에 사용한다. 학습시키지 않을 layer를 freeze하여 파라미터 값이 업데이트되지 않게 한다. from torch import nn from torchvision import models class MyNewNet(nn.Module): def __init__(self): super(MyNewNet, self).__init__() # pre-train된 vgg19 모델 불러오기 self.vgg19 = models.vgg19(pretrained=True) self.linea..