지식을 나누면 두배로

  • 홈
  • 태그
  • 방명록

전이 학습 2

Huggingface의 Transformer 라이브러리에서 pre-trained된 모델 활용하기

Transfer Learning은 많은 양의 데이터로 사전 훈련된 모델을 가져와 새로운 태스크를 학습시키는 기술이다. Hugging Face의 Transformers 라이브러리는 다양한 사전 훈련된 모델을 제공하며, 이러한 모델을 fine tuning하여 새로운 태스크를 수행할 수 있다. 이번 포스팅에서는 Hugging Face의 Transformers 라이브러리를 사용하여 Transfer Learning을 수행하는 방법에 대해 알아보자. 1. Downstream Task에 알맞게 pre-trained된 모델 수정 from_pretrained() 메서드를 사용하여 사전 훈련된 모델과 토크나이저를 불러올 수 있다. Downstream Task를 수행하기 위해서는 pre-trained 모델의 출력 차원을 조..

AI/기타 2023.04.21

[PyTorch] Transfer Learning (전이 학습)

Transfer Learning 대량의 데이터 셋이 학습되어 있는 pre-trained model에 현재 데이터를 학습시켜 사용하는 방식이다. freeze pre-trained model을 가져와 일부 layer만 학습시키고 싶은 경우에 사용한다. 학습시키지 않을 layer를 freeze하여 파라미터 값이 업데이트되지 않게 한다. from torch import nn from torchvision import models class MyNewNet(nn.Module): def __init__(self): super(MyNewNet, self).__init__() # pre-train된 vgg19 모델 불러오기 self.vgg19 = models.vgg19(pretrained=True) self.linea..

AI/PyTorch 2023.03.23
이전
1
다음
프로필사진

선한 영향력을 나누는 지속 가능한 개발자가 되기 위해 공부중입니다.

  • 분류 전체보기 (109)
    • Backend (30)
      • Spring Boot (2)
      • Trouble Shooting (5)
      • Python (14)
      • pytest (3)
      • 기타 (6)
    • Cloud Architect (3)
      • AWS (3)
    • AI (63)
      • Numpy (7)
      • Pandas (10)
      • AI Math (6)
      • PyTorch (13)
      • Deep Learning (6)
      • 논문 리뷰 (5)
      • Prompt Engineering (3)
      • Trouble Shooting (3)
      • 기타 (10)
    • Data Engineering (4)
      • 데이터 시각화 (1)
      • Airflow (3)
    • GitHub (5)
    • 프로젝트 회고 (4)

Tag

부스트캠프 AI Tech 5기, 네이버 부스트캠프, github, prompt engineering, 부스트캠프, 판다스, LSTM, pandas, airflow, 파이썬, Andrew Ng, 부스트캠프 AI TECH, 넘파이, pytest, 파이썬 테스트, numpy, pytorch, 논문 리뷰, mojo, github actions,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

  2025. 08  
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

Copyright © Kakao Corp. All rights reserved.

  • 깃허브

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.