지식을 나누면 두배로

  • 홈
  • 태그
  • 방명록

DataSet 1

[Pytorch] Dataset과 DataLoader

대용량 데이터의 일부만 메모리에 적재하여 효율적으로 학습시키기 위해 필요한 Dataset과 DataLoader에 대해 알아보자. Dataset 모델에 입력할 데이터의 형태를 정의한다. torch.utils.data.Dataset을 상속받아 생성한 Custom Dataset 클래스는 __init__, __len__, __getitem__을 구현해야 한다. __init__ CSV 파일이나 XML 파일과 같은 데이터를 불러온다. 데이터의 전처리를 수행할 수 있다. __len__ 데이터셋의 전체 개수를 반환한다. __getitem__ 데이터셋에서 주어진 인덱스에 해당하는 데이터를 반환한다. import torch import pandas as pd from torch.utils.data import Datase..

AI/PyTorch 2023.03.16
이전
1
다음
프로필사진

선한 영향력을 나누는 지속 가능한 개발자가 되기 위해 공부중입니다.

  • 분류 전체보기 (109)
    • Backend (30)
      • Spring Boot (2)
      • Trouble Shooting (5)
      • Python (14)
      • pytest (3)
      • 기타 (6)
    • Cloud Architect (3)
      • AWS (3)
    • AI (63)
      • Numpy (7)
      • Pandas (10)
      • AI Math (6)
      • PyTorch (13)
      • Deep Learning (6)
      • 논문 리뷰 (5)
      • Prompt Engineering (3)
      • Trouble Shooting (3)
      • 기타 (10)
    • Data Engineering (4)
      • 데이터 시각화 (1)
      • Airflow (3)
    • GitHub (5)
    • 프로젝트 회고 (4)

Tag

github, numpy, 부스트캠프, pytest, LSTM, 판다스, Andrew Ng, airflow, 네이버 부스트캠프, 부스트캠프 AI Tech 5기, 파이썬, 부스트캠프 AI TECH, pandas, pytorch, 넘파이, prompt engineering, 논문 리뷰, github actions, mojo, 파이썬 테스트,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

  2025. 06  
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

Copyright © Kakao Corp. All rights reserved.

  • 깃허브

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.