지식을 나누면 두배로

  • 홈
  • 태그
  • 방명록

num_workers 1

TOKENIZERS_PARALLELISM=(true | false) 경고 메세지는 무슨 뜻일까?

huggingface의 transformers 라이브러리를 사용하다보면 이런 경고 메세지를 본 적이 있을 것이다. The current process just got forked. Disabling parallelism to avoid deadlocks... To disable this warning, please explicitly set TOKENIZERS_PARALLELISM=(true | false) 대부분의 경고 메세지가 그렇듯, 프로그램은 문제 없이 실행되지만 어느 부분에서 이 경고 메세지가 뜨고 어떤 문제에 대한 경고인지 궁금해졌다. 아래 내용들은 이 경고 메세지에 관한 자세한 탐구이므로 경고 메세지를 없애기 위한 해결책만을 원한다면 마지막 결론 부분만 읽으면 된다. 경고 메세지가 뜨는 조건..

AI/PyTorch 2023.07.21
이전
1
다음
프로필사진

선한 영향력을 나누는 지속 가능한 개발자가 되기 위해 공부중입니다.

  • 분류 전체보기 (109)
    • Backend (30)
      • Spring Boot (2)
      • Trouble Shooting (5)
      • Python (14)
      • pytest (3)
      • 기타 (6)
    • Cloud Architect (3)
      • AWS (3)
    • AI (63)
      • Numpy (7)
      • Pandas (10)
      • AI Math (6)
      • PyTorch (13)
      • Deep Learning (6)
      • 논문 리뷰 (5)
      • Prompt Engineering (3)
      • Trouble Shooting (3)
      • 기타 (10)
    • Data Engineering (4)
      • 데이터 시각화 (1)
      • Airflow (3)
    • GitHub (5)
    • 프로젝트 회고 (4)

Tag

prompt engineering, pytorch, numpy, 부스트캠프 AI TECH, pytest, 판다스, 네이버 부스트캠프, airflow, github actions, 넘파이, 파이썬 테스트, 부스트캠프 AI Tech 5기, 부스트캠프, 파이썬, mojo, Andrew Ng, pandas, 논문 리뷰, LSTM, github,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

  2025. 07  
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

Copyright © Kakao Corp. All rights reserved.

  • 깃허브

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.