지식을 나누면 두배로

  • 홈
  • 태그
  • 방명록

Dag 1

[Airflow] DAG 작성하기

DAG Airflow에서는 DAG이라는 단위로 스케줄링을 관리한다. DAG는 Directed Acyclic Graph의 약자로, 순환하지 않고 방향이 존재하는 그래프를 의미한다. 위와 그림과 같은 DAG는 a, b, c, d, e라고 하는 task의 조합으로 이루어져 있다. task는 파이프라인에서 실행되는 단위 작업이다. DAG 내에서 task는 이전에 수행되어야 하는 task가 모두 완료되면 실행되고, 여러 task를 동시에 실행시킬 수 있다. 예를 들어 DAG 구조가 위 그림과 같다면, a task가 완료된 후 b, c task가 동시에 실행되고, b와 c task가 모두 완료되어야 d task가 실행된다. DAG 작성하기 먼저 DAG를 담을 디렉토리를 Airflow 기본 디렉토리 경로에서 생성한다..

Data Engineering/Airflow 2023.07.25
이전
1
다음
프로필사진

선한 영향력을 나누는 지속 가능한 개발자가 되기 위해 공부중입니다.

  • 분류 전체보기 (109)
    • Backend (30)
      • Spring Boot (2)
      • Trouble Shooting (5)
      • Python (14)
      • pytest (3)
      • 기타 (6)
    • Cloud Architect (3)
      • AWS (3)
    • AI (63)
      • Numpy (7)
      • Pandas (10)
      • AI Math (6)
      • PyTorch (13)
      • Deep Learning (6)
      • 논문 리뷰 (5)
      • Prompt Engineering (3)
      • Trouble Shooting (3)
      • 기타 (10)
    • Data Engineering (4)
      • 데이터 시각화 (1)
      • Airflow (3)
    • GitHub (5)
    • 프로젝트 회고 (4)

Tag

Andrew Ng, mojo, 파이썬, 넘파이, 판다스, github actions, pytest, pandas, 부스트캠프 AI Tech 5기, numpy, 파이썬 테스트, LSTM, prompt engineering, github, pytorch, 부스트캠프, 네이버 부스트캠프, 부스트캠프 AI TECH, 논문 리뷰, airflow,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

  2025. 06  
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

Copyright © Kakao Corp. All rights reserved.

  • 깃허브

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.