Queue1 [Airflow] Queue 역시 오늘도 gemini의 도움을 받아 Airflow에 대해 간단히 정리해보겠습니다. Airflow 큐(Queue)는 Celery와 같은 분산 Executor를 사용할 때, Task들을 성격에 맞게 분류하고 특정 Worker 그룹에 할당하기 위한 가상의 대기열입니다. 스케줄러가 실행을 지시한 Task들을 바로 Worker에게 보내는 것이 아니라, 먼저 정해진 큐에 넣고, 해당 큐를 구독(listening)하도록 설정된 Worker가 그 Task를 가져가 처리하도록 하는 라우팅(routing) 시스템입니다. Airflow의 큐 시스템은 대형 마트의 계산대와 똑같습니다.Task (작업): 계산을 기다리는 손님들Worker (작업자): 계산원Queue (큐): 계산대 줄마트에는 여러 종류의 계산대가 있습니다... 2025. 9. 6. 이전 1 다음 반응형