데이터

데이터 파이프라인Data Pipeline

Data Pipeline

데이터가 수집부터 처리와 전달까지 이어서 흐르도록 연결한 작업 체계예요.

데이터 파이프라인은 원천 데이터가 수집·처리·저장·전달 단계를 거치도록 연결한 작업 체계예요. 일정에 따라 묶어서 처리하는 배치나 계속 들어오는 이벤트를 처리하는 스트리밍 등으로 구성할 수 있어요. 데이터 이동뿐 아니라 단계 의존성, 검증과 실패 복구를 관리하며, ETL은 이런 파이프라인을 구성하는 한 방식이에요.

쉽게 비유하면

재료가 여러 공정을 거쳐 완제품 보관소로 이동하는 생산 라인과 같아요.

조금 더 자세히

수집, 변환, 검증, 저장과 배포 같은 단계를 연결해요. 정해진 시간에 묶어서 처리하거나 새 이벤트를 지속적으로 처리할 수 있어요.

단계 사이의 의존 관계, 실패 복구, 중복과 지연 관리가 중요해요. ETL은 파이프라인에 포함될 수 있지만, 파이프라인은 데이터 이동 전체를 더 넓게 가리켜요.

어떻게 사용하나요

한 번의 수작업이 아니라 계속 들어오는 데이터를 반복 가능하고 관찰 가능한 방식으로 전달하려고 구축해요.

어떻게 작동하나요

1. 흐름 설계 원천, 처리 단계와 목적지를 정해요.
2. 실행 연결 일정이나 이벤트에 따라 각 단계를 실행해요.
3. 상태 감시 오류, 누락과 지연을 확인하고 필요한 부분을 재처리해요.

활용 예시

서비스 로그의 분석 저장소 전송
실시간 센서 데이터 처리
주문 데이터의 일일 갱신

알고 쓰는 기술

한 번 만들면 관리할 일이 없나요?

원천 형식, 데이터량과 업무 규칙이 바뀔 수 있어요. 품질 검사와 감시, 변경 대응이 계속 필요해요.

이렇게 쓰여요

대시보드 갱신

“데이터 파이프라인이 마지막으로 성공한 시각을 보여 줘서 오래된 지표를 바로 알게 하자”라고 이야기해요.

함께 보면 좋은 용어

최종 업데이트 2026-11-02