데이터 파이프라인

데이터 파이프라인

데이터를 수집, 처리, 저장하는 일련의 프로세스

특징: 자동화(↑), 확장성(↑), 복잡도(↑)

구성요소: 수집, 변환, 저장, 소비

기술요소: Airflow, Kafka, Spark, ETL/ELT

적용사례: 데이터 웨어하우스, 실시간 분석

비교: 배치(주기) vs 스트리밍(실시간)

연관: 빅데이터, ETL, 데이터 엔지니어링