Spark

Spark

인메모리 기반 대용량 분산 처리 프레임워크

특징: 처리 속도(↑), 다양한 워크로드, 메모리 필요(↓)

구성요소: Spark Core, Spark SQL, MLlib, Streaming

기술요소: RDD, DataFrame, Dataset, Catalyst

적용사례: ETL, ML, 실시간 분석

비교: Spark(인메모리) vs Hadoop MR(디스크)

연관: 빅데이터, Hadoop, 분산처리