Data Engineering
데이터를 수집·변환·저장·제공하는 파이프라인을 설계하고 운영해, 조직이 신뢰할 수 있는 데이터 인프라를 구축하는 역량.
데이터 엔지니어링은 다양한 소스에서 데이터를 수집하고, ETL/ELT 파이프라인을 설계·구현하며, 데이터 웨어하우스(Data Warehouse)와 데이터 레이크(Data Lake)를 구축·운영하는 역량입니다. 스키마 설계, 데이터 품질 관리, 워크플로우 오케스트레이션(Orchestration), 실시간 스트리밍(Streaming) 처리까지 포괄하며, 데이터 분석가와 과학자가 신뢰할 수 있는 데이터를 적시에 활용할 수 있도록 안정적인 데이터 인프라를 제공하는 것이 핵심입니다.
Defines Data Engineering from Level 2 (Assist) to Level 6 (Initiate, influence), specifying pipeline design, implementation, and strategic responsibility scope at each level.
Details technical requirements, responsibility scope, and autonomy levels across Junior, Intermediate, Senior, Staff, and Principal stages for L1-L7 mapping.
Validates mid-to-senior engineer competency across 5 domains: data processing system design, ingestion/processing, storage, analysis readiness, and workload automation.
Defines 11 data management knowledge areas (governance, quality, metadata, etc.), providing authoritative grounding for L5-L6 governance/strategy checklists and L4 schema/quality management items.
Systematic mapping of 25 papers classifying data engineering lifecycle activities (collection, transformation, storage, serving) with technical solutions and architectures, grounding L3-L5 checklist behaviors.
