데이터 엔지니어링
Data Engineering
데이터를 수집·변환·저장·제공하는 파이프라인을 설계하고 운영해, 조직이 신뢰할 수 있는 데이터 인프라를 구축하는 역량.
데이터 엔지니어링은 다양한 소스에서 데이터를 수집하고, ETL/ELT 파이프라인을 설계·구현하며, 데이터 웨어하우스(Data Warehouse)와 데이터 레이크(Data Lake)를 구축·운영하는 역량입니다. 스키마 설계, 데이터 품질 관리, 워크플로우 오케스트레이션(Orchestration), 실시간 스트리밍(Streaming) 처리까지 포괄하며, 데이터 분석가와 과학자가 신뢰할 수 있는 데이터를 적시에 활용할 수 있도록 안정적인 데이터 인프라를 제공하는 것이 핵심입니다.
레벨 개요
| 레벨 | 숙련도 단계 | 해시태그 |
|---|---|---|
| Lv.1 | Assist — 탐색 (Explore) | #SQL#DataPipeline#ETLBasics#SchemaDesign |
| Lv.2 | Assist — 적용 (Apply) | #BatchProcessing#DataWarehouse#VersionControl#DataCleaning |
| Lv.3 | Apply — 구현 (Build) | #Orchestration#DataModeling#DataLake#Monitoring |
| Lv.4 | Advise — 설계 (Architect) | #StreamProcessing#SchemaEvolution#CostOptimization#CI-CD |
| Lv.5 | Initiate — 전략 (Strategize) | #DataMesh#Governance#TeamMentoring#PlatformDesign |
| Lv.6 | Influence — 표준화 (Standardize) | #DAMA-DMBOK#DataStrategy#ComplianceArchitecture#GDPR |
| Lv.7 | Set Strategy — 선도 (Pioneer) | #ApacheFoundation#DataParadigm#OpenSourceFramework |
레벨
레벨 1
#SQL#DataPipeline#ETLBasics#SchemaDesignSQL 기초와 ETL 개념을 익히며 데이터 흐름을 이해하기 시작하는 단계
데이터 엔지니어링이라는 분야에 처음 진입하여 핵심 개념을 탐색하는 단계입니다. SQL 기초 문법을 익히고, 데이터 파이프라인의 개념과 ETL(Extract, Transform, Load)의 기본 흐름을 이해합니다. 관계형 데이터베이스(Relational Database)의 테이블 구조를 파악하고, 간단한 데이터 추출과 변환을 안내에 따라 수행할 수 있습니다.
다음 단계로
이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Assist 적용(Apply) 단계로 진입하여 배치 처리 파이프라인을 독립적으로 구축하고 데이터 품질을 검증하는 데 도전할 준비가 됐습니다. UK DDaT Data Engineer 역할 체계에 따르면, 숙련된 데이터 엔지니어의 파이프라인 구축 시연과 ETL 사례 관찰을 통해 자기효능감을 높이는 것이 효과적입니다.
레벨 2
#BatchProcessing#DataWarehouse#VersionControl#DataCleaning안내에 따라 배치 ETL 파이프라인을 구축하고 데이터 품질을 검증하는 단계
배치 처리(Batch Processing) 기반의 ETL 파이프라인을 안내에 따라 구현할 수 있는 단계입니다. 데이터 클렌징(Data Cleansing) 규칙을 적용하여 결측치와 중복을 처리하고, 데이터 웨어하우스에 정형 데이터를 적재합니다. 버전 관리 도구(예: Git)를 사용하여 파이프라인 코드를 관리하며, 기본적인 데이터 품질 검증 쿼리를 작성할 수 있습니다.
다음 단계로
이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Apply 구현(Build) 단계로 진입하여 오케스트레이션 도구를 활용하여 복수의 파이프라인을 스케줄링하고 독립적으로 데이터 모델을 설계하는 데 도전할 준비가 됐습니다. GitLab Career Ladder에 따르면, 파이프라인 구축 후 실행 결과를 관찰하고 반성하여 개선된 설계를 적용하는 순환을 반복하는 것이 효과적입니다.
레벨 3
#Orchestration#DataModeling#DataLake#Monitoring오케스트레이션으로 파이프라인을 자동화하고 데이터 모델을 스스로 설계하는 단계
워크플로우 오케스트레이션 도구(예: Airflow, Dagster)를 활용하여 파이프라인의 스케줄링, 의존성 관리, 재시도 로직을 구현하는 단계입니다. 차원 모델링(Dimensional Modeling) 기법을 적용하여 분석용 데이터 모델을 설계하고, 데이터 레이크에 비정형 데이터를 저장·관리합니다. 모니터링 대시보드를 구성하여 파이프라인 상태를 추적하며, 일상적인 운영 이슈를 독립적으로 해결합니다.
다음 단계로
이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Advise 설계(Architect) 단계로 진입하여 실시간 스트리밍 처리와 스키마 진화 관리, 비용 최적화까지 아우르는 고급 파이프라인 설계에 도전할 준비가 됐습니다. SFIA 8의 역량 수준 체계에 따르면, 현재 독립적으로 구현 가능한 수준보다 한 단계 높은 데이터 모델링이나 오케스트레이션 과제를 시니어 엔지니어의 리뷰와 함께 수행하는 것을 권장합니다.
레벨 4
#StreamProcessing#SchemaEvolution#CostOptimization#CI-CD실시간 스트리밍 파이프라인을 설계하고 스키마 진화를 관리하는 단계
배치 처리를 넘어 실시간 스트리밍(예: Kafka, Flink) 파이프라인을 설계·구현하는 단계입니다. 스키마 진화(Schema Evolution) 전략을 수립하여 하위 호환성을 유지하면서 데이터 구조를 변경합니다. CI/CD 파이프라인을 통해 데이터 파이프라인의 테스트와 배포를 자동화하고, 클라우드 환경에서의 비용 최적화를 주도합니다. Google Cloud Professional Data Engineer 수준의 역량에 해당합니다.
다음 단계로
이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Initiate 전략(Strategize) 단계로 진입하여 팀 수준의 데이터 플랫폼을 설계하고 데이터 거버넌스 체계를 수립하며 주니어 엔지니어를 멘토링하는 데 도전할 준비가 됐습니다. Databricks Professional 인증 기준에 따르면, 스트리밍 파이프라인 설계, 스키마 진화 관리, 비용 최적화 같은 특정 약점 영역에 집중적으로 반복 훈련하는 것이 이 전환의 핵심입니다.
레벨 5
#DataMesh#Governance#TeamMentoring#PlatformDesign데이터 플랫폼을 설계하고 거버넌스를 수립하며 멘토링으로 팀을 리드하는 단계
조직의 데이터 플랫폼 아키텍처를 설계하고, 데이터 메시(Data Mesh)나 데이터 패브릭(Data Fabric) 같은 분산형 아키텍처 패턴의 도입을 주도하는 단계입니다. 데이터 거버넌스(Governance) 정책을 수립하여 품질, 보안, 접근 제어를 체계화하고, 데이터 카탈로그(Data Catalog)를 운영합니다. 주니어-중급 엔지니어를 멘토링하고 팀의 기술적 의사결정을 이끕니다.
다음 단계로
이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Influence 표준화(Standardize) 단계로 진입하여 업계 수준의 데이터 전략을 수립하고 산업 표준에 기여하며 조직 간 영향력을 행사하는 데 도전할 준비가 됐습니다. DAMA-DMBOK에 따르면, 데이터 플랫폼 설계와 거버넌스 수립 과정에서 설계 가정을 지속적으로 검증하는 반성적 실천이 효과적입니다.
레벨 6
#DAMA-DMBOK#DataStrategy#ComplianceArchitecture#GDPR업계 데이터 전략을 수립하고 사고 리더십으로 산업 표준에 기여하는 단계
조직을 넘어 산업 전체에 영향을 미치는 데이터 전략을 수립하는 단계입니다. 데이터 엔지니어링 관련 컨퍼런스에서 발표하거나 기술 블로그를 통해 사고 리더십(Thought Leadership)을 발휘합니다. 업계 표준 프레임워크의 발전에 기여하고, 대규모 조직의 데이터 인프라 현대화를 이끌며, 규제 대응과 컴플라이언스(Compliance) 전략을 주도합니다.
다음 단계로
이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Set Strategy 선도(Pioneer) 단계로 진입하여 데이터 엔지니어링 분야의 새로운 패러다임을 창시하고 후대에 영향을 미치는 유산을 남기는 데 도전할 준비가 됐습니다. SFIA 8의 Set Strategy 수준에 따르면, 데이터 전략과 컴플라이언스 아키텍처의 기저 가정 자체를 재검토하여 산업 표준을 개선하는 학습이 효과적입니다.
레벨 7
#ApacheFoundation#DataParadigm#OpenSourceFramework새로운 데이터 처리 패러다임을 창시하고 후대에 유산을 남기는 단계
데이터 엔지니어링의 역사에 기여하는 단계입니다. 널리 채택되는 오픈소스 프레임워크를 창시하거나, 데이터 처리의 새로운 패러다임(MapReduce, 데이터 메시 등)을 제안하여 업계 전체의 방향을 전환합니다. 학술 연구와 산업 실무를 연결하는 가교 역할을 하며, 차세대 데이터 엔지니어를 양성하는 교육 체계를 구축합니다.
다음 단계로
이 체크리스트를 대부분 달성했다면, 데이터 엔지니어링의 최전선에서 기술 생태계의 방향을 결정하고 후대에 영향을 미치는 유산을 남기는 단계에 있습니다. SFIA 8의 Set Strategy를 넘어선 수준으로, 새로운 데이터 처리 패러다임이나 오픈소스 프레임워크를 설계하는 것이 이 레벨의 핵심입니다.
참고 자료
Defines Data Engineering from Level 2 (Assist) to Level 6 (Initiate, influence), specifying pipeline design, implementation, and strategic responsibility scope at each level.
Details technical requirements, responsibility scope, and autonomy levels across Junior, Intermediate, Senior, Staff, and Principal stages for L1-L7 mapping.
Validates mid-to-senior engineer competency across 5 domains: data processing system design, ingestion/processing, storage, analysis readiness, and workload automation.
Defines 11 data management knowledge areas (governance, quality, metadata, etc.), providing authoritative grounding for L5-L6 governance/strategy checklists and L4 schema/quality management items.
Systematic mapping of 25 papers classifying data engineering lifecycle activities (collection, transformation, storage, serving) with technical solutions and architectures, grounding L3-L5 checklist behaviors.