Source: Levelica Canonical: https://www.levelica.com/ko/guides/data-engineering # 데이터 엔지니어링 (Data Engineering) ## 요약 (Summary) 데이터를 수집·변환·저장·제공하는 파이프라인을 설계하고 운영해, 조직이 신뢰할 수 있는 데이터 인프라를 구축하는 역량. ## 설명 (Description) 데이터 엔지니어링은 다양한 소스에서 데이터를 수집하고, ETL/ELT 파이프라인을 설계·구현하며, 데이터 웨어하우스(Data Warehouse)와 데이터 레이크(Data Lake)를 구축·운영하는 역량입니다. 스키마 설계, 데이터 품질 관리, 워크플로우 오케스트레이션(Orchestration), 실시간 스트리밍(Streaming) 처리까지 포괄하며, 데이터 분석가와 과학자가 신뢰할 수 있는 데이터를 적시에 활용할 수 있도록 안정적인 데이터 인프라를 제공하는 것이 핵심입니다. --- ## 레벨 개요 (Level Overview) | 레벨 | 숙련도 단계 | 해시태그 | | ---- | -------------------------------- | ------------------------------------------------------------- | | Lv.1 | Assist — 탐색 (Explore) | #SQL #DataPipeline #ETLBasics #SchemaDesign | | Lv.2 | Assist — 적용 (Apply) | #BatchProcessing #DataWarehouse #VersionControl #DataCleaning | | Lv.3 | Apply — 구현 (Build) | #Orchestration #DataModeling #DataLake #Monitoring | | Lv.4 | Advise — 설계 (Architect) | #StreamProcessing #SchemaEvolution #CostOptimization #CI-CD | | Lv.5 | Initiate — 전략 (Strategize) | #DataMesh #Governance #TeamMentoring #PlatformDesign | | Lv.6 | Influence — 표준화 (Standardize) | #DAMA-DMBOK #DataStrategy #ComplianceArchitecture #GDPR | | Lv.7 | Set Strategy — 선도 (Pioneer) | #ApacheFoundation #DataParadigm #OpenSourceFramework | > 숙련도 단계는 SFIA 8의 Assist에서 Apply에서 Advise에서 Initiate/Influence에서 Set Strategy 책임 수준과 UK DDaT Data Engineer 역할 체계를 Levelica 7레벨에 매핑한 것입니다. > **통합 프레임워크:** 이 가이드의 7레벨 구조는 단일 등급 체계의 매핑이 아니라 네 개의 독립 축을 통합한 결과입니다. SFIA 9 데이터 엔지니어링 역량은 **파이프라인 성숙도축**(배치 ETL에서 실시간 스트리밍까지 데이터 파이프라인 복잡도)을, DAMA-DMBOK 데이터 관리 체계는 **데이터 품질축**(기본 검증에서 데이터 계약, 데이터 메시까지 품질 거버넌스의 범위)을, Kleppmann의 데이터 시스템 이론은 **시스템 신뢰성축**(단일 DB에서 분산 시스템까지 데이터 인프라의 확장성과 내결함성)을, 그리고 현업 데이터 엔지니어의 실무 역량은 **조직 데이터 문화축**(파이프라인 장애 직관, 스키마 진화 영향 예측, 비용-성능 트레이드오프 등 프레임워크가 포착하지 않는 운영 감각)을 제공합니다. 각 레벨의 경계는 이 네 축의 교차점에서 결정됩니다. --- ## Level 1 #SQL #DataPipeline #ETLBasics #SchemaDesign ### 요약 (Summary) SQL 기초와 ETL 개념을 익히며 데이터 흐름을 이해하기 시작하는 단계 ### 설명 (Description) 데이터 엔지니어링이라는 분야에 처음 진입하여 핵심 개념을 탐색하는 단계입니다. SQL 기초 문법을 익히고, 데이터 파이프라인의 개념과 ETL(Extract, Transform, Load)의 기본 흐름을 이해합니다. 관계형 데이터베이스(Relational Database)의 테이블 구조를 파악하고, 간단한 데이터 추출과 변환을 안내에 따라 수행할 수 있습니다. ### 체크리스트 (Checklist) - [ ] SQL의 SELECT, WHERE, JOIN, GROUP BY를 사용하여 2개 이상의 테이블에서 데이터를 조회할 수 있다 - [ ] ETL의 추출(Extract), 변환(Transform), 적재(Load) 3단계를 각각 설명할 수 있다 - [ ] 관계형 데이터베이스의 기본키(Primary Key)와 외래키(Foreign Key) 관계를 도식으로 표현할 수 있다 - [ ] CSV, JSON 등 일반적인 데이터 형식의 차이를 설명하고 적절한 형식을 선택할 수 있다 - [ ] 안내에 따라 스크립트를 실행하여 소규모 데이터를 하나의 소스에서 다른 저장소로 이동할 수 있다 - [ ] 데이터 웨어하우스와 데이터 레이크의 차이를 설명할 수 있다 > 이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Assist 적용(Apply) 단계로 진입하여 배치 처리 파이프라인을 독립적으로 구축하고 데이터 품질을 검증하는 데 도전할 준비가 됐습니다. UK DDaT Data Engineer 역할 체계에 따르면, 숙련된 데이터 엔지니어의 파이프라인 구축 시연과 ETL 사례 관찰을 통해 자기효능감을 높이는 것이 효과적입니다. > 교차 검증(Cross-Validation): 3개의 독립적 레퍼런스 프레임워크가 동일한 레벨 경계에 수렴합니다. (1) SFIA 8의 Assist에서 Apply 전환과 UK DDaT의 Data Engineer에서 Senior 전환이 L2와 L3 경계(배치 파이프라인 구축에서 오케스트레이션 자동화)에서 일치합니다. (2) GitLab Career Ladder의 Senior에서 Staff 전환과 Databricks Associate에서 Professional 인증 경계가 L4와 L5 경계(스트리밍 설계에서 플랫폼 전략)에서 수렴합니다. (3) SFIA의 Influence 수준과 DAMA-DMBOK의 전략적 데이터 관리 단계가 L6와 L7 경계(산업 표준 기여에서 패러다임 선도)에서 합치합니다. --- ## Level 2 #BatchProcessing #DataWarehouse #VersionControl #DataCleaning ### 요약 (Summary) 안내에 따라 배치 ETL 파이프라인을 구축하고 데이터 품질을 검증하는 단계 ### 설명 (Description) 배치 처리(Batch Processing) 기반의 ETL 파이프라인을 안내에 따라 구현할 수 있는 단계입니다. 데이터 클렌징(Data Cleansing) 규칙을 적용하여 결측치와 중복을 처리하고, 데이터 웨어하우스에 정형 데이터를 적재합니다. 버전 관리 도구(예: Git)를 사용하여 파이프라인 코드를 관리하며, 기본적인 데이터 품질 검증 쿼리를 작성할 수 있습니다. ### 체크리스트 (Checklist) - [ ] Python 또는 SQL 기반의 배치 ETL 파이프라인을 1개 이상 구축할 수 있다 - [ ] 결측치, 중복, 형식 오류를 감지하고 처리하는 클렌징 로직을 작성할 수 있다 - [ ] 데이터 웨어하우스에 스타 스키마(Star Schema) 또는 스노우플레이크 스키마(Snowflake Schema)로 테이블을 생성할 수 있다 - [ ] 버전 관리 도구(예: Git)를 사용하여 파이프라인 코드를 브랜치별로 관리하고 변경 이력을 추적할 수 있다 - [ ] 적재 후 데이터 건수, 널 비율, 유니크 키 검증 쿼리를 작성하여 품질을 확인할 수 있다 - [ ] 파이프라인 실행 로그를 확인하여 실패 원인을 파악하고 재실행할 수 있다 > 이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Apply 구현(Build) 단계로 진입하여 오케스트레이션 도구를 활용하여 복수의 파이프라인을 스케줄링하고 독립적으로 데이터 모델을 설계하는 데 도전할 준비가 됐습니다. GitLab Career Ladder에 따르면, 파이프라인 구축 후 실행 결과를 관찰하고 반성하여 개선된 설계를 적용하는 순환을 반복하는 것이 효과적입니다. --- ## Level 3 #Orchestration #DataModeling #DataLake #Monitoring ### 요약 (Summary) 오케스트레이션으로 파이프라인을 자동화하고 데이터 모델을 스스로 설계하는 단계 ### 설명 (Description) 워크플로우 오케스트레이션 도구(예: Airflow, Dagster)를 활용하여 파이프라인의 스케줄링, 의존성 관리, 재시도 로직을 구현하는 단계입니다. 차원 모델링(Dimensional Modeling) 기법을 적용하여 분석용 데이터 모델을 설계하고, 데이터 레이크에 비정형 데이터를 저장·관리합니다. 모니터링 대시보드를 구성하여 파이프라인 상태를 추적하며, 일상적인 운영 이슈를 독립적으로 해결합니다. ### 체크리스트 (Checklist) - [ ] 오케스트레이션 도구(예: Airflow, Dagster)로 3개 이상의 DAG를 작성하고 스케줄링할 수 있다 - [ ] 팩트 테이블(Fact Table)과 디멘전 테이블(Dimension Table)을 구분하여 분석용 데이터 모델을 설계할 수 있다 - [ ] 데이터 레이크에 Parquet, ORC 등 컬럼 기반 파일 형식으로 데이터를 저장하고 조회할 수 있다 - [ ] 파이프라인 실패 시 알림을 설정하고 자동 재시도 로직을 구현할 수 있다 - [ ] Slowly Changing Dimension(SCD) Type 1과 Type 2의 차이를 설명하고 적절한 방식을 적용할 수 있다 - [ ] 데이터 리니지(Data Lineage)를 문서화하여 소스에서 최종 테이블까지의 흐름을 추적할 수 있다 - [ ] 모니터링 대시보드를 구성하여 파이프라인 성공률, 처리 시간, 데이터 건수 추이를 시각화할 수 있다 > 이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Advise 설계(Architect) 단계로 진입하여 실시간 스트리밍 처리와 스키마 진화 관리, 비용 최적화까지 아우르는 고급 파이프라인 설계에 도전할 준비가 됐습니다. SFIA 8의 역량 수준 체계에 따르면, 현재 독립적으로 구현 가능한 수준보다 한 단계 높은 데이터 모델링이나 오케스트레이션 과제를 시니어 엔지니어의 리뷰와 함께 수행하는 것을 권장합니다. --- ## Level 4 #StreamProcessing #SchemaEvolution #CostOptimization #CI-CD ### 요약 (Summary) 실시간 스트리밍 파이프라인을 설계하고 스키마 진화를 관리하는 단계 ### 설명 (Description) 배치 처리를 넘어 실시간 스트리밍(예: Kafka, Flink) 파이프라인을 설계·구현하는 단계입니다. 스키마 진화(Schema Evolution) 전략을 수립하여 하위 호환성을 유지하면서 데이터 구조를 변경합니다. CI/CD 파이프라인을 통해 데이터 파이프라인의 테스트와 배포를 자동화하고, 클라우드 환경에서의 비용 최적화를 주도합니다. Google Cloud Professional Data Engineer 수준의 역량에 해당합니다. ### 체크리스트 (Checklist) - [ ] 메시지 브로커(예: Kafka, Kinesis)를 활용한 실시간 스트리밍 파이프라인을 구축할 수 있다 - [ ] 스키마 레지스트리(Schema Registry)를 운영하고 호환성 규칙(backward, forward)을 적용할 수 있다 - [ ] 데이터 파이프라인에 대한 단위 테스트와 통합 테스트를 CI/CD에 포함하여 자동 실행할 수 있다 - [ ] 파티셔닝(Partitioning), 클러스터링(Clustering) 전략을 적용하여 쿼리 비용을 30% 이상 절감할 수 있다 - [ ] 배치와 스트리밍을 결합한 Lambda 또는 Kappa 아키텍처의 트레이드오프를 분석하고 적합한 방식을 선택할 수 있다 - [ ] 데이터 계약(Data Contract)을 정의하여 프로듀서-컨슈머 간 인터페이스를 명세화할 수 있다 - [ ] 클라우드 리소스 사용량을 모니터링하고 월간 비용 리포트를 작성하여 최적화 방안을 제안할 수 있다 > 이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Initiate 전략(Strategize) 단계로 진입하여 팀 수준의 데이터 플랫폼을 설계하고 데이터 거버넌스 체계를 수립하며 주니어 엔지니어를 멘토링하는 데 도전할 준비가 됐습니다. Databricks Professional 인증 기준에 따르면, 스트리밍 파이프라인 설계, 스키마 진화 관리, 비용 최적화 같은 특정 약점 영역에 집중적으로 반복 훈련하는 것이 이 전환의 핵심입니다. --- ## Level 5 #DataMesh #Governance #TeamMentoring #PlatformDesign ### 요약 (Summary) 데이터 플랫폼을 설계하고 거버넌스를 수립하며 멘토링으로 팀을 리드하는 단계 ### 설명 (Description) 조직의 데이터 플랫폼 아키텍처를 설계하고, 데이터 메시(Data Mesh)나 데이터 패브릭(Data Fabric) 같은 분산형 아키텍처 패턴의 도입을 주도하는 단계입니다. 데이터 거버넌스(Governance) 정책을 수립하여 품질, 보안, 접근 제어를 체계화하고, 데이터 카탈로그(Data Catalog)를 운영합니다. 주니어-중급 엔지니어를 멘토링하고 팀의 기술적 의사결정을 이끕니다. ### 체크리스트 (Checklist) - [ ] 데이터 메시 또는 데이터 패브릭 아키텍처의 적용 타당성을 분석하고 도입 계획을 수립할 수 있다 - [ ] 데이터 거버넌스 정책(소유권, 품질 기준, 접근 제어, 보존 주기)을 문서화하고 팀에 적용할 수 있다 - [ ] 데이터 카탈로그를 구축하여 조직 내 데이터 자산을 검색·관리 가능하게 할 수 있다 - [ ] 3명 이상의 주니어/중급 데이터 엔지니어를 멘토링하고 코드 리뷰를 수행할 수 있다 - [ ] 데이터 플랫폼의 SLA(Service Level Agreement)를 정의하고 가용성 99.5% 이상을 유지할 수 있다 - [ ] 기술 부채(Technical Debt)를 평가하고 우선순위를 정하여 분기별 개선 로드맵을 작성할 수 있다 - [ ] 크로스펑셔널 팀(분석, ML, 프로덕트)과 협업하여 데이터 요구사항을 수렴하고 플랫폼에 반영할 수 있다 - [ ] 파이프라인 모니터링 알림 패턴만으로 데이터 품질 이슈의 원인 카테고리(소스 변경, 스키마 드리프트, 인프라 장애)를 직관적으로 분류할 수 있다 > 이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Influence 표준화(Standardize) 단계로 진입하여 업계 수준의 데이터 전략을 수립하고 산업 표준에 기여하며 조직 간 영향력을 행사하는 데 도전할 준비가 됐습니다. DAMA-DMBOK에 따르면, 데이터 플랫폼 설계와 거버넌스 수립 과정에서 설계 가정을 지속적으로 검증하는 반성적 실천이 효과적입니다. --- ## Level 6 #DAMA-DMBOK #DataStrategy #ComplianceArchitecture #GDPR ### 요약 (Summary) 업계 데이터 전략을 수립하고 사고 리더십으로 산업 표준에 기여하는 단계 ### 설명 (Description) 조직을 넘어 산업 전체에 영향을 미치는 데이터 전략을 수립하는 단계입니다. 데이터 엔지니어링 관련 컨퍼런스에서 발표하거나 기술 블로그를 통해 사고 리더십(Thought Leadership)을 발휘합니다. 업계 표준 프레임워크의 발전에 기여하고, 대규모 조직의 데이터 인프라 현대화를 이끌며, 규제 대응과 컴플라이언스(Compliance) 전략을 주도합니다. ### 체크리스트 (Checklist) - [ ] 조직의 3개년 데이터 전략 로드맵을 수립하고 경영진에 보고하여 승인받을 수 있다 - [ ] 데이터 엔지니어링 관련 컨퍼런스에서 발표하거나 기술 논문을 2편 이상 발행할 수 있다 - [ ] GDPR, 개인정보보호법 등 데이터 규제 요구사항을 파이프라인 설계에 반영하고 감사 대응 체계를 구축할 수 있다 - [ ] 100명 이상 규모 조직의 데이터 인프라 현대화(레거시 마이그레이션) 프로젝트를 총괄할 수 있다 - [ ] 업계 표준 프레임워크(SFIA, DAMA DMBOK 등)의 개정이나 확장에 피드백을 제출할 수 있다 - [ ] 스키마 변경이 하류 소비자에게 미치는 영향을 사전에 분석하고, 데이터 계약을 통해 호환성을 보장하는 프로세스를 수립할 수 있다 - [ ] 데이터 파이프라인의 비용-성능 트레이드오프를 정량적으로 분석하고, 비용 최적화와 SLA 준수를 동시에 달성하는 설계를 제안할 수 있다 > 이 체크리스트를 대부분 달성했다면, 숙련도 모델의 Set Strategy 선도(Pioneer) 단계로 진입하여 데이터 엔지니어링 분야의 새로운 패러다임을 창시하고 후대에 영향을 미치는 유산을 남기는 데 도전할 준비가 됐습니다. SFIA 8의 Set Strategy 수준에 따르면, 데이터 전략과 컴플라이언스 아키텍처의 기저 가정 자체를 재검토하여 산업 표준을 개선하는 학습이 효과적입니다. --- ## Level 7 #ApacheFoundation #DataParadigm #OpenSourceFramework ### 요약 (Summary) 새로운 데이터 처리 패러다임을 창시하고 후대에 유산을 남기는 단계 ### 설명 (Description) 데이터 엔지니어링의 역사에 기여하는 단계입니다. 널리 채택되는 오픈소스 프레임워크를 창시하거나, 데이터 처리의 새로운 패러다임(MapReduce, 데이터 메시 등)을 제안하여 업계 전체의 방향을 전환합니다. 학술 연구와 산업 실무를 연결하는 가교 역할을 하며, 차세대 데이터 엔지니어를 양성하는 교육 체계를 구축합니다. ### 체크리스트 (Checklist) - [ ] 1,000개 이상의 조직에서 채택한 오픈소스 데이터 프레임워크나 도구를 창시하거나 핵심 기여할 수 있다 - [ ] 데이터 처리의 새로운 아키텍처 패턴이나 방법론을 제안하고 업계에서 인용·채택되게 할 수 있다 - [ ] 데이터 엔지니어링 분야의 교과서나 레퍼런스 가이드를 저술하여 교육기관에서 채택되게 할 수 있다 - [ ] 국제 표준화 기구나 주요 재단(Apache, Linux Foundation 등)에서 기술 방향을 결정하는 역할을 수행할 수 있다 - [ ] 100명 이상의 데이터 엔지니어를 직·간접적으로 양성한 교육 프로그램을 설계·운영할 수 있다 - [ ] 조직 차원의 데이터 메시 거버넌스(도메인 소유권, 셀프서브 플랫폼, 데이터 제품 품질 기준)를 설계하고 운영한 사례가 있다 > 이 체크리스트를 대부분 달성했다면, 데이터 엔지니어링의 최전선에서 기술 생태계의 방향을 결정하고 후대에 영향을 미치는 유산을 남기는 단계에 있습니다. SFIA 8의 Set Strategy를 넘어선 수준으로, 새로운 데이터 처리 패러다임이나 오픈소스 프레임워크를 설계하는 것이 이 레벨의 핵심입니다. --- ## 참고 자료 (References) - [SFIA 8 — Data Engineering Skill Definition (Levels 2-6)](https://sfia-online.org/en/sfia-8/skills/data-engineering) — SFIA Foundation - [GitLab Data Engineer Career Ladder (Junior → Principal)](https://handbook.gitlab.com/job-families/marketing/enterprise-data/data-engineer/) — GitLab - [Google Cloud Professional Data Engineer Certification](https://cloud.google.com/learn/certification/data-engineer) — Google Cloud - [DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)](https://dama.org/learning-resources/dama-data-management-body-of-knowledge-dmbok/) — DAMA International - [What About the Data? A Mapping Study on Data Engineering for AI Systems (CAIN 2024)](https://arxiv.org/abs/2402.05156) — IEEE/ACM CAIN Conference