Data Engineer

직무소개CJ올리브영의 온·오프라인 옴니채널 비즈니스에서 발생하는 방대한 데이터를 통합하고, 비즈니스 가치를 창출하는 데이터 플랫폼을 구축합니다.단순한 데이터 통합을 넘어, Kafka 기반 실시간 스트리밍과 대용량 배치 처리가 결합된 하이브리드 환경을 운영하며,Apache Iceberg 중심의 레이크하우스(Lakehouse) 아키텍처를 통해 데이터 거버넌스와 성능을 동시에 확보하는 역할을 수행합니다. 하이브리드 데이터 파이프라인 설계 및 고도화Kafka 및 CDC 기술 기반의 저지연 실시간 스트리밍과 Spark 기반 대용량 배치 처리 시스템 설계/개발Apache Airflow를 활용한 워크플로우 자동화 및 전략적 스케줄링 체계 확립Apache Iceberg 기반 레이크하우스 구축을 통한 통합 저장 및 관리 체계 구현 데이터 수집 체계 구축 및 텍소노미(Taxonomy) 표준화대규모 고객 행동 로그 실시간 수집 및 효율적인 ETL/ELT 프로세스 설계데이터 텍소노미 체계 수립 및 운영으로 전사 데이터의 일관성 및 거버넌스 강화 데이터 품질 관리 및 성능 최적화파이프라인 병목 구간 정의 및 컴퓨팅 리소스 최적화로 효율성 극대화데이터 정합성 검증 루틴 구축을 통한 높은 데이터 신뢰도 유지 데이터 모델링 및 분석 지원분석 목적별 데이터 마트 설계 및 다차원 데이터 모델링 수행비즈니스 핵심 지표(KPI) 정의 및 데이터 시각화 지원을 통한 인사이트 도출 가속화요구경험 및 역량5년 이상의 데이터 엔지니어링 실무 경험을 보유하신 분클라우드 환경(AWS, GCP 등) 기반의 대규모 데이터 파이프라인 설계 및 ETL/ELT 구축·운영 역량을 갖추신 분Kafka 생태계(Core, Connect, Streams)에 대한 깊은 이해와 대용량 클러스터 운영, 그리고 CDC(Debezium, OGG 등)를 활용한 이기종 시스템 간 실시간 데이터 동기화 경험이 있으신 분Spark, Flink 등 분산 처리 프레임워크를 활용하여 대용량 로그 및 스트리밍 데이터 처리 파이프라인을 직접 구현할 수 있는 분Apache Iceberg, Hudi, Delta Lake 등 최신 Table Format을 활용한 데이터 레이크하우스(Lakehouse) 아키텍처 구축 및 운영 경험이 있으신 분Python, SQL, Airflow를 능숙하게 활용하여 데이터 워크플로우를 자동화하고 효율적인 데이터 마트를 설계할 수 있는 분RestAPI 기반의 Bulk 데이터 수집 및 전송 시스템 개발 경험이 있으신 분복잡한 데이터 흐름과 아키텍처를 명확하게 시각화하고, 전사의 다양한 이해관계자들과 원활하게 협업할 수 있는 논리적인 커뮤니케이션 능력을 갖추신 분우대사항Spark, Flink 등 대용량/실시간 처리를 위한 분산/병렬 시스템 개발 경험 있으신 분비즈니스 도메인 지식을 빠르게 이해하고, 데이터 기반 의사결정을 위한 데이터 엔지니어링 경험이 있으신 분데이터 정합성보장 및 파이프라인 효율성을 높이기 위한 개선 경험이 있으신 분OGG/Debezium 등 CDC 툴을 활용해 이기종 시스템 간 실시간 동기화 문제를 해결해 본 분데이터 거버넌스 및 메타데이터 관리에 대한 이해도가 높으신 분AWS, Google Clould 등 퍼블릭 클라우드 플랫폼 기반 데이터 인프라 구축 경험 있으신 분전형안내서류전형 - 1차 면접 전형(Whiteboard Test/구술) - 온라인 인성검사 - 2차 면접 전형 - 3차 전형(평판조회 및 처우협의) - 건강검진 - 합격지원 및 유의사항채용에 합격하시는 경우 3개월의 수습기간을 적용합니다.직무에 따라 면접 방식 및 전형 프로세스가 변경될 수 있습니다.지원서 내용 중 허위사실이 확인될 경우 채용이 취소될 수 있습니다.CJ계열사(자회사 포함)에 재직 중인 경우 지원이 제한됩니다.전형 불합격 후 6개월 내 동일 공고 재지원은 권장하지 않습니다.2차 면접 합격자에 한하여 평판조회 및 처우협의가 동시 진행되며, 평판조회 결과에 따라 채용 절차가 중단될 수 있습니다.올리브영 채용 블로그에서 더 많은 정보를 확인해 보세요!👉채용블로그 바로가기: https://career.oliveyoung.com👉테크블로그 바로가기: https://oliveyoung.tech