- 광고 상품 카탈로그 개선 프로젝트 (Facebook, Criteo, Google) - 사용 기술 - Python, Airflow, Athena, Glue, PostgreSQL - 목적 - 광고 효율 증대을 위한 카탈로그 연동 주기 개선 및 리드 타임 감소 - 채널별로 구축되어 있는 기존 레거시 Node.js 파이프라인을 Airflow를 이용하여 통폐합 - 성과 - Airflow를 이용하여 카탈로그 연동을 위한 공통 파이프라인 구축 및 SLA 개선 - 기존 대비 카탈로그 생성에 소요되는 시간이 최대 90% 감소 - Terraform을 통하여 필요한 AWS 리소스(Athena, glue, S3) 전개- 유저 이벤트 수집 파이프라인 구축 - 사용 기술 - Python, FastAPI, Kafka, Kafka Connect, KEDA - 목적 - 발란 내에서 발생하는 유저 이벤트 수집 및 분석을 위한 API 서버 및 파이프라인 구축 - 성과 - 일 평균 500만건 이상의 이벤트를 처리 - Prometheus 와 KEDA 를 이용하여 RPS를 기반으로 API 서버를 오토스케일링 - 테스트 코드 작성- Kafka Connect를 통한 CDC 구현 - 사용 기술 - Kafka, Kafka Connect, MongoDB, Helm - 목적 - 실시간 데이터 분석 및 이벤트 처리를 위한 인프라 구축 - 배치 작업으로 인해 DB 부하가 급증하는 것을 방지 - 휴먼 에러로 인한 이벤트 발생 누락 방지 - 성과 - 일 평균 900만건 이상의 이벤트를 처리 - 평균적으로 1초 이내에 이벤트 생성 - Prometheus, Grafana를 이용하여 모니터링 대시보드 구축- 통합 SKU 개선 프로젝트 - 사용 기술 - Python, FastAPI, Kafka, Kafka Connect, KEDA - 목적 - 브랜드 별 상품의 고유한 값이 sku를 상품의 정보로 부터 추출하여, 동일한 상품끼리 묶어 사용자들에게 가격비교 등을 제공할 수 있는 통합 SKU 프로젝트에 실시간 파이프라인 도입을 통한 리드 타임 감소 및 부하 감소 - 성과 - 일 평균 300만건 처리 - Kafka Connect를 사용하여 신규 또는 특정 필드가 변경된 상품을 선별하여 기존 대비 60% 정도 부하 감소 - 실시간 처리 파이프라인을 구축하여 기존 배치 작업 대비 업데이트까지 소요되는 시간 99% 개선