전체 플로우

1. 데이터 팀에서 만들어 놓은 meta 데이터들을 가공하여 타겟팅에 필요한 dimension 리스트를 만들어 s3에 파일 형식으로 떨군다. (databircks)

   

2. 위에 만들 파일을 spring batch를 통해 파일을 읽어온 후, 뷰스왑 방식을 통해서 데이터를 밀어 넣는다

• 뷰 스왑 방식
  • 메타성으로 매일 신규 테이블을 생성 (ex_cash_note_dimension_250827)
  • 신규 테이블로 뷰 정의만 교체,
  • 서비스는 항상 동일한 뷰(cash_note_dimensions_view)명을 조회하지만 백엔드는 최신 버전 테이블을 바라봄.
• es에서 index를 만들고 alias를 변경하는 구조와 동일하게 가져간다고 보면됨

• MySQL/RDS의 DDL은 암묵 커밋이지만, 뷰 교체 자체가 순간적·원자적이라 안전

✅ 결과

• 무중단 차원 데이터 전환(View-Swap) 도입으로 일일 적재 시 서비스 중단 없음, 장애 시 수초 내 롤백 가능(이전 버전으로 즉시 스왑).
• 대용량 적재 성능 개선: 빈 버전 테이블 벌크 적재, 적재 중 락/슬로우 쿼리 이슈 없음
• 운영 탄력성: A/B 검증·데이터 diff 후 활성화 프로세스 정착.
• 스케일: 일일 [수천만~1억+ 행] 스냅샷 생성·검증·활성화 파이프라인 운영(Spring Batch, Flyway, RDS/MySQL 8, Kotlin/JDBC).

기술 키워드: MySQL 8(RDS), Spring Batch, Kotlin, Flyway, JDBC, 인덱스 설계, 데이터 검증(카운트/NULL/중복), 관찰성(메타 버전 로그), 무중단 배포

• 실제 테이블 구조는 조금더 복잡합니다.