[EDW] 데이터 이관 - CDC, ETL, ODS

# CDC

실시간으로 원천 데이터의 변경 사항을 감지하여 이관하는작업이 CDC(Change Data Capture)이다.

다양한 방법으로 캡쳐를 진행하나, 로그를 읽어 변경을 반영하는 방법과 통신을 통한 변경이 주로쓰인다.

현업에서 CDC란 용어는 실시간데이터가 반영된 EDW 그 자체를 칭하기도 한다.

 

 

# ETL

그리고 데이터를 이관하기위해 추출, 변환, 적재라는 일련의 과정을 거치는데 이를 ETL이라고 한다. 

ETL 도구로는 SSIS(MS-SQL), ODI(Orcle), ESF 등이 있다.

 

# ODS

현재는 ODS가 staging과 같은의미로 1차적인 데이터 수집공간(temporary)으로 표현되곤한다.

EDW로 이관을 위한 중간단계 데이터로, 원천데이터의 복사본으로 사용한다.