데이터 엔지니어링/Databricks
[Databricks] Change data capture (CDC) Option
CDC란?데이터 베이스 즉 DB에 대한 변경 내용을 식별하여 데이터에서 일어난 변경된 사실을 자동화로 적용해주는 기술이자 실시간으로 데이터 웨어하우스 및 기타 데이터 저장소에서 일어나는 데이터에 대해서 변경 부분을 캡쳐하는 식을 이야기한다.Databricks에서 Auto Loader를 사용Databricks와 S3 Mount1. Iam에 s3 mount 권한 부여{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListBucket" ], "Resource": [ ..
2023. 12. 3. 23:33