데이터 엔지니어링/Databricks
[Databricks] Change of Capture / Auto loader
스키마 정의일단 정적인 스키마를 적용하려면 스키마부터 정의하고 진행해야 한다또한 작은 파일들을 최적화하기 위해서 spark.conf.set을 적용한다from pyspark.sql.functions import *from pyspark.sql.types import *spark.conf.set("spark.databricks.delta.properties.defaults.autoOptimize.optimizeWrite", "true")spark.conf.set("spark.databricks.delta.properties.defaults.autoOptimize.autoCompact", "true")spark.conf.set("spark.databricks.delta.preview.enabled", "tru..
2023. 12. 30. 18:42