Data Engineering/Third Party
2023. 12. 26.
[Spark] Json parsing
spark sql을 사용하여 json의 복잡한 유형을 파싱하고 다루는 방법을 알아보자 spark sql support module pyspark.sql.fuctions from pyspark.sql.functions import * from pyspark.sql.types import * 중첩된 열에 대해 "." 을 사용해서 가지고 올 때 schema 먼저 선언 1. using a Struct schema = StructType().add("a", StructType().add("main", IntegerType())) 2. using a map schema = StructType().add("a", MapType(StringType(), IntegerType())) 중첩된 열에 대해 "*" 를 사용해서..