데이터 엔지니어링/Databricks 검색 결과

9 개의 검색 결과가 있습니다.

데이터 엔지니어링/Databricks

Hive Metastore vs Unity Catalog 차이

데이터브릭스 플랫폼에서 개발하면서 데이터를 담고있는 공간의 차이가 궁금해졌다.엔지니어를 하다보면 데이터브릭스에서 유니티 카탈로그(Unity Catalog)라는 단어가 계속 나오는데, 유니티 카탈로그 외의 하이브메타스토어는 유니티카탈로그가 아닌건가?에 대해서 의문이 들었다. 일단,  Unity Catalog와 Hive Metastore 둘다 메타데이터 등 데이터를 관리하는 데 사용되는 도구이지만 차이점은 명확히 있다.Unity Catalog는 Databricks에서 제공하는 데이터를 관리하는 기능으로, 클라우드에서 데이터를 일관성 있게 관리하고 접근을 세밀하게 제어할 수 있도록 설계되었다. AWS, Azure 등의 다양한 클라우드 환경을 지원하므로 멀티 클라우드에서 데이터를 활용하려는 경우 유용하다.Hiv..

2024. 11. 5. 21:31

데이터 엔지니어링/Databricks

[Databricks] Delta Live Table 이란?

델타 라이브 테이블 (Delta Live Table)오늘은 데이터 파이프라인을 간편하게 실행 할 수 있는 델타 라이브 테이블을 설명하고자 한다.DLT란 델타 라이브 테이블이라고 말하며, 스트리밍 및 배치 ETL 방식을 처리할 수 있도록 지원하며 데이터 브릭스에서 제공하는 기능으로, 데이터 파이프라인을 개발 할 수 있는 자동화 서비스이다.  DLT로 처리 시 작업 오케스트레이션, 클러스터 관리, 모니터링, 데이터 품질 및 오류 처리 등을 자동으로 처리할 수 있다.데이터브릭스에서 델타 라이브 테이블을 사용하려면 dlt 라이브러리를 사용하면 되며, 시작하기 위해서는 델타 라이브 테이블의 파이프라인을 우선 생성해주어야 한다.- 파이프라인 실행 모드는 trigger와 continuous로 구분된다.> trigge..

2024. 6. 2. 18:41

데이터 엔지니어링/Databricks

[Databricks] dbutils.widget을 사용하여 데이터 검증 수행하기

Databricks를 사용하여 테이블 컬럼 별로 검증 수행하기데이터 엔지니어라 함은 데이터 마이그레이션도 중요하지만, 정합성 검증 또한 중요하다.이번 블로그에 작성할 내용은 데이터브릭스에서 정합성 검증을 진행했던 경험에 대해서 작성해보려고 한다.데이터브릭스는 데이터 분석가와 엔지니어, 데이터 싸이언티스트들이 머신러닝 작업이나 ETL작업을 쉽게 공간을 공유해서 사용할 수 있는 데이터 플랫폼이다. 파라미터 변수들을 동적으로 받아와서 진행할 수 있는데, Databricks에서는 dbutils.widgets기능을 제공한다.사용자가 파라미터에 입력을 해서 데이터베이스와 테이블을 지정하면, 해당 테이블을 자동으로 리프레쉬되어 테이블을 읽는다.따라서 코드를 전부 작성한 뒤, 위젯에 파라미터를 넣기만 하면 각 테이블이..

2024. 5. 27. 21:00

데이터 엔지니어링/Databricks

[Databirkcs] Cli로 Workspace to local file system으로 file 옮기기

워크스페이스 정리를 위해 작업공간을 dbc로 내려받으려 했으나(ui환경에서) 10메가 초과로 내려받을 수 없게 됐다. 확인해보니, 노트북 환경에서는 spark.display() 나 그래프 or 데이터들이 같이 보여지기 때문에 https의 용량을 많이 잡아먹는 것 같다. 따라서 cli 환경으로 데이터브릭스 디렉터리를 로컬로 받는 것을 택했다. databricks workspace export_dir --help Databricks documentation docs.databricks.com 브릭스 공식문서를 보니, cli 환경에서 아래의 디렉토리를 주면 로컬로 다운받을 수 있는 것을 확인했다. databricks workspace export_dir --overwrite /Users/someone@exam..

2024. 1. 15. 15:17

데이터 엔지니어링/Databricks

[Databricks] Change of Capture / Auto loader

스키마 정의일단 정적인 스키마를 적용하려면 스키마부터 정의하고 진행해야 한다또한 작은 파일들을 최적화하기 위해서 spark.conf.set을 적용한다from pyspark.sql.functions import *from pyspark.sql.types import *spark.conf.set("spark.databricks.delta.properties.defaults.autoOptimize.optimizeWrite", "true")spark.conf.set("spark.databricks.delta.properties.defaults.autoOptimize.autoCompact", "true")spark.conf.set("spark.databricks.delta.preview.enabled", "tru..

2023. 12. 30. 18:42

데이터 엔지니어링/Databricks

[Databricks] Private VPC 생성하기 (with AWS Cloud)

Private VpcPrivate vpc는 흔히 고객 관리형 VPC라고 할 수 있으며 오늘은 고객의 VPC에서 Databricks 작업 영역을 만들어 볼것이다.https://docs.databricks.com/en/administration-guide/cloud-configurations/aws/customer-managed-vpc.html Databricks documentation docs.databricks.com 기본적으로 데이터브릭스는 클라우드 위에서 존재하기 때문에, 클러스터 생성과 스토리지 또한 클라우드 위에존재한다는 것을 알아야 한다.우선, 데이터브릭스 작업영역을 만들기 위해서 3가지 차례로 진행하면 되는데,1. 자격증명구성2. 저장소 구성3. 네트워크 구성이다.1. 자격 증명 구성 iam..

2023. 12. 19. 23:40

데이터 엔지니어링/Databricks

[Databricks] Change data capture (CDC) Option

CDC란?데이터 베이스 즉 DB에 대한 변경 내용을 식별하여 데이터에서 일어난 변경된 사실을 자동화로 적용해주는 기술이자 실시간으로 데이터 웨어하우스 및 기타 데이터 저장소에서 일어나는 데이터에 대해서 변경 부분을 캡쳐하는 식을 이야기한다.Databricks에서 Auto Loader를 사용Databricks와 S3 Mount1. Iam에 s3 mount 권한 부여{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListBucket" ], "Resource": [ ..

2023. 12. 3. 23:33

데이터 엔지니어링/Databricks

[Databricks] jdbc connect

Northwind.mdb를 databricks와 jdbc로 연결 jdbc:ucanaccess는 Microsoft Access 데이터베이스에 jdbc 를 통해 연결하기 위한 URL 스키마 중 하나 ucanaccess.jar , 외 2개 총 4개의 jar 다운로드 후 클러스터 라이브러리에 설치 mdb를 dbfs에 수동 load한다 [mdb는 별도로 user, password 정보 필요없음] import org.apache.spark.sql.jdbc.{JdbcDialect, JdbcDialects} case object MSAccessJdbcDialect extends JdbcDialect { override def canHandle(url: String): Boolean = url.startsWith("jd..

2023. 11. 11. 15:54

데이터 엔지니어링/Databricks

[Databricks] from Kafka to Databricks migration

카프카란? 각 DB와 시스템 사이에 kafka를 도입하여 보내는 쪽(producer)과 받는 쪽 (consumer) 신경 쓸 필요 없이 kafka에서 중개역할 수행 controller 각 broker에게 담당 파티션 할당 수행 broker 동작 모니터링 관리 kafka broker (=server) 실행된 Kafka application server를 의미함 producerdprp message를 받아서 offset 할당 apache zookeeper (=message 관리자) 여러 대의 broker를 중재하고 연결하는 역할 데이터 연계 시 broker에게 데이터를 전달하는 코디네이터 역할을 수행함 broker의 메타 데이터 저장 및 공유 데이터를 주고받기 위해 사용되는 Java library kakfa..

2023. 11. 11. 15:31