이전에 취득했던 Databricks Engineer Associate가 있었지만, 올해 okr에 신규 certificate 취득이 있기 때문에 Databricks Professional 자격증을 취득하는 것은 언젠가 취득해야만 했었던 과정이였다.영어로 시험을 봐야하기 때문에 결코 쉽지만은 않았지만, 그 과정은 매우 보람찼고 새로운 개념에 대해서 많이 알게 되었다.이번 글에서는 내가 이 자격증을 준비하면서 겪었던 경험과, 이를 준비하는 사람들에게 도움이 될 수 있는 팁들을 공유하고자 한다.왜 Databricks Professional 자격증을 선택했는가?데이터 분석과 엔지니어링의 중요성이 나날이 커지면서 Databricks는 이러한 분야에서 핵심적인 플랫폼으로 자리 잡고 있다. 특히 클라우드 기반에서 손쉽..

Intro 2024년을 맞아 Data Tech Service Team에서 Data Architecture으로 팀 이동을 하게 됐다. 그동안 관심이 있었던 AWS 인프라 일에 참여할 수 있는 계기가 주어졌고, 경험해볼 수 있는 일의 범위가 넓어지게 되면서 AWS Solution Architect 자격증을 이 기회에 따볼까 싶었다. Architecture에 관심이 있다는 것을 보여주기 위해서 빠르게 따려고 Professtional보다 Asso를 신청하게 됐다. 공부한 시간은 약 3주정도 였으며 클라우드 회사에 다니다보니, 금방 딸 수 있을거라고 생각했다. 준비 기간 ( 약 3주 ) 실제로 AWS ML - Specialty를 취득할때도 examtopics의 도움을 많이 받은 까닭에 examtopics만 집..

Upbit 실시간 비트 코인 데이터를 Kafka Producer로 부터 Consumer로 보내고 Mysql DB에 적재한 뒤 한 시간 한번 실행하는 Schedule는 Airflow 스케줄로 배치하는 Pipeline구축 🛠️ 사용 기술 및 라이브러리 Pandas AWS S3 Mysql Kafka Airflow 💻 담당한 기능 (AWS, Kafka, Airflow , Mysql) 작업 내용 1. AWS EC2에 kafka, airflow, mysql install 2. pyupbit를 kafka로 연동 3. mysql db에 적재 4.airflow로 1시간마다 배치 스케줄링 설정 🧨 Error mysql.connector.errors.InterfaceError: 2003: Can't connect to My..

Intro Spark 공부를 하면서 업무적으로 기회를 얻으려고 진행한 자격증이였다. 원래 자격증은 한번에 붙는 나였는데 이 자격증은 계속 떨어졌다. 팀장님의 계속적인 바우처 도움이 아니였으면 애초에 포기했었을 자격증이였다. 시험과 답이 모두 영어로 나오기 때문에 영어를 못하는 본인으로써는 조금 난해했던 자격증이였다. 역시 본인이 제일 공부해야하는 언어는 영어 일듯 싶다 ^^ 그래도 계속 도전해보면 언젠가 따겠지 하는 마인드로 밀어붙였더니 고득점으로 합격했다 뭐든지 계속 하다보면 안되는 건 없다 계속 떨어져서 눈치는 많이 봤지만 그래도 합격하게 되면 앞선 과정들은 아무것도 아니라고 생각했다 준비기간 ( 약 2달 ) 이번 자격증은 자격증이 주가 아니였고, 업무를 녹여내게끔 하는 것이 주였다. 따라서 실제로..