데이터 히스토리북 (Data History Book)

Intro 2024년을 맞아 Data Tech Service Team에서 Data Architecture으로 팀 이동을 하게 됐다. 그동안 관심이 있었던 AWS 인프라 일에 참여할 수 있는 계기가 주어졌고, 경험해볼 수 있는 일의 범위가 넓어지게 되면서 AWS Solution Architect 자격증을 이 기회에 따볼까 싶었다. Architecture에 관심이 있다는 것을 보여주기 위해서 빠르게 따려고 Professtional보다 Asso를 신청하게 됐다. 공부한 시간은 약 3주정도 였으며 클라우드 회사에 다니다보니, 금방 딸 수 있을거라고 생각했다. 준비 기간 ( 약 3주 ) 실제로 AWS ML - Specialty를 취득할때도 examtopics의 도움을 많이 받은 까닭에 examtopics만 집..

Upbit 실시간 비트 코인 데이터를 Kafka Producer로 부터 Consumer로 보내고 Mysql DB에 적재한 뒤 한 시간 한번 실행하는 Schedule는 Airflow 스케줄로 배치하는 Pipeline구축 🛠️ 사용 기술 및 라이브러리 Pandas AWS S3 Mysql Kafka Airflow 💻 담당한 기능 (AWS, Kafka, Airflow , Mysql) 작업 내용 1. AWS EC2에 kafka, airflow, mysql install 2. pyupbit를 kafka로 연동 3. mysql db에 적재 4.airflow로 1시간마다 배치 스케줄링 설정 🧨 Error mysql.connector.errors.InterfaceError: 2003: Can't connect to My..

Intro Spark 공부를 하면서 업무적으로 기회를 얻으려고 진행한 자격증이였다. 원래 자격증은 한번에 붙는 나였는데 이 자격증은 계속 떨어졌다. 팀장님의 계속적인 바우처 도움이 아니였으면 애초에 포기했었을 자격증이였다. 시험과 답이 모두 영어로 나오기 때문에 영어를 못하는 본인으로써는 조금 난해했던 자격증이였다. 역시 본인이 제일 공부해야하는 언어는 영어 일듯 싶다 ^^ 그래도 계속 도전해보면 언젠가 따겠지 하는 마인드로 밀어붙였더니 고득점으로 합격했다 뭐든지 계속 하다보면 안되는 건 없다 계속 떨어져서 눈치는 많이 봤지만 그래도 합격하게 되면 앞선 과정들은 아무것도 아니라고 생각했다 준비기간 ( 약 2달 ) 이번 자격증은 자격증이 주가 아니였고, 업무를 녹여내게끔 하는 것이 주였다. 따라서 실제로..