데이터 히스토리북 (Data History Book)

SagemakerAWS의 머신러닝 추론 서비스인 sagemaker를 사용할때면 항상 vpc와 subnet은 고려하지 않고 default vpc에서 사용했다.그러나 이번엔 vpc를 만들고 opensearch를 해당 vpc의 private에 두었기 때문에 sagemaker 또한 해당 vpc에 구축해야 했다.만든 후 sagemaker를 열었더니 커널이 pending 되지 않고 노트북도 열리지 않았다.이후 퍼블릭 액세스와 vpc 액세스의 차이를 알게 됐고 지금 생각해보면 당연한 얘긴데, 일 하다보면 항상 숲이 아닌 나무를 보게 되는 것 같다 ..VPC Access vs Internet Access VPC 전용 vpc를 만들면서 vpc내의 public한 서브넷에 sagemaker를 두고 private subne..

Antropic Sonnet / Haiqu의 Model issue ModelErrorException: An error occurred (ModelErrorException) when calling the InvokeModel operation: The system encountered an unexpected error during processing. Try your request again. Trouble shooting Antropic의 Sonnet과 haiqu를 사용할 때 간헐적으로 모델 이슈 에러가 발생하였다. 당시 구글링을 시도할때 Invoke-endpoint의 에러들에 대한 해결방법만 존재했고 ModelErrorException에 관한 내용은 없었다. 따라서 저 에러가 난 경우, Try ..

Intro 2024년을 맞아 Data Tech Service Team에서 Data Architecture으로 팀 이동을 하게 됐다. 그동안 관심이 있었던 AWS 인프라 일에 참여할 수 있는 계기가 주어졌고, 경험해볼 수 있는 일의 범위가 넓어지게 되면서 AWS Solution Architect 자격증을 이 기회에 따볼까 싶었다. Architecture에 관심이 있다는 것을 보여주기 위해서 빠르게 따려고 Professtional보다 Asso를 신청하게 됐다. 공부한 시간은 약 3주정도 였으며 클라우드 회사에 다니다보니, 금방 딸 수 있을거라고 생각했다. 준비 기간 ( 약 3주 ) 실제로 AWS ML - Specialty를 취득할때도 examtopics의 도움을 많이 받은 까닭에 examtopics만 집..