데이터 히스토리북 (Data History Book)

SagemakerAWS의 머신러닝 추론 서비스인 sagemaker를 사용할때면 항상 vpc와 subnet은 고려하지 않고 default vpc에서 사용했다.그러나 이번엔 vpc를 만들고 opensearch를 해당 vpc의 private에 두었기 때문에 sagemaker 또한 해당 vpc에 구축해야 했다.만든 후 sagemaker를 열었더니 커널이 pending 되지 않고 노트북도 열리지 않았다.이후 퍼블릭 액세스와 vpc 액세스의 차이를 알게 됐고 지금 생각해보면 당연한 얘긴데, 일 하다보면 항상 숲이 아닌 나무를 보게 되는 것 같다 ..VPC Access vs Internet Access VPC 전용 vpc를 만들면서 vpc내의 public한 서브넷에 sagemaker를 두고 private subne..

Solution Architect Asso를 공부하면서 인프라에 대해 개념을 정리한다.VPN (Virtual Private Network: 가상 사설망)VPN은 한글로 풀어 쓰자면, 가상사설망이라고 한다.예를 들어, 유투브 뮤직을 사용할때 한국의 사용망은 너무 비싸서 사용하는 지역을사용망이 싼 터키나 아르헨티나로 바꾸는 경우가 있는데, 그 경우라고 생각하면 쉽다.네트워크가 구성되어있고 그 네트워크를 분리하고 싶을때 가상사설망 vpn을 사용한다고 한다. 실제로는 네트워크A와 네트워크B가 동일한 네트워크상에 있지만, 각자 다른 네트워크인 것처럼 작동하는 것이라고 생각하면 된다.VPC (Virtual Private Cloud: 가상 사설 네트워크)VPC란, 퍼블릭 클라우드 환경에서 사용할 수 있는 가상 사설 ..

Private VpcPrivate vpc는 흔히 고객 관리형 VPC라고 할 수 있으며 오늘은 고객의 VPC에서 Databricks 작업 영역을 만들어 볼것이다.https://docs.databricks.com/en/administration-guide/cloud-configurations/aws/customer-managed-vpc.html Databricks documentation docs.databricks.com 기본적으로 데이터브릭스는 클라우드 위에서 존재하기 때문에, 클러스터 생성과 스토리지 또한 클라우드 위에존재한다는 것을 알아야 한다.우선, 데이터브릭스 작업영역을 만들기 위해서 3가지 차례로 진행하면 되는데,1. 자격증명구성2. 저장소 구성3. 네트워크 구성이다.1. 자격 증명 구성 iam..