Source / Target 으로 분리해서 구축서로 다른 계정을 가진 S3끼리 CLI로 쉽게 개체를 복사하는 방법을 소개하려고 한다.우선, Target에 있는 계정에서 정책을 생성한다.{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetObject" ], "Resource": [ "arn:aws:", "arn:aws:/*" ] }, ..

SagemakerAWS의 머신러닝 추론 서비스인 sagemaker를 사용할때면 항상 vpc와 subnet은 고려하지 않고 default vpc에서 사용했다.그러나 이번엔 vpc를 만들고 opensearch를 해당 vpc의 private에 두었기 때문에 sagemaker 또한 해당 vpc에 구축해야 했다.만든 후 sagemaker를 열었더니 커널이 pending 되지 않고 노트북도 열리지 않았다.이후 퍼블릭 액세스와 vpc 액세스의 차이를 알게 됐고 지금 생각해보면 당연한 얘긴데, 일 하다보면 항상 숲이 아닌 나무를 보게 되는 것 같다 ..VPC Access vs Internet Access VPC 전용 vpc를 만들면서 vpc내의 public한 서브넷에 sagemaker를 두고 private subne..

Antropic Sonnet / Haiqu의 Model issue ModelErrorException: An error occurred (ModelErrorException) when calling the InvokeModel operation: The system encountered an unexpected error during processing. Try your request again. Trouble shooting Antropic의 Sonnet과 haiqu를 사용할 때 간헐적으로 모델 이슈 에러가 발생하였다. 당시 구글링을 시도할때 Invoke-endpoint의 에러들에 대한 해결방법만 존재했고 ModelErrorException에 관한 내용은 없었다. 따라서 저 에러가 난 경우, Try ..

Intro 오픈서치 인덱스 세팅 중 파라미터 값을 변경해야할때, 아래와 같은 오류 메시지가 띄고, 변경이 되질 않는다. [illegal_argument_exception] Can't update non dynamic settings [[index.analysis.analyzer.my_filter.filter]] for open indices [[my-index/[...]]] 이 때는 해당 인덱스를 Close한 후, 파라미터를 다시 변경하고, Open을 진행한다 Console Post POST indexName/_close PUT indexName/_settings "settings": { "index.codec": "best_compression" } POST indexName/_open index cl..

사이드 프로젝트를 위해서 ec2에 mysql,kafka,airflow를 설치했다. airflow 설치하는 방법에 대해 기록하려고 한다. python3 를 통해 가상환경 생성 해당 작업만의 패키지를 설치하기 위해 가상환경을 생성하는 작업을 먼저 진행한다. # 가상환경 생성 $ python3 -m venv venv-test-airflow # 가상환경 실행 $ source venv-test-airflow/bin/activate Airflow 설치 $ pip install apache-airflow SQLite 초기화 airflow의 db는 기본으로 sqlite를 쓰고 있으며, db를 초기화 한다 $ airflow db init 유저 계정 생성 # 계정 생성 명령어 (\\ 앞에 띄어쓰기 있어야함) $ airfl..

kafka description 💡 각 DB와 시스템 사이에 kafka를 도입하여 보내는 쪽(producer)과 받는 쪽 (consumer) 신경 쓸 필요 없이 kafka에서 중개역할 수행 controller 각 broker에게 담당 파티션 할당 수행 broker 동작 모니터링 관리 kafka broker (=server) 실행된 Kafka application server를 의미함 producerdprp message를 받아서 offset(consumer에서 메시지를 어디부터 어디까지 읽었는지 저장하는 값) 할당 만약 offset=4 인 경우, offset 0,1,2,3은 메시지를 읽은 것으로 추정 partition내의 한 칸, offset, index apache zookeeper (=message ..

Open ai API 발급 open ai prompt를 사용하기 위해 open ai에 회원가입 후 api 키를 발급받는다. Lambda Layer 람다에서 open ai api를 호출하려면 oepn ai python 패키지를 라이브러리 형태로 람다 layer(라이브러리 집어넣는 장소)에 넣어줘야 한다. ec2 하나 열어서 openai 라이브러리를 설치한다음 라이브러리를 압축한 상태인 zip 형태로 layer에 넣어준다 pip install openai --target Lambda layer Open ai api 호출 함수 시크릿 키를 안전하게 환경변수에 저장한 후 람다 콘솔로 돌아와 함수를 테스트하여 올바르게 작동되는지 확인한다. 이를 통해 나중에 코드를 변경하지 않아도 키를 쉽게 업데이트 할 수 있으..

문제 출처 AWS Kendra Data source 진행 중에 30개의 index 문서 중 27개의 문서만 동기화가 완료됐다. 나머지 일부분에 대해서 Added가 되지 않고 루프가 도는 상황 발생.. 2일 정도 켄드라를 켜놨는데 동기화되는 document가 왔다갔다 하는 현상을 발견했다. 계속 인덱싱이 진행됐고, 원래대로라면 2시간 이내로 인덱싱 작업이 끝났어야 했다. Cloudwatch를 뜯어보니, DocumentFailedToIndex라는 에러가 발생하였고, Failed to process the document because another newer document revision is currently being processed 라는 에러메시지를 확인했다. 다음은 AWS 공식문서에 나와있는 내용..