데이터 엔지니어링/AWS 검색 결과

18 개의 검색 결과가 있습니다.

데이터 엔지니어링/AWS

[Opensearch] Index setting 중 Keyword vs Text의 차이

이번 글에서는 Elasticsearch에서 자주 사용되는 keyword 타입과 text 타입에 대해 설명드리겠습니다. 1. keyword 타입먼저 keyword 타입은 정확한 값 검색에 적합합니다.예를 들어, 이메일 주소나 고유 ID, 국가 코드와 같은 것들이 이에 해당합니다.keyword 타입은 텍스트를 그대로 저장하고 분석하지 않기 때문에, 입력한 값 그대로 저장됩니다.즉, 대소문자 구분도 하고 공백도 그대로 유지됩니다. 또한 필터링,집계, 정렬인 Aggregation에 최적화 되어 있습니다. 예시 매핑:{ "properties": { "email": { "type": "keyword" } }} 장점: • 정확하게 문자 일치 검색이 가능하고, 집계나 필터링 속도가 빠릅니다. •..

2025. 3. 27. 19:48

데이터 엔지니어링/AWS

[AWS] S3 다른 계정간의 Bucket 개체 복사하기

Source / Target 으로 분리해서 구축서로 다른 계정을 가진 S3끼리 CLI로 쉽게 개체를 복사하는 방법을 소개하려고 한다.우선, Target에 있는 계정에서 정책을 생성한다.{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetObject" ], "Resource": [ "arn:aws:", "arn:aws:/*" ] }, ..

2024. 4. 29. 21:47

데이터 엔지니어링/AWS

[AWS] Sagemaker Internet access / VPC access 차이

SagemakerAWS의 머신러닝 추론 서비스인 sagemaker를 사용할때면 항상 vpc와 subnet은 고려하지 않고 default vpc에서 사용했다.그러나 이번엔 vpc를 만들고 opensearch를 해당 vpc의 private에 두었기 때문에 sagemaker 또한 해당 vpc에 구축해야 했다.만든 후 sagemaker를 열었더니 커널이 pending 되지 않고 노트북도 열리지 않았다.이후 퍼블릭 액세스와 vpc 액세스의 차이를 알게 됐고 지금 생각해보면 당연한 얘긴데, 일 하다보면 항상 숲이 아닌 나무를 보게 되는 것 같다 ..VPC Access vs Internet Access VPC 전용 vpc를 만들면서 vpc내의 public한 서브넷에 sagemaker를 두고 private subne..

2024. 4. 28. 17:09

데이터 엔지니어링/AWS

[AWS] TroubleShooting Bedrock InvokeModel Error

Antropic Sonnet / Haiqu의 Model issueModelErrorException: An error occurred (ModelErrorException) when calling the InvokeModel operation: The system encountered an unexpected error during processing. Try your request again.Trouble shootingAntropic의 Sonnet과 haiqu를 사용할 때 간헐적으로 모델 이슈 에러가 발생하였다.당시 구글링을 시도할때 Invoke-endpoint의 에러들에 대한 해결방법만 존재했고 ModelErrorException에 관한 내용은 없었다.따라서 저 에러가 난 경우, Try your r..

2024. 4. 12. 15:41

데이터 엔지니어링/AWS

[AWS] Can't update non dynamic settings [[index.analysis]] for open indices

Intro 오픈서치 인덱스 세팅 중 파라미터 값을 변경해야할때, 아래와 같은 오류 메시지가 띄고, 변경이 되질 않는다. [illegal_argument_exception] Can't update non dynamic settings [[index.analysis.analyzer.my_filter.filter]] for open indices [[my-index/[...]]] 이 때는 해당 인덱스를 Close한 후, 파라미터를 다시 변경하고, Open을 진행한다 Console Post POST indexName/_close PUT indexName/_settings "settings": { "index.codec": "best_compression" } POST indexName/_open index cl..

2024. 2. 27. 14:19

데이터 엔지니어링/AWS

[AWS] EC2에 Airflow 설치하는 방법

사이드 프로젝트를 위해서 ec2에 mysql,kafka,airflow를 설치했다.airflow 설치하는 방법에 대해 기록하려고 한다.python3 를 통해 가상환경 생성해당 작업만의 패키지를 설치하기 위해 가상환경을 생성하는 작업을 먼저 진행한다.# 가상환경 생성$ python3 -m venv venv-test-airflow# 가상환경 실행$ source venv-test-airflow/bin/activateAirflow 설치$ pip install apache-airflowSQLite 초기화airflow의 db는 기본으로 sqlite를 쓰고 있으며, db를 초기화 한다$ airflow db init유저 계정 생성# 계정 생성 명령어 (\\ 앞에 띄어쓰기 있어야함)$ airflow users create..

2024. 1. 15. 10:24

데이터 엔지니어링/AWS

[AWS] EC2에 kafka 설치하는 방법

kafka description💡 각 DB와 시스템 사이에 kafka를 도입하여 보내는 쪽(producer)과 받는 쪽 (consumer) 신경 쓸 필요 없이 kafka에서 중개역할 수행controller각 broker에게 담당 파티션 할당 수행broker 동작 모니터링 관리kafka broker (=server)실행된 Kafka application server를 의미함producerdprp message를 받아서 offset(consumer에서 메시지를 어디부터 어디까지 읽었는지 저장하는 값) 할당만약 offset=4 인 경우, offset 0,1,2,3은 메시지를 읽은 것으로 추정partition내의 한 칸, offset, indexapache zookeeper (=message 관리자)여러 대의..

2023. 12. 27. 01:36

데이터 엔지니어링/AWS

[AWS] Lambda를 통해 Open Ai Api 호출하여 시각화 결과 저장

Open ai API 발급 open ai prompt를 사용하기 위해 open ai에 회원가입 후 api 키를 발급받는다. Lambda Layer 람다에서 open ai api를 호출하려면 oepn ai python 패키지를 라이브러리 형태로 람다 layer(라이브러리 집어넣는 장소)에 넣어줘야 한다. ec2 하나 열어서 openai 라이브러리를 설치한다음 라이브러리를 압축한 상태인 zip 형태로 layer에 넣어준다 pip install openai --target Lambda layer Open ai api 호출 함수 시크릿 키를 안전하게 환경변수에 저장한 후 람다 콘솔로 돌아와 함수를 테스트하여 올바르게 작동되는지 확인한다. 이를 통해 나중에 코드를 변경하지 않아도 키를 쉽게 업데이트 할 수 있으..

2023. 12. 11. 09:54

데이터 엔지니어링/AWS

[AWS] Troubleshooting Kendra indexing Error

문제 출처 AWS Kendra Data source 진행 중에 30개의 index 문서 중 27개의 문서만 동기화가 완료됐다. 나머지 일부분에 대해서 Added가 되지 않고 루프가 도는 상황 발생.. 2일 정도 켄드라를 켜놨는데 동기화되는 document가 왔다갔다 하는 현상을 발견했다. 계속 인덱싱이 진행됐고, 원래대로라면 2시간 이내로 인덱싱 작업이 끝났어야 했다. Cloudwatch를 뜯어보니, DocumentFailedToIndex라는 에러가 발생하였고, Failed to process the document because another newer document revision is currently being processed 라는 에러메시지를 확인했다. 다음은 AWS 공식문서에 나와있는 내용..

2023. 12. 8. 11:31

데이터 엔지니어링/AWS

[AWS] RDS(MYSQL)에서 DMS를 사용하여 Databricks로 Migration하기

데이터의 변경된 내용을 자동으로 식별하기 위해서 Change Data Capture(CDC)의 기술을 접목할 것이다. 데이터 브릭스로 CDC를 진행할때는 어떤 방식으로 이루어지는 알아보자. 사용한 서비스 : AWS의 DMS, AWS RDS(MYSQL),Databricks(Spark) 1. RDS 생성 DB는 Mysql을 생성해서 사용했다. 비용효율적으로 EC2에 mysql을 설치해서 사용해도 되지만, RDS를 사용해본 적이 없기에, CDC를 통해서 겸사겸사 진행했다. 또한 프리티어를 사용해서 Amazon RDS 단일 AZ(개발자용) db.t2 micro 인스턴스는 750시간 무료로 사용할 수 있다고 하니 클라우드 환경에서 DB를 사용할때 생성하면 좋을 듯 싶다. 주의 : 버스터블 클래스인 t로 선택을 ..

2023. 12. 4. 09:38

데이터 엔지니어링/AWS

[AWS] EC2(ubuntu)에서 postgreSQL 설치하기

다음 프로젝트에서 쓰이고 있는 DB가 PostgreSQL이라고 해서 EC2 우분투에 postgresql을 설치했던 경험을 정리하였습니다. 개발 환경 - Ubuntu 22.04.2 LTS ver - Postgresql 14 ver 설치 $ sudo apt-get update $ sudo apt-get install postgresql postgresql-contrib # 패키지 등록 sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list. d/pgdg.list' # GPG Key add wget --quiet -O - https://www.postgresq..

2023. 11. 27. 16:55

데이터 엔지니어링/AWS

[AWS] Claude2 token counting

Langchain의 callbacks으로 묶으려고 하니까 OpenAI의 자연어 처리 API를 사용하는 것으로 확인이 되어 token을 count할 수 없었다 현재 사용하고 있는 llm은 aws의 claude2기 때문에, open ai와 맞지 않아 구글링 해본 결과 여러 개를 테스트해볼 수 있었다 1토큰 당 처리되는 글자가 언어에 따라 달라진다는 점. 영어의 경우 4글자당 1개 토큰을 사용하는 반면 한글은 1글자당 2~3개의 토큰을 사용한다. 챗GPT 최대 입력 글자 수로 계산했을 때 영어는 1만 5384자이나 한글은 1365자에 불과하다라고 한다. callback을 시도하려했으나 오류발생 ImportError: cannot import name 'ChainManagerMixin' from 'langcha..

2023. 11. 20. 15:31

데이터 엔지니어링/AWS

[AWS] Boto3로 S3 연결

Boto3를 이용해서 S3 객체와 연동하여 데이터를 적재할 때 업로드를 직접하지 않아도 됨 import pandas as pd import warnings import boto3 import io from io import BytesIO import json warnings.filterwarnings("ignore") def s3_read(s3_path): s3 = boto3.client('s3',region_name='ap-northeast-2') bucket = s3_path.split('//')[1].split('/')[0] file_key = '/'.join(s3_path.split('/')[3:]) response = s3.get_object(Bucket=bucket, Key=file_key) ..

2023. 11. 14. 22:43

데이터 엔지니어링/AWS

[ELK] Elastic Search (3)

Metric Aggregation산술 aggregation{ "size" : 0, "aggs" : { "stats_score" : { "stats" : { "field" : "points" } } }}curl -XGET -H'Content-Type: application/json' localhost:9200/_search?pretty --data-binary @avg_points_aggs.jsonAVG(평균)MAX (최대값)status : count/ min / max / avg / sum => aggregation이 다 나올 수 있는 코드Bucket aggregationSQL Gro..

2023. 11. 11. 16:52

데이터 엔지니어링/AWS

[ELK] Elastic Search (2)

Elastic Search (1) 에서 json file로부터 document를 생성했기 때문에 아래의 코드 실행시 에러 발생함curl -XPOST http://localhost:9200/classes/class/1/_update -d ' {"doc" : {"unit":1}}' Elasticsearch 6.0 이후 버전에 도입된 엄격한 content-type 확인으로 인해서 아래의 코드가 추가되어야함curl -XPOST http://localhost:9200/classes/class/1/_update?pretty -H'Content-Type: application/json' -d'{ "doc" : {"unit" : 4} } 'unit 4로 변경 확인Update One Field With Scriptcur..

2023. 11. 11. 16:46