전체 글 검색 결과

72 개의 검색 결과가 있습니다.

데이터 엔지니어링/AWS

[ELK] Elastic Search (1)

Elastic Search모든 데이터를 JSON의 도큐먼트 형식으로 입력 및 관리를 할 수 있으며,문자, 숫자, 날짜, IP주소 등 다양한 타입을 사용할 수 있는 검색 및 분석 엔진이다.Elastic Search는 Rest API를 사용해서 데이터를 조회하고 수정하고 삽입, 삭제가 가능Elastic SearchRelational DBCRUDGETSelectReadPUTUpdateUpdatePOSTInsertCreateDELETEDeleteDeleteElastic SearchRelational DBIndexDatabaseTypeTableDocumentRawFieldColumnubuntu elastic search installUpdate 후 새 Repository 추가하는데 필요한 종속성 설치sudo ap..

2023. 11. 11. 16:20

데이터 엔지니어링/Databricks

[Databricks] jdbc connect

Northwind.mdb를 databricks와 jdbc로 연결 jdbc:ucanaccess는 Microsoft Access 데이터베이스에 jdbc 를 통해 연결하기 위한 URL 스키마 중 하나 ucanaccess.jar , 외 2개 총 4개의 jar 다운로드 후 클러스터 라이브러리에 설치 mdb를 dbfs에 수동 load한다 [mdb는 별도로 user, password 정보 필요없음] import org.apache.spark.sql.jdbc.{JdbcDialect, JdbcDialects} case object MSAccessJdbcDialect extends JdbcDialect { override def canHandle(url: String): Boolean = url.startsWith("jd..

2023. 11. 11. 15:54

데이터 엔지니어링/AWS

[AWS] S3 to RDS

PostgreSQL DB RDS로 Amazon S3 데이터 가져오기 Amazon S3를 RDS for PostgreSQL DB 인스턴스와 함께 사용하려면 먼저 aws_s3 확장을 설치해야함 RDS ⇒ RDB (row 기반) S3 ⇒ parquet (columns 기반) 정책 생성 ```sql aws iam create-policy ^ --policy-name rds-s3-import-policy ^ --policy-document '{ "Version": "2012-10-17", "Statement": [ { "Sid": "s3import", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Effect": "Allow", "Resource": [ "arn:aws:s3..

2023. 11. 11. 15:40

데이터 엔지니어링/AWS

[AWS] S3 with Cloudformation

💡 AWS 리소스(EC2 instance, RDS DB instance)의 템플릿을 생성하면 cloudformation이 해당 리소스의 프로비저닝과 구성을 담당하며 AWS 리소스를 개별적으로 생성하고 구성할 필요가 없음 템플릿 및 스택으로 작업 템플릿(json or yaml)을 생성하여 aws 리소스와 해당 속성에 대해 설명하며, 스택 생성할때마다 템플릿에 설명된 리소스를 프로비저닝함 cloudformation → S3 yaml AWSTemplateFormatVersion: "2010-09-09" Parameters: MyBucketName: Type: String Description: Enter the bucket name Default: create-bucket-cfn Resources: MyS3B..

2023. 11. 11. 15:37

데이터 엔지니어링/Databricks

[Databricks] from Kafka to Databricks migration

카프카란? 각 DB와 시스템 사이에 kafka를 도입하여 보내는 쪽(producer)과 받는 쪽 (consumer) 신경 쓸 필요 없이 kafka에서 중개역할 수행 controller 각 broker에게 담당 파티션 할당 수행 broker 동작 모니터링 관리 kafka broker (=server) 실행된 Kafka application server를 의미함 producerdprp message를 받아서 offset 할당 apache zookeeper (=message 관리자) 여러 대의 broker를 중재하고 연결하는 역할 데이터 연계 시 broker에게 데이터를 전달하는 코디네이터 역할을 수행함 broker의 메타 데이터 저장 및 공유 데이터를 주고받기 위해 사용되는 Java library kakfa..

2023. 11. 11. 15:31

데이터 엔지니어링/Python

[Python] Python에서 Emoji를 text로 바꾸는 Code

Emoji Remove Python code에서 Emoji를 찾아 제거하는 방법을 작성한다. 정규표현식(Regular Expressions) re.compile은 패턴 객체를 반환하는 메서드 !pip install emoji import emoji import re emoji_pattern = re.compile("[" u"\U0001F600-\U0001F64F" # 이모지 아스키코드 u"\U0001F300-\U0001F5FF" # 기호 및 그림 문자 u"\U0001F680-\U0001F6FF" # 교통 및 지도 기호 u"\U0001F700-\U0001F77F" # 알파벳 표현을 다양한 스타일로 표현 u"\U0001F780-\U0001F7FF" # 도형과 모양 포함 u"\U0001F800-\U0001F8..

2023. 11. 9. 00:24

알쓸신잡/Common

MAC OS / 개발 환경으로 Django 세팅하기 (Terminal)

터미널로 장고 설치 및 시작하기 1. Django 프로젝트 디렉토리 생성하기터미널을 띄우고 디렉토리를 생성합니다. mkdir djangoPrj012. 가상환경 만들기디렉토리가 생성된 후, 생성된 디렉토리로 이동cd djangoPrj01폴더를 확인합니다.ls가상환경 이름으로 venv01로 지정합니다.python3 -m venv venv01폴더를 확인합니다.lsvenv01 폴더로 이동합니다cd venv01폴더를 또 확인하니 vin / include / lib / pyvenv.cfg 이 나옵니다.cd ..상위 폴더 즉 , djangoPrj01로 갑니다.3. 가상환경을 만들었으니 활성화를 시킵니다.source venv01/bin/activate4. 장고를 설치합니다pip install django5. 장고 설..

2022. 8. 17. 19:29

데이터 엔지니어링/Python

Sigmoid vs Softmax 함수 정리

(1) sigmoidSigmoid 함수는 모든 범위의 실수를 취하고 0에서 1 사이의 출력 값을 반환합니다. 시그모이드 함수는 "S" 형태의 포함될 커브를 생성합니다. 시그모이드는 이진분류에서 사용되는 함수입니다.   1) 양수 및 0에 수렴 : 숫자가 0보다 크거나 같은 경우   2) 음수 및 0에 수렴 : 숫자가 0보다 작거나 같은 경우시그모이드 함수 사용1) 로지스틱 회귀 모델에서 이진 분류에 사용되는 시그모이드 함수.2) Activation function 기능으로 사용 xvals = np.arange(-5,5,0.0001)def sigmoid(x): return 1/ (1+np.exp(-x)) yvals = sigmoid(xvals)plt.plot(xvals,yvals)plt.grid..

2022. 6. 30. 17:24

데이터 엔지니어링/Python

MinMaxScaler & StandardScaler

StandardScaler는 각 열의 feature 값의 평균을 0으로 잡고, 표준편차를 1로 간주하여 정규화시키는 방법입니다# 'f5'컬럼을 표준화(Standardization (Z-score Normalization))from sklearn.preprocessing import StandardScalerscaler = StandardScaler()df['f5']=scaler.fit_transform(df[['f5']]) Scaler를 import한 뒤, 데이터셋을 fit_transform시켜주시면 됩니다.MinMaxScaler는 각 feature의 최솟값과 최댓값을 기준으로 0~1 구간 내에 균등하게 값을 배정하는 정규화 방법입니다.# 라이브러리 불러오기import pandas as pdfrom sk..

2022. 6. 9. 00:36

데이터 엔지니어링/Python

[Python] FacetGrid, map, function, etc

# 다양한 범주형 값을 가지는 데이터를 시각화하는데 좋은 방법=FacetGrid# 생존 여부(Survived)에 따른 연령(Age) 분포S = sns.FacetGrid(train, col='Survived')S.map(plt.hist,'Age',bins=15)# 다양한 범주형 값을 가지는 데이터를 시각화하는데 좋은 방법=FacetGridplt.show()S의 파생변수를 생성한 뒤 Seaborn의 FacetGrid를 사용하여 시각화 진행Map 함수를 사용 # map() 함수는 두번째 인자로 넘어온 데이터가 담고 있는 모든 데이터에 변환 함수를 적용하여 다른 형태의 데이터를 반환# 성별(Sex) 변수를 숫자 범주형 변수로 바꿔줌Sex_mapping = {'male':1, 'female':2}for datas..

2022. 6. 6. 18:23

DB/SQL

[SQL] 데이터 분석 기초 Where 절 : AND, OR, NOT, IN, LIKE, IS NULL, IS NOT NULL

WHERE 절 특정 조건을 불러오고 싶을 때 쓰는 쿼리입니다 비교연산자 between A and B like - ➡️ 1개 문자 % ➡️ 0개 이상 문자 is null, is not null in and, or, not > and가 or 보다 우선순위가 더 높다 select = 사원번호, 급여, 직업을 출력해주세요. from = 사원테이블에서 where = 급여가 3000이여야 합니다. select ename, sal, job from emp where sal=3000; 두 값 범위를 이용해서 조회할때 between a and b : a,b 모두 포함 ( 문자나 날짜에만 사용 ) select ename, sal from emp where sal between 1000 and 3000; LIKE 연산자 =..

2022. 4. 20. 00:31

알쓸신잡/Common

Oracle 설치 및 테스트 계정

노션에만 정리하지 않고 블로그에도 올려놓는 것이 모두에게 도움이 될 것 같아 공유합니다.SQL의 강습은 모두 끝났으니 조금씩 내용 정리하면서 복습하겠습니다 :) 1. SQL 다운로드 방법 SQL Oracle Downloadoracle 18c enterprise edition / sql developer windown 64-bit jdk 8 included 2개 다운로드https://www.oracle.com/database/technologies/xe18c-downloads.html > oracle 18c enterprise editionhttps://www.oracle.com/tools/downloads/sqldev-downloads.html > sql developer windown 64-bit jd..

2022. 4. 15. 00:35