Elastic Search모든 데이터를 JSON의 도큐먼트 형식으로 입력 및 관리를 할 수 있으며,문자, 숫자, 날짜, IP주소 등 다양한 타입을 사용할 수 있는 검색 및 분석 엔진이다.Elastic Search는 Rest API를 사용해서 데이터를 조회하고 수정하고 삽입, 삭제가 가능Elastic SearchRelational DBCRUDGETSelectReadPUTUpdateUpdatePOSTInsertCreateDELETEDeleteDeleteElastic SearchRelational DBIndexDatabaseTypeTableDocumentRawFieldColumnubuntu elastic search installUpdate 후 새 Repository 추가하는데 필요한 종속성 설치sudo ap..

Northwind.mdb를 databricks와 jdbc로 연결 jdbc:ucanaccess는 Microsoft Access 데이터베이스에 jdbc 를 통해 연결하기 위한 URL 스키마 중 하나 ucanaccess.jar , 외 2개 총 4개의 jar 다운로드 후 클러스터 라이브러리에 설치 mdb를 dbfs에 수동 load한다 [mdb는 별도로 user, password 정보 필요없음] import org.apache.spark.sql.jdbc.{JdbcDialect, JdbcDialects} case object MSAccessJdbcDialect extends JdbcDialect { override def canHandle(url: String): Boolean = url.startsWith("jd..

PostgreSQL DB RDS로 Amazon S3 데이터 가져오기 Amazon S3를 RDS for PostgreSQL DB 인스턴스와 함께 사용하려면 먼저 aws_s3 확장을 설치해야함 RDS ⇒ RDB (row 기반) S3 ⇒ parquet (columns 기반) 정책 생성 ```sql aws iam create-policy ^ --policy-name rds-s3-import-policy ^ --policy-document '{ "Version": "2012-10-17", "Statement": [ { "Sid": "s3import", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Effect": "Allow", "Resource": [ "arn:aws:s3..

💡 AWS 리소스(EC2 instance, RDS DB instance)의 템플릿을 생성하면 cloudformation이 해당 리소스의 프로비저닝과 구성을 담당하며 AWS 리소스를 개별적으로 생성하고 구성할 필요가 없음 템플릿 및 스택으로 작업 템플릿(json or yaml)을 생성하여 aws 리소스와 해당 속성에 대해 설명하며, 스택 생성할때마다 템플릿에 설명된 리소스를 프로비저닝함 cloudformation → S3 yaml AWSTemplateFormatVersion: "2010-09-09" Parameters: MyBucketName: Type: String Description: Enter the bucket name Default: create-bucket-cfn Resources: MyS3B..

카프카란? 각 DB와 시스템 사이에 kafka를 도입하여 보내는 쪽(producer)과 받는 쪽 (consumer) 신경 쓸 필요 없이 kafka에서 중개역할 수행 controller 각 broker에게 담당 파티션 할당 수행 broker 동작 모니터링 관리 kafka broker (=server) 실행된 Kafka application server를 의미함 producerdprp message를 받아서 offset 할당 apache zookeeper (=message 관리자) 여러 대의 broker를 중재하고 연결하는 역할 데이터 연계 시 broker에게 데이터를 전달하는 코디네이터 역할을 수행함 broker의 메타 데이터 저장 및 공유 데이터를 주고받기 위해 사용되는 Java library kakfa..

Emoji Remove Python code에서 Emoji를 찾아 제거하는 방법을 작성한다. 정규표현식(Regular Expressions) re.compile은 패턴 객체를 반환하는 메서드 !pip install emoji import emoji import re emoji_pattern = re.compile("[" u"\U0001F600-\U0001F64F" # 이모지 아스키코드 u"\U0001F300-\U0001F5FF" # 기호 및 그림 문자 u"\U0001F680-\U0001F6FF" # 교통 및 지도 기호 u"\U0001F700-\U0001F77F" # 알파벳 표현을 다양한 스타일로 표현 u"\U0001F780-\U0001F7FF" # 도형과 모양 포함 u"\U0001F800-\U0001F8..

터미널로 장고 설치 및 시작하기 1. Django 프로젝트 디렉토리 생성하기터미널을 띄우고 디렉토리를 생성합니다. mkdir djangoPrj012. 가상환경 만들기디렉토리가 생성된 후, 생성된 디렉토리로 이동cd djangoPrj01폴더를 확인합니다.ls가상환경 이름으로 venv01로 지정합니다.python3 -m venv venv01폴더를 확인합니다.lsvenv01 폴더로 이동합니다cd venv01폴더를 또 확인하니 vin / include / lib / pyvenv.cfg 이 나옵니다.cd ..상위 폴더 즉 , djangoPrj01로 갑니다.3. 가상환경을 만들었으니 활성화를 시킵니다.source venv01/bin/activate4. 장고를 설치합니다pip install django5. 장고 설..

(1) sigmoidSigmoid 함수는 모든 범위의 실수를 취하고 0에서 1 사이의 출력 값을 반환합니다. 시그모이드 함수는 "S" 형태의 포함될 커브를 생성합니다. 시그모이드는 이진분류에서 사용되는 함수입니다.   1) 양수 및 0에 수렴 : 숫자가 0보다 크거나 같은 경우   2) 음수 및 0에 수렴 : 숫자가 0보다 작거나 같은 경우시그모이드 함수 사용1) 로지스틱 회귀 모델에서 이진 분류에 사용되는 시그모이드 함수.2) Activation function 기능으로 사용 xvals = np.arange(-5,5,0.0001)def sigmoid(x): return 1/ (1+np.exp(-x)) yvals = sigmoid(xvals)plt.plot(xvals,yvals)plt.grid..