본문 바로가기

Data Engineering/Cloud

[AWS] S3 to RDS

PostgreSQL DB RDS로 Amazon S3 데이터 가져오기

Amazon S3를 RDS for PostgreSQL DB 인스턴스와 함께 사용하려면 먼저 aws_s3 확장을 설치해야함

  • RDS ⇒ RDB (row 기반)
  • S3 ⇒ parquet (columns 기반)

  1. 정책 생성
```sql
    aws iam create-policy ^
       --policy-name rds-s3-import-policy ^
       --policy-document '{
         "Version": "2012-10-17",
         "Statement": [
           {
             "Sid": "s3import",
             "Action": [
               "s3:GetObject",
               "s3:ListBucket"
             ], 
             "Effect": "Allow",
             "Resource": [
               "arn:aws:s3:::your-s3-bucket", 
               "arn:aws:s3:::your-s3-bucket/*"
             ] 
           }
         ] 
       }'
    ```

 

2.역할 생성

  1. RDS에 role 구성 추가

  1. dbeaver postgresql연결

보안규칙에 반드시 포트 열어줘야함

반응형

'Data Engineering > Cloud' 카테고리의 다른 글

[AWS] Boto3로 S3 연결  (0) 2023.11.14
[ELK스택] Elastic Search (3)  (0) 2023.11.11
[ELK스택] Elastic Search (2)  (0) 2023.11.11
[ELK스택] Elastic Search (1)  (0) 2023.11.11
[AWS] S3 with Cloudformation  (0) 2023.11.11