컴퓨터 사이언스 (CS) 검색 결과

8 개의 검색 결과가 있습니다.

컴퓨터 사이언스 (CS)

[Python] nest_asyncio vs ThreadPoolExecutor 사용 비교

요즘 GPT 같은 LLM 모델을 배치로 대량 호출하려면 비동기 처리는 거의 필수다.그런데 파이썬에선 비동기 쪽 선택지가 은근히 많은데 Spark를 사용하다보니 두가지의 동작방식이 헷갈려서 기록해 두려고 한다.nest_asyncioconcurrent.futures.ThreadPoolExecutor이 글에서는 각각의 개념과 실제로 LLM 요청을 병렬로 처리할 때 어떤 차이가 있는지 정리해본다.nest_asyncio — 이벤트 루프 중첩 허용하기파이썬에서 비동기를 쓸 땐 asyncio의 이벤트 루프를 돌려야 한다.이벤트 루프란, 비동기 함수들(async def)을 실행해주는 스케줄러를 말한다.await 걸린 작업들을 기다렸다가 다시 실행해주는 감독 같은 역할을 하는 것이라고 생각하면 된다.이미 이벤트 루프가 ..

2025. 4. 11. 17:30

컴퓨터 사이언스 (CS)/Certificate

Data Engineer Professional 자격증 취득기 : 나의 경험과 팁

이전에 취득했던 Databricks Engineer Associate가 있었지만, 올해 okr에 신규 certificate 취득이 있기 때문에 Databricks Professional 자격증을 취득하는 것은 언젠가 취득해야만 했었던 과정이였다.영어로 시험을 봐야하기 때문에 결코 쉽지만은 않았지만, 그 과정은 매우 보람찼고 새로운 개념에 대해서 많이 알게 되었다.이번 글에서는 내가 이 자격증을 준비하면서 겪었던 경험과, 이를 준비하는 사람들에게 도움이 될 수 있는 팁들을 공유하고자 한다.왜 Databricks Professional 자격증을 선택했는가?데이터 분석과 엔지니어링의 중요성이 나날이 커지면서 Databricks는 이러한 분야에서 핵심적인 플랫폼으로 자리 잡고 있다. 특히 클라우드 기반에서 손쉽..

2024. 9. 28. 17:49

컴퓨터 사이언스 (CS)/Certificate

Solution Architect Associate (AWS) 시험 합격 및 키워드 정리

Intro2024년을 맞아 Data Tech Service Team에서 Data Architecture으로 팀 이동을 하게 됐다.그동안 관심이 있었던 AWS 인프라 일에 참여할 수 있는 계기가 주어졌고, 경험해볼 수 있는 일의 범위가 넓어지게 되면서AWS Solution Architect 자격증을 이 기회에 따볼까 싶었다.Architecture에 관심이 있다는 것을 보여주기 위해서 빠르게 따려고 Professtional보다 Asso를 신청하게 됐다. 공부한 시간은 약 3주정도 였으며 클라우드 회사에 다니다보니, 금방 딸 수 있을거라고 생각했다. 준비 기간 ( 약 3주 )실제로 AWS ML - Specialty를 취득할때도 examtopics의 도움을 많이 받은 까닭에 examtopics만 집중적으로 ..

2024. 2. 25. 16:28

컴퓨터 사이언스 (CS)/Infra

[Network] 서브넷(Subnet), 서브넷팅, 서브넷마스크, CIDR이란?

서브넷서브넷은 하나의 네트워크가 분할되어 나눠진 작은 네트워크를 말하는데, 이를 분할하는 것을 서브네팅이라고 하며서브네팅은 서브넷 마스크를 통하여 수행된다.서브넷마스크서브넷 마스크는 IP주소에서 네트워크와 호스트를 분리하는 역할을 한다.32 비트의 숫자로 0은 호스트, 1은 네트워크 부분을 나타낸다.서브넷의 클래스는 A,B,C클래스로 나뉘어지는데, 각자의 기본 서브넷 마스크는 아래와 같다.A 클래스는 네트워크 영역이 0으로 시작하며 네트워크 영역이 8비트B 클래스는 네트워크 영역이 10으로 시작하며 네트워크 영역이 16비트C 클래스는 네트워크 영역이 110으로 시작하며 네트워크 영역이 24비트다.IP 주소 Class기본 서브넷 마스크A255.0.0.0B255.255.0.0C255.255.255.0서브넷팅..

2024. 2. 16. 11:34

컴퓨터 사이언스 (CS)/Infra

[Network] VPN, VPC, Nat Gateway Infra 개념 정리

Solution Architect Asso를 공부하면서 인프라에 대해 개념을 정리한다.VPN (Virtual Private Network: 가상 사설망)VPN은 한글로 풀어 쓰자면, 가상사설망이라고 한다.예를 들어, 유투브 뮤직을 사용할때 한국의 사용망은 너무 비싸서 사용하는 지역을사용망이 싼 터키나 아르헨티나로 바꾸는 경우가 있는데, 그 경우라고 생각하면 쉽다.네트워크가 구성되어있고 그 네트워크를 분리하고 싶을때 가상사설망 vpn을 사용한다고 한다. 실제로는 네트워크A와 네트워크B가 동일한 네트워크상에 있지만, 각자 다른 네트워크인 것처럼 작동하는 것이라고 생각하면 된다.VPC (Virtual Private Cloud: 가상 사설 네트워크)VPC란, 퍼블릭 클라우드 환경에서 사용할 수 있는 가상 사설 ..

2024. 1. 17. 13:30

컴퓨터 사이언스 (CS)/Toy Project

[Project] Pyupbit ETL 파이프라인 구축

Upbit 실시간 비트 코인 데이터를 Kafka Producer로 부터 Consumer로 보내고 Mysql DB에 적재한 뒤 한 시간 한번 실행하는 Schedule는 Airflow 스케줄로 배치하는 Pipeline구축 🛠️ 사용 기술 및 라이브러리 Pandas AWS S3 Mysql Kafka Airflow 💻 담당한 기능 (AWS, Kafka, Airflow , Mysql) 작업 내용 1. AWS EC2에 kafka, airflow, mysql install 2. pyupbit를 kafka로 연동 3. mysql db에 적재 4.airflow로 1시간마다 배치 스케줄링 설정 🧨 Error mysql.connector.errors.InterfaceError: 2003: Can't connect to My..

2023. 11. 13. 00:29

컴퓨터 사이언스 (CS)/Certificate

Databricks Engineer - Associate 합격 및 키워드 정리

IntroSpark 공부를 하면서 업무적으로 기회를 얻으려고 진행한 자격증이였다. 원래 자격증은 한번에 붙는 나였는데 이 자격증은 계속 떨어졌다.팀장님의 계속적인 바우처 도움이 아니였으면 애초에 포기했었을 자격증이였다. 시험과 답이 모두 영어로 나오기 때문에 영어를 못하는 본인으로써는 조금 난해했던 자격증이였다. 역시 본인이 제일 공부해야하는 언어는 영어 일듯 싶다 ^^그래도 계속 도전해보면 언젠가 따겠지 하는 마인드로 밀어붙였더니 고득점으로 합격했다뭐든지 계속 하다보면 안되는 건 없다 계속 떨어져서 눈치는 많이 봤지만 그래도 합격하게 되면 앞선 과정들은 아무것도 아니라고 생각했다 준비기간 ( 약 2달 )이번 자격증은 자격증이 주가 아니였고, 업무를 녹여내게끔 하는 것이 주였다. 따라서 실제로 코딩하면..

2023. 11. 11. 16:54

컴퓨터 사이언스 (CS)/Infra

[Network] Get, Post 동작 방식에 대한 정리

GetRDB로 치면 Selectget을 통한 요청은 url 주소 끝에 파라미터가 포함되어서 전송이 되는것PostRDB로 치면 Update / Create리소스를 생성하거나 업데이트를 할때 사용되는 메서드이며 전송할 데이터를 HTTP message Body 부분에 담아서 서버로 보내는것get에서의 보여준 "query=get"이 Body부분에 담겨서 보내지는 것이다Get은 서버의 리소스에서 데이터를 조회할때 사용하는 것이며 Post는 서버의 리소스를 새로 생성하거나 업데이트를 할때 사용함참고링크https://noahlogs.tistory.com/35 [네트워크] get 과 post 의 차이GET 과 POST 는 HTTP 메서드로 클라이언트에서 서버로 무언가를 요청할 때 사용한다. 2019/06/01 - [I..

2023. 11. 11. 16:47