playdata/weekly 16

[플레이데이터 데이터 엔지니어링 캠프 32기] 17주차 회고

https://soojin1.tistory.com/31 17주차 : Day 1 (10/28)지금까지 배웠던 시스템(airflow, ngnix 등)을 docker로 수행해본다고 하셨다.먼저 Ngnix  먼저 httpd 디렉토리 내에 Dockerfile은 아래와 같이 작성했다.$ vi httpd/DockerfileFROM httpd:2.4 참고로 httpd 이미지를soojin1.tistory.comhttps://soojin1.tistory.com/32 17주차 : Day 2 (10/29)오류 찾기아래 repo 의 docker 설정의 오류를 잡아 보세요.https://github.com/dMario24/k1s_err GitHub - dMario24/k1s_errContribute to dMario24/k1s_..

playdata/weekly 2024.11.03

[플레이데이터 데이터 엔지니어링 캠프 32기] 15주차 회고

Greeting spring boot동작□ 아래와 같이 동작하는 서비스 만들기□ 아래와 같이 입력한 값을 기억하고 있다가 계속 화면에 출력하기□ 똑같이 동작하는 fastAPI 만들기□ Pepole.java 를 만들기 Pepole 은 num(int), name(String) 속성을 갖고 있음□ greeting.html num, name 같이 출력□ 입력받은 이름(영어로) -> Min,Kim,Park 처럼 첫 문자가 대문자로 표현되도록 나는 intellij 사용했다.먼저 아래와 같이 프로젝트를 생성해주었다.  우선 연결이 되는지 테스트하는 방법이다.resources -> static 경로에 index.html 파일을 생성하고 아래와 같이 내용을 구성했다. GreetingApplication을 실행하고 loc..

playdata/weekly 2024.10.20

[플레이데이터 데이터 엔지니어링 캠프 32기] 14주차 회고

https://soojin1.tistory.com/27 project 3. AI Control System ( AI 관제 시스템 )목적임의의 ML 및 DL 모델에 대한 서비스를 관리 제어 하는 내부 관리 프로그램streamlit 을 통해 관리 화면을 html css js 없이 python 만으로 생성관리화면은 예측 결과에 대한 검토 및 잘못된 예측에soojin1.tistory.com 이번 주 회고는 프로젝트 회고로 대체하겠습니달

playdata/weekly 2024.10.14

[플레이데이터 데이터 엔지니어링 캠프 32기] 13주차 회고

✏️ 학습내용 ▶ 에어플로우와 데이터베이스 백엔드  Bitnami PostgreSQL 스택은 PostgreSQL 데이터베이스 서버를 쉽게 설치하고 실행할 수 있도록 Bitnami에서 제공하는 패키지입니다. 이 스택은 PostgreSQL 데이터베이스 뿐만 아니라, 이를 사용하기 위해 필요한 기본적인 설정과 다양한 유틸리티들을 포함하고 있어, 사용자가 PostgreSQL 환경을 쉽게 설정할 수 있도록 돕습니다.  $ docker pull postgres:12$ docker run -d -e POSTGRES_DB=airflow_db \-e POSTGRES_USER=airflow_user \-e POSTGRES_PASSWORD=airflow_pass \--name airpg \-p 15432:5432 \post..

playdata/weekly 2024.10.06

[플레이데이터 데이터 엔지니어링 캠프 32기] 12주차 회고

https://soojin1.tistory.com/20 12주차 : Day 1 (9/23)지지난주, 로컬에 csv 파일로 저장하는 부분까지 끝마쳤다. 그 다음 단계이다. csv 영구 저장□ docker volume내가 만들고 있는 FastAPI  프로그램은 Docker image기반으로 제공되는데, 그 특성상 프로그램soojin1.tistory.comhttps://soojin1.tistory.com/21> /var/log/worker.log 2>&1 ml-work-cronjob" data-og-host="soojin1.tistory.com" data-og-source-url="https://soojin1.tistory.com/21" data-og-url="https://soojin1.tistory.com..

playdata/weekly 2024.09.30

[플레이데이터 데이터 엔지니어링 캠프 32기] 10주차 회고

✏️ 학습내용DAY 1 10주차 - Day 1(9/9)회귀- 클래스 중 하나로 분류하는 것이 아니라 임의의 어떤 “숫자”를 예측하는 문제- K-NN Regression : 주변의 가장 가까운 K개의 샘플을 통해 값을 예측하는 방식이다. import numpy as npperch_length = npsoojin1.tistory.comDAY 2,3 10주차 : Day 2,3 (9/10,11)전체적인 프로세스는 length를 입력하면 LinearRegression에 의해 weight를 리턴하고, length와 weight를 입력하면 Knn에 의해 물고기 종류를 출력하게 된다.  먼저 어제 만든 LinearRegression 모델을 pkl 파일로soojin1.tistory.comDAY 4,5 10주차 : Day..

playdata/weekly 2024.09.23

[플레이데이터 데이터 엔지니어링 캠프 32기] 9주차 회고

✏️ 학습내용 1. pip install을 나의 git url로 변경한다.기존의 절대 경로는 문제가 될 수도 있다. (사용자의 로컬에는 같은 경로가 아닐 수도 있기 때문에)도커파일을 수정해준다.#RUN pip install --no-cache-dir --upgrade -r /code/requirements.txtRUN pip install git+https:// 이미지 파일을 빌드하고 실행시킨 후, 컨테이너에 접속하여 pip list를 수행했는데, fishmlserv가 0.7.0 버전이었다.$ docker build -t fishmlserv:0.7.6 .$ docker run -d -p 7799:8080 --name fml076 fishmlserv:0.7.6$ docker exec -it fml070 b..

playdata/weekly 2024.09.09

[플레이데이터 데이터 엔지니어링 캠프 32기] 8주차 회고

✏️ 학습내용1. FirebaseFirebase는 구글에서 제공하는 백엔드 서비스 플랫폼으로, 주로 웹, iOS, Android 앱 개발에서 사용됩니다. [NVM 설치]$ curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.0/install.sh | bash$ source ~/.zshrcNVM(Node Version Manager)은 여러 버전의 Node.js를 관리할 수 있게 해주는 도구입니다. $ nvm install 20# 설치 확인$ node -v$ npm -vNode.js 20번 버전을 설치합니다. [Firebase CLI 설치]$ npm install -g firebase-toolsFirebase CLI는 Firebase 프로젝트를 관리하..

playdata/weekly 2024.09.01

[플레이데이터 데이터 엔지니어링 캠프 32기] 7주차 회고

✏️ 학습내용 오늘의 팁- 이력서에 너무 많은 스택은 못미더움ㅎ- 필요에 따라 중복코드 있어도 된다. -> 배포관점으로 코드 작성해보기 저번 주 숙제 내용에서 딕셔너리 안 딕셔너리 안 딕셔너리 안 .. 이런 데이터를 이중 for 문 으로 처리했었다.오늘은 이런 데이터를 flat하게 만드는 작업을 했다. 먼저 샘플데이터로 연습.%spark.pysparkdata = [ ("1", '{"name": "John Doe", "age": 30}'), ("2", '{"city": "New York", "country": "USA", "zipcode": "10001"}'), ("3", '{"product": "Laptop", "brand": "Dell", "specs": {"RAM": "16GB", "..

playdata/weekly 2024.08.24