soojin1 님의 블로그

https://soojin1.tistory.com/20 12주차 : Day 1 (9/23)지지난주, 로컬에 csv 파일로 저장하는 부분까지 끝마쳤다. 그 다음 단계이다. csv 영구 저장□ docker volume내가 만들고 있는 FastAPI  프로그램은 Docker image기반으로 제공되는데, 그 특성상 프로그램soojin1.tistory.comhttps://soojin1.tistory.com/21> /var/log/worker.log 2>&1 ml-work-cronjob" data-og-host="soojin1.tistory.com" data-og-source-url="https://soojin1.tistory.com/21" data-og-url="https://soojin1.tistory.com..

# TODO□ 요청자, 처리자간의 통계 / 불균형(누가 처리에 문제가 있는지 확인) VIEW 추가□ multi pages□ streamlit chart□ Deploy□ docker 1. 요청자, 처리자간의 통계 / 불균형(누가 처리에 문제가 있는지 확인) VIEW 추가이미지 판별기 테스트하면서 수집했던 AWS 서버의 DB에 쌓인 데이터를 활용한다.import streamlit as stimport pandas as pdimport matplotlib.pyplot as pltimport requestsst.title('요청/ 처리 건수 (h)')def load_data(): url = 'http://43.202.66.118:8077/all' r = requests.get(url) d = r..

이미지 파일이 핫도그인지, 아닌지 판별하는 프로그램이다.FastAPI를 사용하여 predict api를 생성한다.$ pdm add fastapi uvicorn$ pip install jinja2  1단계 : 큰 틀 만들기[main.py]서버에 접속하면 이미지 url을 지정해놓은 hotdog , coolcat 사진이 랜덤으로 출력된 화면을 볼 수 있다.return 부분을 보면 "index.html" 파일에 request와 image_url 변수가 전달된다.이 HTML 파일은 public 폴더 안에 있어야한다. 왜냐하면 html = Jinja2Templates(directory="public") 이기 때문에.해당 파일에서 Jinja2 문법을 사용하여 변수를 출력할 수 있다.from typing import ..

□ notebook 위 코드를 worker에 이식하여 예측을 진행- model.py import numpy as npfrom PIL import Imagefrom keras.models import load_modelimport osdef get_model(): # 모델 로드 f = __file__ dir_name = os.path.dirname(f) model_path = os.path.join(dir_name,"mnist240924.keras") model = load_model(model_path) return model# 사용자 이미지 불러오기 및 전처리def preprocess_image(file_path): img = Image.open(file_path)..

crontab학원에서도 하루죙일 했는데....집 와서 또 하루죙일 했다....$ cat pyproject.toml[project.scripts]ml-worker = 'mnist.worker:run'$ cat ml-work-cronjob* * * * * /usr/local/bin/ml-worker >> /var/log/worker.log 2>&1 ml-work-cronjob의 의미는크론 태스크 설정을 매 분마다 /usr/local/bin/ml-worker 스크립트를 실행하고, 그 결과를 /var/log/worker.log 파일에 기록하도록 설정하는 것 이다. 먼저 이해가 안됐던 부분은 /usr/local/bin ,, /var/log,,, >> 갑자기 등장한 낯선 경로들알아본 바로는 PDM 등 패키징 도구를..

지지난주, 로컬에 csv 파일로 저장하는 부분까지 끝마쳤다. 그 다음 단계이다. csv 영구 저장□ docker volume내가 만들고 있는 FastAPI  프로그램은 Docker image기반으로 제공되는데, 그 특성상 프로그램이 종료되면 내부에 저장했던 데이터가 휘발된다. 그 문제를 해결하기 위해 -v 옵션을 사용하는 방법이 있다.로컬 경로와 컨테이너 내부 경로가 연동되어 한 쪽에서 데이터가 생성되거나 삭제되는 경우 반대쪽에서도 같은 이벤트가 발생한다. 도커 이미지가 종료되어 내부 데이터가 휘발되어도, 로컬의 데이터는 삭제되지 않기 때문에 도커 내부 데이터도 휘발되지 않는 구조로 동작할 수 있다.# AWS 서버에서 수행# 연결 경로 생성$ mkdir /home/ubuntu/data/n23# 도커 볼륨..

weekly에 11주차가 없으면 왠지 섭섭할 것 같아 그냥 적기추석 잘 쉬고 왔당 ^___^12주차 열공 !!!

✏️ 학습내용DAY 1 10주차 - Day 1(9/9)회귀- 클래스 중 하나로 분류하는 것이 아니라 임의의 어떤 “숫자”를 예측하는 문제- K-NN Regression : 주변의 가장 가까운 K개의 샘플을 통해 값을 예측하는 방식이다. import numpy as npperch_length = npsoojin1.tistory.comDAY 2,3 10주차 : Day 2,3 (9/10,11)전체적인 프로세스는 length를 입력하면 LinearRegression에 의해 weight를 리턴하고, length와 weight를 입력하면 Knn에 의해 물고기 종류를 출력하게 된다.  먼저 어제 만든 LinearRegression 모델을 pkl 파일로soojin1.tistory.comDAY 4,5 10주차 : Day..

□ 프로젝트 준비$ pdm add fastapi "uvicorn[standard]"# 아래 위치에 index.html 이동 n00 부분 본인 번호로 변경$ mkdir public$ vi public/index.html 음식 이름 입력 음식 이름: 저장  □ firebase 웹앱 배포 및 환경 설정방법은 8주차 회고의 내용을 참고하기 음식 이름 입력 음식 이름: 저장  음식이름에 문자열을 입력하면 AWS에 위치한 FASTAPI 프로그램으로 데이터가 전송되어, 해당 문자열과 시간을 csv 파일로 저장하고자 한다.여기서 해결해야 할 몇가지 이슈가 존재한다.먼저 FASTAP..

전체적인 프로세스는 length를 입력하면 LinearRegression에 의해 weight를 리턴하고, length와 weight를 입력하면 Knn에 의해 물고기 종류를 출력하게 된다.  먼저 어제 만든 LinearRegression 모델을 pkl 파일로 저장하고, pkl 모델을 사용하여 무게를 예측하는 lr.py 을 작성했다.import pickledef lr(length:float): ### 모델 불러오기 with open("/home/sujin/code/fr/src/note/linear_model.pkl", "rb") as f: lr_model = pickle.load(f) prediction = lr_model.predict([[length **2, length]])..