playdata 34

[플레이데이터 데이터 엔지니어링 캠프 32기] 17주차 회고

https://soojin1.tistory.com/31 17주차 : Day 1 (10/28)지금까지 배웠던 시스템(airflow, ngnix 등)을 docker로 수행해본다고 하셨다.먼저 Ngnix  먼저 httpd 디렉토리 내에 Dockerfile은 아래와 같이 작성했다.$ vi httpd/DockerfileFROM httpd:2.4 참고로 httpd 이미지를soojin1.tistory.comhttps://soojin1.tistory.com/32 17주차 : Day 2 (10/29)오류 찾기아래 repo 의 docker 설정의 오류를 잡아 보세요.https://github.com/dMario24/k1s_err GitHub - dMario24/k1s_errContribute to dMario24/k1s_..

playdata/weekly 2024.11.03

17주차 : Day 2 (10/29)

오류 찾기아래 repo 의 docker 설정의 오류를 잡아 보세요.https://github.com/dMario24/k1s_err GitHub - dMario24/k1s_errContribute to dMario24/k1s_err development by creating an account on GitHub.github.com 충격실화이 때까지 NGNIX 인 줄 알았는데 NGINX였다....! 어제 blog-1, blog-2 두 개의 분산 서버를 사용하는 실습을 했다.새로운 시나리오 : blog1, blog2 가 존재 blog3 이 새로 생김 - LB 에 blog3 이 추가 되도록 -docker compose를 사용해서 먼저 서버 2개와 lb 서버를 띄워보자.services: blog_1: bu..

playdata/daily 2024.10.29

17주차 : Day 1 (10/28)

지금까지 배웠던 시스템(airflow, ngnix 등)을 docker로 수행해본다고 하셨다.먼저 Ngnix  먼저 httpd 디렉토리 내에 Dockerfile은 아래와 같이 작성했다.$ vi httpd/DockerfileFROM httpd:2.4 참고로 httpd 이미지를 사용하면 Apache HTTP Server를 설치하거나 별도로 설정할 필요 없이, 바로 컨테이너에서 웹 서버를 실행할 수 있다. 도커 이미지를 기반으로 쉽게 웹 애플리케이션을 배포하거나 테스트 환경을 구성할 수 있다. 빌드 및 실행 방법은 아래와 같다.# 빌드$ docker build -t my-apache2 docker/httpd/ # 실행$ docker run --rm httpd:2.4 \> cat /usr/local/apache2..

playdata/daily 2024.10.28

16주차 : Day 1 (10/21)

Jenkins Jenkins는 소프트웨어 개발 시 CI/CD(Continuous Integration/Continuous Delivery) 파이프라인을 자동화하는 오픈 소스 도구입니다. 주로 개발자가 코드를 커밋할 때마다 자동으로 빌드하고 테스트하며, 배포 작업까지 관리해주는 역할을 합니다. Jenkins는 다양한 플러그인을 통해 빌드, 테스트, 배포 환경을 쉽게 확장할 수 있으며, 코드 변경 사항을 지속적으로 통합하고 이를 빠르게 배포하는 데 중요한 역할을 합니다. $ wget https://get.jenkins.io/war-stable/2.462.3/jenkins.war$ java -jar jenkins.war --httpPort=8765 - localhost:8765 접속- 초기 로그인 정보 설정 ..

playdata/daily 2024.10.21

[플레이데이터 데이터 엔지니어링 캠프 32기] 15주차 회고

Greeting spring boot동작□ 아래와 같이 동작하는 서비스 만들기□ 아래와 같이 입력한 값을 기억하고 있다가 계속 화면에 출력하기□ 똑같이 동작하는 fastAPI 만들기□ Pepole.java 를 만들기 Pepole 은 num(int), name(String) 속성을 갖고 있음□ greeting.html num, name 같이 출력□ 입력받은 이름(영어로) -> Min,Kim,Park 처럼 첫 문자가 대문자로 표현되도록 나는 intellij 사용했다.먼저 아래와 같이 프로젝트를 생성해주었다.  우선 연결이 되는지 테스트하는 방법이다.resources -> static 경로에 index.html 파일을 생성하고 아래와 같이 내용을 구성했다. GreetingApplication을 실행하고 loc..

playdata/weekly 2024.10.20

[플레이데이터 데이터 엔지니어링 캠프 32기] 14주차 회고

https://soojin1.tistory.com/27 project 3. AI Control System ( AI 관제 시스템 )목적임의의 ML 및 DL 모델에 대한 서비스를 관리 제어 하는 내부 관리 프로그램streamlit 을 통해 관리 화면을 html css js 없이 python 만으로 생성관리화면은 예측 결과에 대한 검토 및 잘못된 예측에soojin1.tistory.com 이번 주 회고는 프로젝트 회고로 대체하겠습니달

playdata/weekly 2024.10.14

project 3. AI Control System ( AI 관제 시스템 )

목적임의의 ML 및 DL 모델에 대한 서비스를 관리 제어 하는 내부 관리 프로그램streamlit 을 통해 관리 화면을 html css js 없이 python 만으로 생성관리화면은 예측 결과에 대한 검토 및 잘못된 예측에 대한 코맨트, 라벨 기록 가능그 외 관리 화면에서 위 검토된 코맨트, 라벨을 기반으로 서비스 예측 정확성 통계 도출사용 기술pysparkstreamlitairflowmariadbfastapi ( 모델 서빙 및 모델 질의 API & streamlit 관리 화면 사용 query API )구조Airflow DAG 2 종 ( 질의처리, 집계 )모델 처리 결과는 파일 형식(log)으로 저장파일로 저장된 log 의 집계 및 집계 결과는 DB 에 저장 - pySpark 활용산출물github team..

playdata/project 2024.10.14

[플레이데이터 데이터 엔지니어링 캠프 32기] 13주차 회고

✏️ 학습내용 ▶ 에어플로우와 데이터베이스 백엔드  Bitnami PostgreSQL 스택은 PostgreSQL 데이터베이스 서버를 쉽게 설치하고 실행할 수 있도록 Bitnami에서 제공하는 패키지입니다. 이 스택은 PostgreSQL 데이터베이스 뿐만 아니라, 이를 사용하기 위해 필요한 기본적인 설정과 다양한 유틸리티들을 포함하고 있어, 사용자가 PostgreSQL 환경을 쉽게 설정할 수 있도록 돕습니다.  $ docker pull postgres:12$ docker run -d -e POSTGRES_DB=airflow_db \-e POSTGRES_USER=airflow_user \-e POSTGRES_PASSWORD=airflow_pass \--name airpg \-p 15432:5432 \post..

playdata/weekly 2024.10.06