soojin1 님의 블로그

목적임의의 ML 및 DL 모델에 대한 서비스를 관리 제어 하는 내부 관리 프로그램streamlit 을 통해 관리 화면을 html css js 없이 python 만으로 생성관리화면은 예측 결과에 대한 검토 및 잘못된 예측에 대한 코맨트, 라벨 기록 가능그 외 관리 화면에서 위 검토된 코맨트, 라벨을 기반으로 서비스 예측 정확성 통계 도출사용 기술pysparkstreamlitairflowmariadbfastapi ( 모델 서빙 및 모델 질의 API & streamlit 관리 화면 사용 query API )구조Airflow DAG 2 종 ( 질의처리, 집계 )모델 처리 결과는 파일 형식(log)으로 저장파일로 저장된 log 의 집계 및 집계 결과는 DB 에 저장 - pySpark 활용산출물github team..

https://github.com/DE32-2nd-team4/Business-Chatting-System GitHub - DE32-2nd-team4/Business-Chatting-SystemContribute to DE32-2nd-team4/Business-Chatting-System development by creating an account on GitHub.github.com 주제 업무용 메신저 만들기 배경1) 사내 기술 유출 이슈2) 감사팀 메신저 감찰 필요 활용 필수 기술 스택Apache KafkaApache SparkApache AirflowApache Zeppelin 주요 요구사항업무 대화 기능업무 대화 감사 기능 (검색, 대화 주제 통계) - zeppelin영화 챗봇 기능 (@bot 파..

프로젝트 내용영화 박스오피스 데이터 수집/처리/보관 및 활용에 대하여각각 단계에 대하여 파이썬 프로그램을 package(PIP설치) 단위로 개발개발 package 를 airflow 적용 및 운영필수산출물1.github ( 플레이데이터 레포 + TEAM REPO ) code ( Airflow + PIP )플레이데이터 레포 : 통합 메인 AIRFLOW 코드 ( 팀레포 코드가 모두 연결 되도록 가이드 작성 필요)TEAM REPO 각각 패키지 + 플레이데이터 메인 repo Fork ( 차후 팀 레포 만들로 완경성을 갖도록 최종 완료 후 포크)2.github READMD.md(*) - 팀원에게 도움이 되는 문서 작성, 기존 작성 블로그 링크등 활용 OK3.데이터 수집, 처리, 분석 PIP 팩키지 개발4. Airf..