지식을 나누면 두배로

실행 환경 OS: MacOS Python: 3.10.13 버전 pyenv: 2.3.35 버전 문제 상황 pyenv 가상환경에서 streamlit 명령어를 실행하는 상황에서 아래와 같은 에러가 발생했다. ... TypeError: Descriptors cannot not be created directly. If this call came from a _pb2.py file, your generated code is out of date and must be regenerated with protoc >= 3.19.0. If you cannot immediately regenerate your protos, some other possible workarounds are: 1. Downgrade the p..

실행 환경 OS: MacOS apache-airflow: 2.2.3 버전 문제 상황 Airflow로 개발중인 기능은 다음과 같았다. HuggingFace에 업로드 된 크롤링 데이터를 서버로 가져와 학습시킬 수 있는 형태로 전처리한다. 전처리된 데이터를 Lora 활용하여 kullm(구름)의 fine-tuning을 진행한다. 2번 기능을 테스트하던 중 아래와 같은 에러가 발생했다. RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the 'spawn' start method airflow 없이 독립적으로 실행할 때는 정상적으로 동작하던 코드였는데, Airflow로 ..

문제 상황 default branch(main branch)가 아닌, 다른 branch에서 GitHub Actions를 실행시키는 과정에서 발생한 문제이다. develop 브랜치에 push하거나, pull request를 할 경우 GitHub Actions가 작동하도록 아래와 같이 workflow 파일을 작성했다. name: CI for backend on: push: paths: "backend/**" branches: [ "develop" ] pull_request: paths: "backend/**" branches: [ "develop" ] ... 그러나, develop 브랜치로 pull request를 해도 GitHub Actions가 동작하지 않았다. 문제 해결 문제의 원인을 한 줄로 요약하자..

모델 추론 코드를 테스트하기 위한 코드를 작성하던 도중 만난 ModuleNotFoundError를 해결하면서 이해한 python이 모듈을 import하는 방식에 대한 내용을 공유해보려고 한다. 문제 상황 에러가 발생한 디렉토리 구조는 아래와 같았다. /Users/sangwon/Documents/GitHub/mlops_practice ├── tests │ └── test_inference.py └── webapp ├── dataset │ ├── datasets.py │ ├── preprocess.py │ └── tokenize.py ├── inference.py ... inference.py는 datasets.py를 import하고 있고, inference.py를 단독적으로 실행할 때는 문제 없이 실행되는..

실행 환경 OS: MacOS FastAPI: 0.96.0 버전 문제 상황 로컬에서 정상적으로 작동하는 FastAPI 애플리케이션을 Docker 이미지로 빌드한 뒤, 컨테이너로 실행시켰더니 ERR_EMPTY_RESPONSE 메세지를 출력하며 아무런 응답을 보내지 않음 # Dockerfile FROM python:3.10 RUN python3 -m pip install --upgrade pip COPY ./requirements.txt /ws/requirements.txt WORKDIR /ws RUN pip install -r requirements.txt COPY ./webapp/ /ws CMD ["uvicorn", "main:app"] 문제 해결 uvicorn을 실행할 때 --host 옵션이 있는데, 이..