Руководство по развертыванию

git clone https://github.com/M0rtel/engineering_practices_ml.git
cd engineering_practices_ml

# Создание виртуального окружения
uv venv

# Активация окружения
source .venv/bin/activate  # Linux/macOS
# или
.venv\Scripts\activate  # Windows

# Установка UV (если не установлен)
curl -LsSf https://astral.sh/uv/install.sh | sh

# Установка зависимостей проекта (в активированном окружении, включая dev)
uv sync --all-extras

# Инициализация DVC
# Убедитесь, что виртуальное окружение активировано!
dvc init --no-scm

# Настройка remote storage (выберите один вариант)
# Локальное хранилище
dvc remote add local storage/local
dvc remote default local

# MinIO (требует запущенный MinIO)
dvc remote add minio s3://engineering-practices-ml/dvc
dvc remote modify minio endpointurl http://localhost:9000
dvc remote modify minio access_key_id minioadmin --local
dvc remote modify minio secret_access_key minioadmin --local
dvc remote default minio

# Убедитесь, что виртуальное окружение активировано!
pre-commit install
pre-commit run --all-files

# Добавление исходных данных
# Убедитесь, что виртуальное окружение активировано!
dvc add data/raw/WineQT.csv

# Запуск пайплайна
dvc repro

docker build -t engineering-practices-ml:latest .

# Простой запуск
docker run -it engineering-practices-ml:latest

# С монтированием директорий
docker run -it \
  -v $(pwd)/data:/app/data \
  -v $(pwd)/src:/app/src \
  -v $(pwd)/config:/app/config \
  engineering-practices-ml:latest

# Запуск всех сервисов
docker compose up -d

# Просмотр логов
docker compose logs -f

# Остановка
docker compose down

# Создание S3 bucket
aws s3 mb s3://engineering-practices-ml-dvc

# Настройка DVC для S3
dvc remote add s3 s3://engineering-practices-ml-dvc/dvc

# Настройка credentials через переменные окружения
export AWS_ACCESS_KEY_ID=your_key
export AWS_SECRET_ACCESS_KEY=your_secret

# Установка gsutil
pip install gsutil

# Создание bucket
gsutil mb gs://engineering-practices-ml-dvc

# Настройка DVC для GCS
dvc remote add gcs gs://engineering-practices-ml-dvc/dvc

# Настройка DVC для Azure
dvc remote add azure azure://engineering-practices-ml-dvc/dvc
dvc remote modify azure account_name your_account_name
dvc remote modify azure account_key your_account_key --local

stages:
  - test
  - build
  - deploy

test:
  stage: test
  image: python:3.10
  script:
    - pip install uv
    - uv sync
    - pytest  # Убедитесь, что виртуальное окружение активировано!

build:
  stage: build
  image: docker:latest
  script:
    - docker build -t engineering-practices-ml:$CI_COMMIT_SHA .

deploy:
  stage: deploy
  script:
    - echo "Deploy to production"

# Запуск всех сервисов ClearML
docker compose up -d clearml-mongo clearml-elastic clearml-redis clearml-server clearml-fileserver clearml-webserver

# Проверка статуса
docker compose ps

# Просмотр логов
docker compose logs -f clearml-server

# Запуск MinIO через Docker Compose
docker compose up -d minio

# Проверка статуса
docker compose ps minio

# Доступ к MinIO Console
# http://localhost:9001
# Credentials: minioadmin / minioadmin

# Запуск с мониторингом
python scripts/pipeline/run_pipeline.py \
  --config config/train_params.yaml \
  --monitor

# Проверка статуса
dvc status

# Очистка кэша
dvc cache dir
dvc cache clean

# Проверка подключения
python -c "from clearml import Task; print('OK')"

# Просмотр логов
docker compose logs clearml-server

# Проверка статуса
docker compose ps minio

# Просмотр логов
docker compose logs minio

# Перезапуск
docker compose restart minio