GARAGE GPT 👽

Projet pour héberger un Chat-GPT local s'appuyant sur les projets Ollama et OpenWebUI

PREREQUIS 📎

Docker 🐳

MODELS 🗿

compatibles: Ollama modèles librairie

CONFIGURATION 🔧

BASE

Nous pouvons laisser OpenWebUI gérer les comptes utilisateur, le premier utilisateur étant d'office administrateur.

Modifier la variable à "true" si on utilise pas OICD:

      - "ENABLE_LOGIN_FORM=false"

OIDC 🔑

Renseigner les variables d'environnement dans le docker-compose.yml:

      - "ENABLE_OPENAI_API=true"
      - "OPENAI_API_KEY="
      - "OAUTH_CLIENT_ID=ai"
      - "OAUTH_CLIENT_SECRET=redacted"
      - "OPENID_PROVIDER_URL=https://keycloak/auth/realms/realm/.well-known/openid-configuration"
      - "OAUTH_PROVIDER_NAME=keycloak"
      - "OAUTH_SCOPES=openid profile email"

GPU USE

Installer NVIDIA container toolkit:

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

Décommenter la section suivante:

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

UTILISATION 🏁

Démarrer la stack:

docker compose up -d

Ajouter des modèles:

Choisir les modèles disponible pour les utilisateurs:

README.md