La technologie évolue constamment et dans le monde de l’IA, les choses deviennent de plus en plus intéressantes. Aujourd’hui, je vais donc vous causer d’un projet qui est non seulement intéressant, mais aussi très utile : RAGstack.
L’idée est simple et permet de déployer une alternative privée à ChatGPT sur votre VPC (Virtual Private Cloud – Votre réseau cloud privé virtuel) et offre d’explorer les modèles LLM open-source tels que Llama 2, Falcon et GPT4All.
RAGstack est une solution fiable pour les entreprises qui souhaitent utiliser la technique dites de Retrieval Augmented Generation (RAG) pour améliorer les capacités des LLM en récupérant des informations d’autres systèmes. Déployé en entreprise, cela permettra à vos collaborateurs de gagner du temps dans leur quotidien. De plus, il est moins coûteux et plus rapide que le réglage fin (fine tuning).
Le projet RAGstack prend en charge différents modèles, dont GPT4all, Llama2, Falcon-7B. Il peut être déployé sur GCP, AWS et Azure. Mais vous pouvez aussi le faire tourner sur votre propre serveur comme ceci :
Copier ragstack-ui/local.env dans ragstack-ui/.env et copiez server/example.env dans server/.env
Dans server/.env remplacez YOUR_SUPABASE_URL par l’url de votre projet supabase et YOUR_SUPABASE_KEY par la clé API secrète de votre supabase.
Dans ragstack-ui/.env remplacez YOUR_SUPABASE_URL par l’url de votre projet supabase et YOUR_SUPABASE_PUBLIC_KEY par la clé API secrète de votre supabase.
Vous pouvez trouver ces valeurs dans votre tableau de bord Supabase sous Settings > API.
Puis dans Supabase, créez une table ragstack_users avec les colonnes suivantes :
id, uuid
app_id, uuid
secret_key, uuid
email text,
avatar_url, text
full_name, textSi vous avez ajouté une sécurité au niveau des lignes en base, assurez-vous que les inserts et les selects ont une expression WITH CHECK de (auth.uid() = id).
Exécutez scripts/local/run-dev. Cela téléchargera ggml-gpt4all-j-v1.3-groovy.bin dans server/llm/local/ et exécutera le serveur, LLM, et la base de données vectorielle Qdrant localement.
Tous les services seront alors prêts lorsque vous verrez le message suivant :
INFO : Application startup complete.
Bravo, c’est fonctionnel ! Vous pouvez également tester une version en ligne ici.
Le code source du projet RAGstack se trouve sur GitHub, et vous pouvez le consulter et contribuer ici.