En tant que fan inconditionnel des modèles de langage tels que LLaMA ou encore GPT, j’ai récemment découvert grâce à Hervé, fidèle lecteur du site, cette perle rare : il s’agit d’une interface web qui rend beaucoup facile l’exécution des LLM.
L’objectif de ce projet c’est de devenir le stable-diffusion-webui de la génération de texte.
Baptisé Text generation web UI, l’outil basé sur Gradio propose une liste impressionnante d’options dont :
- 3 modes adaptés à différents types d’utilisateurs (facile/débutant, intermédiaire et avancé/expert)
- Plusieurs modèles supportés pour justement ne pas se limiter à une seule technologie.
- Un menu déroulant bien pensé vous permettra également de passer rapidement d’un modèle à un autre.
- L’inclusion d’un système nommé LoRA (pour Low-Rank Adaptation of Large Language Models) offrant une gestion fluide du chargement et du déchargement des modèles en cours d’exécution.
- Et en plus de la sortie classique en Markdown avec rendu LaTeX, vous aurez également la possibilité de travailler avec une sortie HTML, spécialement pour GPT4Chan (hé oui).
Et ce n’est que le début !
Text generation web UI offre également des programmes d’installation en un clic pour Windows, Linux et macOS. Cependant, veuillez noter que la version AMD ne fonctionne pas sous Windows. Mais pas d’inquiétude ! Vous pouvez toujours installer manuellement l’interface en utilisant Conda.
Les instructions détaillées se trouvent sur le site officiel Pytorch et dans la documentation du projet : https://github.com/oobabooga/text-generation-webui/tree/main/docs.
Si vous cherchez des tutoriels clairs pour installer et utiliser l’interface utilisateur web Gradio, les ressources et les guides fournis dans la documentation du projet devraient répondre à vos attentes. Et en bonus, y’a même des astuces pour gérer les erreurs de mémoire et optimiser les performances avec des cartes graphiques anciennes.
En conclusion, si vous êtes en quête d’un outil efficace pour travailler avec des modèles de langage, ne cherchez pas plus loin