Ollama + Hugging Face - Le mariage parfait pour lancer n'importe quel modèle GGUF

Bonne nouvelle si vous êtes un utilisateur d’Ollama pour tout ce qui est LLM, les amis !!

Ces derniers viennent d’implémenter un support natif pour Hugging Face ! En français, cela veut dire que vous pouvez maintenant faire tourner n’importe quel GGUF présent sur Hugging Face avec une simple ligne de commande. Et quand je dis n’importe lequel, je ne plaisante pas : il y a actuellement plus de 45 000 modèles GGUF publics sur le Hub !

La syntaxe est d’une simplicité enfantine :

ollama run hf.co/{username}/{reponame}:latest

Par exemple, pour lancer le dernier Llama3.2 au format GGUF, il suffit d’aller en choper un sur Hugging Face et de lancer la commande :

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF

Incroyable non ? Mais attendez, ce n’est pas tout !

Par défaut, Ollama utilise le schéma de quantification Q4_K_M quand il est disponible. Mais si vous voulez jouer les fines bouches, vous pouvez spécifier votre propre schéma comme ceci :

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

Si vous maintenez un dépôt avec un GGUF, vous pouvez même personnaliser le template de chat et les paramètres du modèle. Il suffit d’ajouter un fichier template (pour le template de chat) ou params (pour les paramètres) dans votre dépôt Hugging Face. C’est du Go template, pas du Jinja, alors faites gaffe si vous vous y connaissez en templates !

Voici quelques autres modèles sympas à essayer :

ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

Alors, prêt à transformer votre ordinateur en machine IA qui sait tout ? Avec Ollama et Hugging Face, c’est comme si c’était déjà fait !

Amusez-vous bien !