Ollama + Hugging Face - Le mariage parfait pour lancer n'importe quel modèle GGUF
Bonne nouvelle si vous êtes un utilisateur d’Ollama pour tout ce qui est LLM, les amis !!
Ces derniers viennent d’implémenter un support natif pour Hugging Face ! En français, cela veut dire que vous pouvez maintenant faire tourner n’importe quel GGUF présent sur Hugging Face avec une simple ligne de commande. Et quand je dis n’importe lequel, je ne plaisante pas : il y a actuellement plus de 45 000 modèles GGUF publics sur le Hub !
La syntaxe est d’une simplicité enfantine :
ollama run hf.co/{username}/{reponame}:latest
Par exemple, pour lancer le dernier Llama3.2 au format GGUF, il suffit d’aller en choper un sur Hugging Face et de lancer la commande :
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
Incroyable non ? Mais attendez, ce n’est pas tout !
Par défaut, Ollama utilise le schéma de quantification Q4_K_M quand il est disponible. Mais si vous voulez jouer les fines bouches, vous pouvez spécifier votre propre schéma comme ceci :
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
Si vous maintenez un dépôt avec un GGUF, vous pouvez même personnaliser le template de chat et les paramètres du modèle. Il suffit d’ajouter un fichier template (pour le template de chat) ou params (pour les paramètres) dans votre dépôt Hugging Face. C’est du Go template, pas du Jinja, alors faites gaffe si vous vous y connaissez en templates !
Voici quelques autres modèles sympas à essayer :
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF
Alors, prêt à transformer votre ordinateur en machine IA qui sait tout ? Avec Ollama et Hugging Face, c’est comme si c’était déjà fait !
Amusez-vous bien !
Créateurs de contenus, voici l'hébergement qu'il vous faut pour cartonner !
Blogueurs, influenceurs, créateurs de contenus... Si comme moi vous vivez de votre créativité en ligne, vous méritez ce qu'il y a de mieux pour votre activité !
Laissez-moi vous présenter l'Offre Unique de o2switch : LA solution idéale pour propulser votre site ou blog. Avec son espace disque illimité et ses bases de données sans restriction, publiez autant de contenus que vous voulez sans vous soucier des limites !
Gérez votre WordPress comme un pro grâce aux outils exclusifs et à l'interface cPanel ultra simple. Soyez serein avec un nom de domaine offert, des sauvegardes quotidiennes de vos précieux contenus et un hébergement français sécurisé. Et s'il y a un souci, le support technique est là pour vous 24/7 !
Vous voulez le meilleur ? C'est seulement 4,2 € HT/mois. Oui oui, c'est tout ! Alors n'attendez plus et offrez à votre site le tremplin qu'il mérite. Votre communauté n'attend que ça !