Exo - Pour créer un super cluster IA avec tous les appareils qui trainent chez vous
Vous rêvez de faire tourner les modèles d’IA les plus gros sur votre ordinateur, mais comme moi, vous n’avez pas le budget pour louer un datacenter… C’est con quand même.
Alors si je vous disais qu’il existe une solution pour transformer vos machines existantes en un cluster d’IA distribué, grâce à Exo, un projet libre qui permet de connecter tous vos appareils pour mutualiser leur puissance de calcul.
Avec Exo, vous allez pouvoir clusteriser votre MacBook, votre iPhone, votre tablette Android et même votre Raspberry Pi pour répartir la charge et ainsi exécuter les modèles d’IA open source les plus costauds comme LLaMA, Mistral ou Qwen.
Le principe est simple… Exo analyse la mémoire et les ressources disponibles sur chaque appareil connecté, puis découpe intelligemment le modèle d’IA en morceaux qui seront distribués sur l’ensemble du réseau. Plus vous ajoutez d’appareils, plus vous augmentez la capacité totale de votre cluster.
Pour démarrer avec Exo, il suffit d’installer Python 3.12+ puis d’exécuter ces commandes :
git clone https://github.com/exo-explore/exo.git
cd exo
source install.sh
Une fois installé, lancez ensuite la commande exo sur chaque appareil. Le système détectera alors automatiquement les autres nœuds du réseau, comme ça, pas besoin de configuration tordue ! Tout fonctionne en P2P.
Une interface web façon ChatGPT est ensuite accessible sur http://localhost:52415.
Pour fonctionner, Exo utilise une stratégie de partitionnement appelée ring memory weighted partitioning où Chaque appareil exécute un nombre de couches du modèle proportionnel à sa mémoire disponible. Vous pouvez ainsi intégrer Exo dans vos applications existantes grâce à son API compatible avec celle de ChatGPT.
De nombreux modèles sont déjà supportés comme LLaMA (versions MLX et tinygrad), Mistral, LlaVA, Qwen ou encore Deepseek.
Si vous voulez en voir plus, un tutoriel est dispo ici. Moi de mon côté, je n’ai pas assez de machines dispo pour faire tourner exo de manière confortable mais un youtubeur a fait le test avec 5 Mac Studio alors je vous partage sa vidéo :
Merci à Lorenper et Letsar pour cette excellente découverte !
Vous cherchez un hébergement web professionnel pour propulser votre entreprise ? Ne cherchez plus.
Avec l'Offre Unique de o2switch, offrez à votre TPE/PME l'hébergement qu'elle mérite pour viser les sommets.
Boostez la vitesse de votre site et vos applications avec 12 CPU et 48 Go de RAM. Stockez sans compter grâce à l'espace disque illimité. Soyez serein avec des sauvegardes quotidiennes automatiques et un support technique toujours disponible. Tout ça sur des serveurs sécurisés, hébergés en France.
Pilotez votre activité en ligne du bout des doigts, sans connaissances techniques, via l'interface cPanel. Site web, outils, emails... tout est centralisé !
Le meilleur dans tout ça ? L'Offre Unique est à seulement 4,2 € HT/mois. C'est le moment d'offrir à votre entreprise l'hébergement qu'elle mérite pour décoller. Avec o2switch, dites adieu aux problèmes techniques et bonjour à la croissance !