TRELLIS - La magie de la génération 3D par IA à portée de main

par Korben ✨ -

Microsoft Research vient de rendre public TRELLIS, un modèle IA de génération d’objets 3D qui permet de générer des objets 3D de qualité à partir de simples descriptions textuelles ou d’images, et tout ça en quelques secondes.

Pour fonctionner, TRELLIS utilise ce qui s’appelle une représentation latente structurée (SLAT). Cela permet d’unifier intelligemment les informations géométriques et visuelles des objets 3D, afin de générer différents formats de sortie comme les champs de radiance, les points gaussiens 3D et les maillages.

La technologie SLAT fonctionne comme ceci :

  • Elle divise l’espace en petites unités 3D appelées “voxels” (comme des pixels mais en 3D)
  • Elle se concentre uniquement sur les voxels qui se trouvent à la surface de l’objet et pour chaque voxel important, elle stocke des informations spéciales (appelées “latents locaux”)
  • Ces informations sont créées en combinant des images de l’objet prises sous différents angles et grâce à cette approche, TRELLIS peut alors reproduire à la fois la forme générale d’un objet et ses petits détails.

Le système utilise une architecture d’IA avancée (transformers à flux rectifié) et a été entraîné sur une énorme collection de 500 000 objets 3D variés. Avec jusqu’à 2 milliards de paramètres (la taille de son “cerveau”), TRELLIS surpasse ainsi toutes les autres technologies similaires existantes comme Shap-E, LGM, InstantMesh, etc.

TRELLIS permet ainsi de produire des fichiers 3D de haute qualité avec plein de détails fins tant au niveau de la forme que des textures. C’est aussi un outil polyvalent puisqu’il permet de générer différentes représentations 3D (champs de radiance, gaussiennes 3D, maillages) à partir de textes ou d’images.

Et vous pouvez modifier facilement les actifs 3D générés, que ce soit pour créer des variantes d’un même objet ou éditer localement certaines parties. Et tout ça généré en moins de 10 secondes.

Incroyable !

Une fois encore, Microsoft frappe fort avec un modèle fondateur pour la génération 3D. Ça ouvre tellement de possibilité créatives que j’en ai des frissons ! Et si vous voulez tester ça par vous même facilement, une démo en ligne est dispo sur Hugging Face.

Source