Sora - Le modèle de génération vidéo d'OpenAI en fuite

par Korben -

Eh bien, on dirait que les secrets d’OpenAI ont du mal à rester secrets… Une nouvelle vient d’agiter la communauté IA : le modèle de génération vidéo Sora d’OpenAI vient d’être exposé au grand jour par un groupe d’artistes mécontents, qui se fait appeler “Sora PR Puppets”. Et ce n’est pas une simple fuite d’eau qu’on colmate avec un peu de joint silicone !

Mais avant d’entrer dans les détails croustillants de cette fuite, c’est quoi Sora ? Et bien c’est un système IA capable de créer des vidéos incroyablement réaliste de 10 secondes max (pour le moment) en 1080p à partir de simples descriptions textuelles. C’est hollywood dans votre ordinateur.

Le plus intéressant dans cette histoire, ce sont les raisons qui ont poussé ces artistes à dévoiler l’accès au modèle. Ces créatifs, initialement sélectionnés comme beta testeurs et “red teamers”, se sont retrouvés dans une situation plutôt frustrante car d’un côté, OpenAI leur demandait de fournir un travail considérable pour tester et améliorer le système et de l’autre… pas grand-chose en retour, si ce n’est quelques vagues promesses et un bon de réduction de 150 dollars. Pas vraiment le jackpot quand on sait qu’OpenAI est valorisé à plus de 150 milliards de dollars !

Pour mettre leurs menaces à exécution, ces artistes rebelles ont donc créé un frontend sur Hugging Face permettant à n’importe qui de générer des vidéos avec Sora, en utilisant leurs tokens d’authentification du programme d’accès anticipé. La fête n’a malheureusement pas duré longtemps… 3 heures plus tard, OpenAI coupait l’accès pour tous les artistes du programme.

D’ailleurs, en parlant des capacités techniques, les développeurs qui ont analysé le code ont découvert quelques détails intéressants. Il semblerait que cette version de Sora soit une variante “turbo”, considérablement plus rapide que la version originale qui nécessitait plus de 10 minutes de traitement pour générer une minute de vidéo.

Sans compter les problèmes de cohérence qui peuvent parfois nécessiter de générer des centaines de clips avant d’en obtenir un utilisable. Le modèle peinant à maintenir les styles, objets et personnages tout au long des vidéos.

Cette situation met en lumière un sacré débat dans le monde de l’IA, à savoir comment soutenir le développement rapide des technologies tout en ayant un traitement équitable des créatifs qui contribuent à leur amélioration.

Notez que pendant qu’OpenAI gère cette controverse et tous ces défis techniques, leurs concurrents avancent leurs pions comme Runway qui s’est associé avec Lionsgate pour accéder à leur catalogue de films ou encore Stability AI qui a recruté James Cameron dans son conseil d’administration.

Bref, à suivre, en attendant, tous les tests Sora sont comme je vous le disais, suspendus… Sniiiif.

Plus de détails sur TechCrunch