Sora - Le modèle de génération vidéo d'OpenAI en fuite
Eh bien, on dirait que les secrets d’OpenAI ont du mal à rester secrets… Une nouvelle vient d’agiter la communauté IA : le modèle de génération vidéo Sora d’OpenAI vient d’être exposé au grand jour par un groupe d’artistes mécontents, qui se fait appeler “Sora PR Puppets”. Et ce n’est pas une simple fuite d’eau qu’on colmate avec un peu de joint silicone !
Mais avant d’entrer dans les détails croustillants de cette fuite, c’est quoi Sora ? Et bien c’est un système IA capable de créer des vidéos incroyablement réaliste de 10 secondes max (pour le moment) en 1080p à partir de simples descriptions textuelles. C’est hollywood dans votre ordinateur.
Le plus intéressant dans cette histoire, ce sont les raisons qui ont poussé ces artistes à dévoiler l’accès au modèle. Ces créatifs, initialement sélectionnés comme beta testeurs et “red teamers”, se sont retrouvés dans une situation plutôt frustrante car d’un côté, OpenAI leur demandait de fournir un travail considérable pour tester et améliorer le système et de l’autre… pas grand-chose en retour, si ce n’est quelques vagues promesses et un bon de réduction de 150 dollars. Pas vraiment le jackpot quand on sait qu’OpenAI est valorisé à plus de 150 milliards de dollars !
Les testeurs dénoncent aussi un contrôle très strict sur ce qu’ils peuvent dire ou montrer de leurs expériences avec Sora. Chaque vidéo générée doit passer par un processus d’approbation d’OpenAI avant d’être partagée publiquement, et seuls quelques créateurs sélectionnés auront le privilège de voir leurs œuvres diffusées. Une approche qui, selon eux, relève plus du “PR stunt” (combine marketing) et de l’“art washing” que d’une véritable volonté d’innovation collaborative.
Pour mettre leurs menaces à exécution, ces artistes rebelles ont donc créé un frontend sur Hugging Face permettant à n’importe qui de générer des vidéos avec Sora, en utilisant leurs tokens d’authentification du programme d’accès anticipé. La fête n’a malheureusement pas duré longtemps… 3 heures plus tard, OpenAI coupait l’accès pour tous les artistes du programme.
D’ailleurs, en parlant des capacités techniques, les développeurs qui ont analysé le code ont découvert quelques détails intéressants. Il semblerait que cette version de Sora soit une variante “turbo”, considérablement plus rapide que la version originale qui nécessitait plus de 10 minutes de traitement pour générer une minute de vidéo.
Sans compter les problèmes de cohérence qui peuvent parfois nécessiter de générer des centaines de clips avant d’en obtenir un utilisable. Le modèle peinant à maintenir les styles, objets et personnages tout au long des vidéos.
Cette situation met en lumière un sacré débat dans le monde de l’IA, à savoir comment soutenir le développement rapide des technologies tout en ayant un traitement équitable des créatifs qui contribuent à leur amélioration.
Notez que pendant qu’OpenAI gère cette controverse et tous ces défis techniques, leurs concurrents avancent leurs pions comme Runway qui s’est associé avec Lionsgate pour accéder à leur catalogue de films ou encore Stability AI qui a recruté James Cameron dans son conseil d’administration.
Bref, à suivre, en attendant, tous les tests Sora sont comme je vous le disais, suspendus… Sniiiif.