Ça fait un petit moment que je tente quelques expériences DeepFakes et compagnie et grâce à la communauté Twitch, j’ai découvert ce projet « First Order Motion Model for Image Animation » qui permet de faire bosser un réseau neuronal sur une vidéo, afin d’animer une photo.
Voici ce que ça donne :
Évidemment, faire tourner ça sur sa machine c’est un peu galère, mais vous allez pouvoir quand même vous amuser avec en utilisant les GPU de Google et en passant via ce lien.
Alors comment ça fonctionne ?
Une fois le projet ouvert, cliquez sur le bouton « Copier sur Drive » pour récupérer le projet à l’intérieur de votre Google Drive.
Cliquez ensuite sur « Se connecter » dans le menu en haut à droite. Ensuite, faites via le menu, « EXECUTION » -> « TOUT EXÉCUTER ».
Vous allez bien sûr rencontrer quelques problèmes, mais rien de bien méchant. Il faudra donner la clé d’accès à votre Google Drive au projet pour qu’il puisse aller récupérer vos fichiers. Créez vous un compte Google spécialement pour l’occasion si vous avez la trouille.
Ensuite, importez les données d’exemple dans votre Google Drive. J’ai eu quelques soucis avec le chemin d’accès au dossier « first-order-motion-model », donc je l’ai simplement renommé « first » et j’ai adapté le code du projet pour qu’il aille chercher tout ça au bon endroit.
Vous pouvez bien sûr d’abord tester avec les fichiers d’exemple qui consiste à faire parler une photo de Poutine à partir d’une vidéo de Trump. Mais ensuite dès que ça fonctionne, il ne reste plus qu’à faire appel à votre imagination et faire parler un peu qui vous voulez.
Notez que la vidéo doit être au format MP4 d’une taille de 256×256. Et la photo doit également être de dimensions carrées. Arrangez-vous également pour choisir une vidéo où la bouche de l’intervenant articule bien. Sinon, ce ne sera pas ouf.
Et voilà, après quelques minutes d’acharnement, voici le petit résultat que j’ai obtenu pour rigoler. J’ai dû quand même ajouter l’audio après coup.
Ne me jugez pas.
Merci à Lorenper pour l’info !
Et pour ceux qui veulent aller plus loin encore…. CLIQUEZ ICI !