Ah qu’est ce que ça serait cool si on pouvait lire n’importe quelle bande dessinée étrangère ou n’importe quel manga par encore traduit officiellement, en français (ou dans la langue de votre choix). Le tout sans sans altérer ni le sens ni les images.

Et bien c’est ce que promet Comic Translate, un projet open source qui utilise des modèles avancés de vision par ordinateur pour identifier avec précision les bulles de dialogues et le texte, y compris dans des styles graphiques bien variés.

Une fois le texte repéré, il est extrait via la reconnaissance optique de caractères (OCR). Ces outils d’OCR varient selon la langue : EasyOCR pour l’anglais, manga-ocr pour le japonais, Pororo pour le coréen, et PaddleOCR pour le chinois….etc. Ensuite, pour les langues comme le français, l’allemand et l’espagnol, Comic Translate mise tout sur GPT-4 qui est normalement capable de générer un texte fluide et plutôt bien nuancé à partir d’images.

Ensuite, vient la traduction, une étape cruciale où l’outil ne se contente pas de versions littérales classiques, mais utilise des modèles de langage (Encore GPT-4) pour créer des textes qui semblent naturels, évitant ainsi les erreurs de mauvaise interprétation culturelles. Enfin, la réintégration du texte traduit dans l’image est assurée par des techniques d’inpainting, utilisant le modèle lama pour garantir que le texte s’adapte parfaitement au style visuel original.

C’est vraiment hyper impressionnant !

Comic Translate prend en charge une large palette de langues : de l’anglais et du coréen au russe et à l’italien et offre aussi des traductions vers le turc, le polonais, le portugais et le brésilien. Toutefois, pour s’en servir, faudra mettre un peu les mains dans le cambouis. Voici comment l’installer :

1. Installez Python (version 3.10 ou antérieure).
2. Clonez le dépôt GitHub ou téléchargez-le.
3. Ouvrez un terminal et rendez-vous dans le dossier du projet.
4. Créez un environnement virtuel : python -m venv comic-translate-venv puis activez le : source comic-translate-venv/bin/activate
5. Installez les dépendances avec pip install -r requirements.txt.
6. Si nécessaire, configurez votre GPU Nvidia avec PyTorch (lisez la doc).
7. Enfin, lancez l’application avec : python comic.py.

Après pour que ça fonctionne bien, assurez-vous que la police choisie supporte les caractères de votre langue cible. Et si l’automatisation échoue, passez en mode manuel pour ajuster.

Comme je vous l’ai dit, concernant les coûts, certaines fonctionnalités nécessitent des clés API, notamment pour GPT-4 et les services d’OCR de Microsoft et Google. Des outils comme EasyOCR sont gratuits, bien que l’utilisation de GPT-4 vous coûtera environ 0,01 $ par page.

Je trouve cet outil génial car il offre non seulement l’accès à un vaste univers de bandes dessinées dans toutes les langues, même si ça suscite aussi des réflexions sur les droits d’auteur et la place des traducteurs humains. Car comme d’hab, ce genre d’usage doit rester responsable et respectueux des créateurs.

Mais bon, que vous soyez amateur de manga, de comics ou de bandes dessinées franco-belges, cet outil vous permettra de découvrir des oeuvres fascinantes sans souffrir de la barrière linguistique.

Si la technique vous intéresse, en plus de tester Comic Translate, allez jeter un œil à des ressources utilisées par l’outil comme ce modèle de détection de bulles de texte ou la solution manga-ocr sur GitHub.

Un grand merci à Lorenper pour cette info au top !

Source