J'ai cloné ma propre voix avec le modèle open source de Microsoft

L'auteur présente Vibe Voice de Microsoft comme une alternative open source sérieuse à des outils comme ElevenLabs et Whisper. Il souligne sa capacité unique à générer jusqu'à 90 minutes d'audio multi-locuteurs en une seule fois, tout en fonctionnant hors ligne. L'objectif de la vidéo est de tester si ce dépôt de recherche est réellement utilisable par les développeurs au quotidien. Le présentateur annonce qu'il effectuera des démos de synthèse vocale (TTS), de temps réel et de clonage vocal. Cette section établit le cadre technique en mentionnant la disponibilité du code sur Hugging Face et GitHub.

Le test porte ici sur un script de podcast impliquant trois intervenants différents avec des émotions variées. L'auteur note que la cohérence des voix reste stable sur la durée, contrairement à d'autres modèles qui inventent du contexte après 20 secondes. Cependant, la gestion automatique des émotions est jugée décevante par rapport à l'outil Chatterbox, car elle manque de naturel. Microsoft a optimisé ce système pour la génération à long contexte plutôt que pour des micro-ajustements expressifs. Ce segment montre que Vibe Voice excelle dans les narrations longues ou les agents conversationnels robustes.

L'analyse se déplace vers le mode temps réel qui utilise un streaming incrémental pour réduire la latence à environ 300 millisecondes. Bien que ce délai soit acceptable pour des chatbots, l'auteur précise qu'il existe des solutions encore plus rapides sur le marché. Une tentative de générer de la musique ou du chant via le modèle s'est soldée par un échec durant la démonstration. Pour l'instant, le logiciel semble plus adapté à l'expérimentation qu'à une mise en production immédiate pour des applications critiques. L'auteur souligne que la technologie est prometteuse mais nécessite encore du peaufinage.

Cette partie explore la fonctionnalité de clonage vocal en utilisant un simple enregistrement réalisé sur un Mac et converti en format WAV. L'interface Gradio permet de sélectionner sa propre voix comme cible, produisant un résultat que l'auteur qualifie de "bluffant" et presque trop réaliste. La force majeure réside dans la stabilité du clone sur de longs formats, là où les pipelines de type Whisper ont tendance à s'effondrer. Microsoft affirme que son architecture gère mieux l'audio étendu grâce à une stabilité de pipeline accrue. Le résultat final est jugé parfaitement exploitable pour des projets de création de contenu.

L'auteur détaille les points forts pour le public technique, notamment l'utilisation de tokeniseurs audio basse fréquence pour une gestion efficace du contexte. Le modèle tourne sous licence MIT et consomme environ 7 Go de VRAM, ce qui le rend accessible sur des cartes graphiques grand public. Un atout majeur est l'inclusion de l'ASR (reconnaissance automatique de la parole) structuré avec diarisation et horodatage. Ces fonctionnalités intégrées permettent de gagner un temps considérable lors de la création de pipelines de transcription complexes. C'est une victoire pour l'écosystème open source qui propose ici un outil très complet.

Le tour d'horizon se termine par une analyse des faiblesses, comme le retrait de certains codes par Microsoft pour limiter les deepfakes et l'absence de compréhension sémantique réelle. Vibe Voice est ensuite comparé à Chatterbox (meilleur pour les émotions courtes) et ElevenLabs (supérieur pour l'ergonomie, mais payant). Face à Whisper, il l'emporte sur l'audio long et structuré, tout en restant plus expressif que Cozy Voice. L'auteur conclut que c'est un projet fascinant pour les développeurs locaux qui privilégient le coût zéro et la confidentialité. Il encourage enfin les spectateurs à tester la démo sur Hugging Face pour se faire leur propre avis.