2023–2026 · Clips vidéo par IA

MovieshMash.to: montage calé sur la piste audio

La plateforme analyse le fichier audio : tempo, ambiance et paroles du morceau. Elle génère ensuite les plans et assemble le montage calé sur le rythme. Le moteur de montage est disponible sous forme de nœud ComfyUI open source sous licence Apache 2.0.

Technologie: Gemini 1.5 Pro, GPT-4, rendu GPU
Début des travaux: 2023
Export: 4K, 24, 30 ou 60 i/s, EDL et XML
Adresse: movieshmash.to

01Défi

Couper précisément sur le temps fort

Un clip vidéo, une bande-annonce et un format court pour les réseaux sociaux partagent une contrainte: synchroniser l'image avec le son. Manuellement, cela exige écoute, marqueurs sur la timeline et sélection des plans.

Pour chaque nouveau morceau, le travail repart de zéro car les marqueurs précédents ne sont plus valables.

02Solution

Analyse du morceau, plans et montage au rythme

MovieshMash.to prend le relais sur cette partie. Dès l'import du fichier, le système détecte le tempo (BPM), l'ambiance, les paroles et la structure émotionnelle du morceau, puis génère les plans et assemble le montage. Slogan du produit : « Turn Audio Into Cinema ».

Gemini 1.5 Pro et GPT-4 assurent l'analyse multimodale. Plus de 14 modèles vidéo sont disponibles et les rendus s'exécutent sur des GPU distribués. Google Search Grounding garantit la cohérence des scènes avec le réel, la plateforme gère aussi la synchronisation labiale.

L'utilisateur choisit son modèle : le style visuel reste une décision artistique. Un même morceau peut être monté selon plusieurs esthétiques.

Une timeline plutôt qu'un bouton unique
Contrôle plan par plan : visualisez, remplacez ou régénérez chaque prise, y compris par commande à l'assistant. Le premier rendu sert de base de travail.
Export pour le montage professionnel
Export en 4K à 24, 30 ou 60 images par seconde. En plus du MP4, listes de coupe EDL et XML pour Premiere Pro et DaVinci Resolve.
Forfait « Self API » à 15 USD par mois
Le client fournit ses propres clés Gemini et Replicate et ne paie aux fournisseurs que ce qu'il génère. L'abonnement couvre uniquement la plateforme.

03Code open source

Le moteur de montage est open source

L'analyse audio et le calage des coupes fonctionnent aussi séparément, sous la forme d'un nœud ComfyUI open source, Vibe Music Engine. Le dépôt github.com/lazniak/videoclipgenerator est public depuis le 12 février 2025, sous licence Apache 2.0.

Le nœud traite la piste via les modèles Whisper d'OpenAI et génère des sous-titres synchronisés au mot près, une liste de coupes EDL, la détection des beats et l'estimation du tempo. Il s'exécute en local, sans notre plateforme.

La plateforme y ajoute la génération d'images, la file d'attente GPU et l'interface. Les deux versions exportent la liste des coupes dans le même format EDL.

04Historique

De Vidgen.io à MovieshMash.to

Les travaux ont démarré début 2023, menés par Paul Lazniak et Grzegorz Łaźniak. Les premiers prototypes reposaient sur Deforum sous le domaine Vidgen.io.

Deux obstacles majeurs : le scintillement d'image entre les images et une compréhension audio superficielle. Le système reconnaissait le fichier, pas son contenu.

En 2024, nous avons reconstruit l'architecture et mis au point la technique i2v master shoot sur des morceaux lyriques. Les années 2025–2026 intègrent les modèles multimodaux Gemini et la version produit, exploitée jusqu'en 2026 sous le nom Vidumidu.

Il s'agit du même projet qu'aujourd'hui avec MovieshMash.to. Le nom et l'architecture ont évolué, pas l'objectif.