2023–2026 · AI-muziekvideo's
MovieshMash.to: montage gestuurd door de soundtrack
Het platform analyseert het audiobestand: tempo, sfeer en songtekst. Op basis daarvan genereert het beelden en stelt het een montage samen met cuts op het ritme. We hebben de montage-engine beschikbaar gesteld als een open ComfyUI-node onder de Apache 2.0-licentie.
- Technologie
- Gemini 1.5 Pro, GPT-4, GPU voor rendering
- Start van de werkzaamheden
- 2023
- Exporteren
- 4K, 24, 30 of 60 fps, EDL en XML
- Adres
- movieshmash.to
01Uitdaging
De montage moet op de beat vallen
Een videoclip, trailer en korte socialmediavideo hebben een deel van het werk gemeen: beeld moet op geluid worden afgestemd. Handmatig betekent dit luisteren, markeringen op de tijdlijn zetten en shots selecteren.
Bij elk volgend muziekstuk begint dit werk opnieuw, omdat de markeringen van het vorige niet meer geldig zijn.
02Oplossing
Analyse van de muziek, de shots en de montage op het ritme
MovieshMash.to neemt dit deel voor zijn rekening. Na het uploaden van een bestand detecteert het systeem het tempo (BPM), de sfeer, de tekst en de emotionele opbouw van het nummer. Vervolgens genereert het shots en monteert die tot een videoclip. De slogan van het product: „Turn Audio Into Cinema”.
De multimodale analyse wordt uitgevoerd door Gemini 1.5 Pro en GPT-4. U kunt kiezen uit meer dan 14 videomodellen. De rendering draait op een gedistribueerd GPU-netwerk. Google Search Grounding controleert of scènes overeenkomen met de werkelijkheid. Het platform detecteert ook lipsync.
De keuze van het model blijft bij de gebruiker, omdat de beeldstijl een artistieke beslissing is. Datzelfde werk kan in meerdere stijlen worden samengesteld.
-
Een tijdlijn in plaats van één knop
Controle per scène: elke opname kan worden bekeken, vervangen of opnieuw gegenereerd, ook met een opdracht aan de assistent. De eerste render is materiaal om verder te bewerken.
-
Op weg naar professioneel montagewerk
Export naar 4K met 24, 30 of 60 beelden per seconde. Naast MP4 ook EDL- en XML-kniplijsten voor Premiere Pro en DaVinci Resolve.
-
Het ‘Self API’-abonnement voor 15 USD per maand
De klant voert eigen Gemini- en Replicate-sleutels in en betaalt leveranciers alleen voor wat er wordt gegenereerd. Het abonnement dekt alleen het platform.
03Open sourcecode
De montage-engine is open
Geluidsanalyse en het bepalen van de montagepunten werken ook afzonderlijk, als de open ComfyUI-node Vibe Music Engine. De repository github.com/lazniak/videoclipgenerator is sinds 12 februari 2025 openbaar, onder de licentie Apache 2.0.
De node haalt het audiopad door de Whisper-modellen van OpenAI en levert ondertitels met woordnauwkeurige tijdcodes, een EDL-kniplijst, beatdetectie en een tempo-inschatting. U kunt deze zelf uitvoeren, zonder ons platform.
Het platform voegt beeldgeneratie, een GPU-wachtrij en een interface toe. Beide versies leveren de montagebeslissingen in hetzelfde EDL-formaat aan.
04Geschiedenis
Van Vidgen.io naar MovieshMash.to
Het werk begon begin 2023. Paul Lazniak en Grzegorz Łaźniak leiden het project. De eerste prototypes draaiden op Deforum onder het domein Vidgen.io.
Het liep tegen twee obstakels aan: beeldflikkering tussen frames en een oppervlakkig begrip van geluid. Het systeem herkende het bestand, maar niet wat erin gebeurde.
In 2024 hebben we de architectuur herzien en op basis van lyrische werken de i2v master shoot-techniek ontwikkeld. In 2025–2026 volgen de multimodale Gemini-modellen en de productversie, die tot 2026 de naam Vidumidu draagt.
Het is hetzelfde project als het huidige MovieshMash.to. De naam en architectuur veranderden, maar het doel bleef hetzelfde.
Materiaal van de productie
Heeft u materiaal dat met audio moet worden gesynchroniseerd?
Beschrijf waar u mee werkt. We verdelen dit in een deel dat het platform direct kan verwerken en een deel dat u beter ter plaatse samenstelt met een open knooppunt.
Plan een workshop met Paul
Kies een gesprek van dertig minuten of een volledige workshop. Reserveer een tijdstip in de agenda en ontvang direct een bevestiging.