Ga naar inhoud

2023–2026 · AI-muziekvideo's

MovieshMash.to: montage gestuurd door de soundtrack

Het platform analyseert het audiobestand: tempo, sfeer en songtekst. Op basis daarvan genereert het beelden en stelt het een montage samen met cuts op het ritme. We hebben de montage-engine beschikbaar gesteld als een open ComfyUI-node onder de Apache 2.0-licentie.

Technologie
Gemini 1.5 Pro, GPT-4, GPU voor rendering
Start van de werkzaamheden
2023
Exporteren
4K, 24, 30 of 60 fps, EDL en XML
Adres
movieshmash.to

01Uitdaging

De montage moet op de beat vallen

Een videoclip, trailer en korte socialmediavideo hebben een deel van het werk gemeen: beeld moet op geluid worden afgestemd. Handmatig betekent dit luisteren, markeringen op de tijdlijn zetten en shots selecteren.

Bij elk volgend muziekstuk begint dit werk opnieuw, omdat de markeringen van het vorige niet meer geldig zijn.

02Oplossing

Analyse van de muziek, de shots en de montage op het ritme

MovieshMash.to neemt dit deel voor zijn rekening. Na het uploaden van een bestand detecteert het systeem het tempo (BPM), de sfeer, de tekst en de emotionele opbouw van het nummer. Vervolgens genereert het shots en monteert die tot een videoclip. De slogan van het product: „Turn Audio Into Cinema”.

De multimodale analyse wordt uitgevoerd door Gemini 1.5 Pro en GPT-4. U kunt kiezen uit meer dan 14 videomodellen. De rendering draait op een gedistribueerd GPU-netwerk. Google Search Grounding controleert of scènes overeenkomen met de werkelijkheid. Het platform detecteert ook lipsync.

De keuze van het model blijft bij de gebruiker, omdat de beeldstijl een artistieke beslissing is. Datzelfde werk kan in meerdere stijlen worden samengesteld.

  • Een tijdlijn in plaats van één knop

    Controle per scène: elke opname kan worden bekeken, vervangen of opnieuw gegenereerd, ook met een opdracht aan de assistent. De eerste render is materiaal om verder te bewerken.

  • Op weg naar professioneel montagewerk

    Export naar 4K met 24, 30 of 60 beelden per seconde. Naast MP4 ook EDL- en XML-kniplijsten voor Premiere Pro en DaVinci Resolve.

  • Het ‘Self API’-abonnement voor 15 USD per maand

    De klant voert eigen Gemini- en Replicate-sleutels in en betaalt leveranciers alleen voor wat er wordt gegenereerd. Het abonnement dekt alleen het platform.

03Open sourcecode

De montage-engine is open

Geluidsanalyse en het bepalen van de montagepunten werken ook afzonderlijk, als de open ComfyUI-node Vibe Music Engine. De repository github.com/lazniak/videoclipgenerator is sinds 12 februari 2025 openbaar, onder de licentie Apache 2.0.

De node haalt het audiopad door de Whisper-modellen van OpenAI en levert ondertitels met woordnauwkeurige tijdcodes, een EDL-kniplijst, beatdetectie en een tempo-inschatting. U kunt deze zelf uitvoeren, zonder ons platform.

Het platform voegt beeldgeneratie, een GPU-wachtrij en een interface toe. Beide versies leveren de montagebeslissingen in hetzelfde EDL-formaat aan.

04Geschiedenis

Van Vidgen.io naar MovieshMash.to

Het werk begon begin 2023. Paul Lazniak en Grzegorz Łaźniak leiden het project. De eerste prototypes draaiden op Deforum onder het domein Vidgen.io.

Het liep tegen twee obstakels aan: beeldflikkering tussen frames en een oppervlakkig begrip van geluid. Het systeem herkende het bestand, maar niet wat erin gebeurde.

In 2024 hebben we de architectuur herzien en op basis van lyrische werken de i2v master shoot-techniek ontwikkeld. In 2025–2026 volgen de multimodale Gemini-modellen en de productversie, die tot 2026 de naam Vidumidu draagt.

Het is hetzelfde project als het huidige MovieshMash.to. De naam en architectuur veranderden, maar het doel bleef hetzelfde.

Materiaal van de productie

Heeft u materiaal dat met audio moet worden gesynchroniseerd?

Beschrijf waar u mee werkt. We verdelen dit in een deel dat het platform direct kan verwerken en een deel dat u beter ter plaatse samenstelt met een open knooppunt.

Plan een workshop met Paul

Kies een gesprek van dertig minuten of een volledige workshop. Reserveer een tijdstip in de agenda en ontvang direct een bevestiging.