2023–2026 · AI-musikkvideoer
MovieshMash.to: redigering styrt av lydsporet
Plattformen analyserer lydfilen: tempo, stemning og sangtekst. På dette grunnlaget genererer den klipp og setter sammen en redigering med klipp i takt. Vi har gjort redigeringsmotoren tilgjengelig som en åpen ComfyUI-node under Apache 2.0-lisensen.
- Teknologi
- Gemini 1.5 Pro, GPT-4, renderings-GPU
- Arbeidet starter
- 2023
- Eksport
- 4K, 24, 30 eller 60 bilder/s, EDL og XML
- Adresse
- movieshmash.to
01Utfordring
Klippet skal treffe taktslaget
Musikkvideoer, trailere og korte videoer for sosiale medier har en arbeidsoppgave til felles: Bildene må synkroniseres med lyden. Manuelt innebærer det lytting, markører på tidslinjen og valg av klipp.
For hvert nytt musikkstykke begynner dette arbeidet på nytt, fordi markørene fra det forrige ikke lenger er gyldige.
02Løsning
Analyse av låten, opptak og klipping i takt
MovieshMash.to tar seg av denne delen. Når du har lastet opp filen, registrerer systemet tempo (BPM), stemning, tekst og låtens emosjonelle oppbygning. Deretter genererer det opptak og setter dem sammen til en film. Produktets slagord: «Turn Audio Into Cinema».
Multimodal analyse utføres av Gemini 1.5 Pro og GPT-4. Du kan velge mellom over 14 videomodeller, og renderingene kjøres på distribuerte GPU-er. Google Search Grounding sørger for at scenene samsvarer med virkeligheten, og plattformen oppdager også lipsync.
Valget av modell ligger hos brukeren, fordi bildestilen er et kunstnerisk valg. Det samme verket kan settes sammen i flere uttrykk.
-
Tidslinje i stedet for én knapp
Kontroll scene for scene: hvert opptak kan vises, byttes ut eller genereres på nytt, også med en instruks til assistenten. Første rendering er materiale for videre bearbeiding.
-
Veien til profesjonell videoredigering
Eksport i 4K ved 24, 30 eller 60 bilder per sekund. I tillegg til MP4 får du EDL- og XML-klippelister for Premiere Pro og DaVinci Resolve.
-
Planen «Self API» koster 15 USD per måned
Kunden oppgir egne Gemini- og Replicate-nøkler og betaler leverandørene bare for det som genereres. Abonnementet dekker selve plattformen.
03Åpen kildekode
Redigeringsmotoren er åpen kildekode
Lydanalyse og plassering av klipp fungerer også separat, som den åpne ComfyUI-noden Vibe Music Engine. Depotet github.com/lazniak/videoclipgenerator har vært offentlig siden 12. februar 2025, under lisensen Apache 2.0.
Noden sender lydsporet gjennom OpenAIs Whisper-modeller og returnerer undertekster med ordnøyaktig tidsangivelse, en EDL-klippeliste, slagdeteksjon og tempoestimering. Den kan kjøres lokalt, uten plattformen vår.
Plattformen legger til bildegenerering, en GPU-kø og et grensesnitt. Begge versjonene leverer en klippeliste i samme EDL-format.
04Historie
Fra Vidgen.io til MovieshMash.to
Arbeidet startet tidlig i 2023. Det ledes av Paul Lazniak og Grzegorz Łaźniak. De første prototypene kjørte på Deforum under domenet Vidgen.io.
De støtte på to hindringer: flimring mellom videorammer og overflatisk forståelse av lyd. Systemet gjenkjente filen, men ikke hva som skjedde i den.
I 2024 bygget vi om arkitekturen og utviklet i2v master shoot-teknikken basert på lyriske verk. I 2025–2026 kom Gemini multimodale modeller og en produktversjon, frem til 2026 under navnet Vidumidu.
Dette er det samme prosjektet som dagens MovieshMash.to. Navnet og arkitekturen ble endret, ikke hensikten.
Materiell fra produksjonen
Har du materiale som skal synkroniseres med lyd?
Beskriv hva du jobber med. Vi deler det inn i det plattformen kan håndtere med en gang, og det som er enklere å sette sammen lokalt fra en åpen node.
Book en workshop med Paul
Velg tretti minutter eller en full workshop. Reserver tid i kalenderen, bekreftelsen kommer umiddelbart.