2023–2026 · AI-musikvideoer
MovieshMash.to: klipning styret af lydsporet
Platformen analyserer lydfilen: tempo, stemning og sangtekst. På den baggrund genererer den optagelser og sammensætter klipningen med klip i takt. Vi har gjort klippemotoren tilgængelig som en åben ComfyUI-node under Apache 2.0-licensen.
- Teknologi
- Gemini 1.5 Pro, GPT-4, GPU til rendering
- Arbejdet begynder
- 2023
- Eksport
- 4K, 24, 30 eller 60 b/s, EDL og XML
- Adresse
- movieshmash.to
01Udfordring
Klipningen skal falde på slaget
Musikvideoer, trailere og korte formater til sociale medier har en fælles del af arbejdet: Billederne skal synkroniseres med lyden. Manuelt kræver det lytning, markeringer på tidslinjen og valg af klip.
Ved hvert nyt værk begynder arbejdet forfra, fordi markørerne fra det foregående ikke længere er gyldige.
02Løsning
Analyse af værket, optagelserne og klipningen i takt
MovieshMash.to tager sig af denne del. Når du har uploadet en fil, registrerer systemet tempo (BPM), stemning, tekst og sangens følelsesmæssige opbygning. Derefter genererer det optagelser og sammensætter dem til en film. Produktets slogan: »Turn Audio Into Cinema«.
Multimodal analyse udføres af Gemini 1.5 Pro og GPT-4. Vælg mellem over 14 videomodeller, og kør rendering på distribuerede GPU'er. Google Search Grounding sikrer, at scenerne stemmer overens med virkeligheden, og platformen registrerer også lipsync.
Valget af model ligger hos brugeren, fordi billedets stil er en kunstnerisk beslutning. Det samme værk kan sammensættes i flere stilarter.
-
Tidslinje i stedet for én knap
Kontrol scene for scene: Hvert klip kan ses, udskiftes eller genereres igen, også med en kommando til assistenten. Første rendering er materiale til videre bearbejdning.
-
Vejen til professionel videoredigering
Eksport i 4K ved 24, 30 eller 60 billeder pr. sekund. Ud over MP4 også EDL-klippelister og XML til Premiere Pro og DaVinci Resolve.
-
Planen „Self API” til 15 USD om måneden
Kunden bruger egne Gemini- og Replicate-nøgler og betaler kun leverandørerne for det, der genereres. Abonnementet dækker kun selve platformen.
03Åben kode
Redigeringsmotoren er åben
Lydanalyse og placering af klip fungerer også separat som den åbne ComfyUI-node Vibe Music Engine. Repositoryet github.com/lazniak/videoclipgenerator har været offentligt siden 12. februar 2025 under licensen Apache 2.0.
Noden behandler lydsporet med OpenAIs Whisper-modeller og returnerer ordnøjagtige undertekster, en EDL-klippeliste, registrering af slag og estimering af tempo. Den kan køres lokalt uden vores platform.
Platformen tilføjer billedgenerering, en GPU-kø og en brugergrænseflade. Begge versioner leverer en klippeliste i samme EDL-format.
04Historie
Fra Vidgen.io til MovieshMash.to
Arbejdet begyndte i starten af 2023. Det ledes af Paul Lazniak og Grzegorz Łaźniak. De første prototyper kørte på Deforum under domænet Vidgen.io.
De stødte på to forhindringer: flimmer mellem billederne og en overfladisk forståelse af lyden. Systemet kunne genkende filen, men ikke forstå, hvad der sker i den.
I 2024 ombyggede vi arkitekturen og udviklede i2v master shoot-teknikken på lyriske værker. I 2025–2026 arbejdede vi med multimodale Gemini-modeller og en produktversion, der frem til 2026 hed Vidumidu.
Det er det samme projekt som dagens MovieshMash.to. Navnet og arkitekturen ændrede sig, men ikke formålet.
Materiale fra projekter
Har du materiale, der skal synkroniseres med lyd?
Beskriv, hvad du arbejder med. Vi deler det op i den del, som platformen kan håndtere med det samme, og den del, det er nemmere at sammensætte lokalt fra en åben node.
Book en workshop med Paul
Vælg 30 minutter eller en hel workshop. Book tidspunktet i kalenderen, og få bekræftelsen med det samme.