Gå til indhold

2023–2026 · AI-musikvideoer

MovieshMash.to: klipning styret af lydsporet

Platformen analyserer lydfilen: tempo, stemning og sangtekst. På den baggrund genererer den optagelser og sammensætter klipningen med klip i takt. Vi har gjort klippemotoren tilgængelig som en åben ComfyUI-node under Apache 2.0-licensen.

Teknologi
Gemini 1.5 Pro, GPT-4, GPU til rendering
Arbejdet begynder
2023
Eksport
4K, 24, 30 eller 60 b/s, EDL og XML
Adresse
movieshmash.to

01Udfordring

Klipningen skal falde på slaget

Musikvideoer, trailere og korte formater til sociale medier har en fælles del af arbejdet: Billederne skal synkroniseres med lyden. Manuelt kræver det lytning, markeringer på tidslinjen og valg af klip.

Ved hvert nyt værk begynder arbejdet forfra, fordi markørerne fra det foregående ikke længere er gyldige.

02Løsning

Analyse af værket, optagelserne og klipningen i takt

MovieshMash.to tager sig af denne del. Når du har uploadet en fil, registrerer systemet tempo (BPM), stemning, tekst og sangens følelsesmæssige opbygning. Derefter genererer det optagelser og sammensætter dem til en film. Produktets slogan: »Turn Audio Into Cinema«.

Multimodal analyse udføres af Gemini 1.5 Pro og GPT-4. Vælg mellem over 14 videomodeller, og kør rendering på distribuerede GPU'er. Google Search Grounding sikrer, at scenerne stemmer overens med virkeligheden, og platformen registrerer også lipsync.

Valget af model ligger hos brugeren, fordi billedets stil er en kunstnerisk beslutning. Det samme værk kan sammensættes i flere stilarter.

  • Tidslinje i stedet for én knap

    Kontrol scene for scene: Hvert klip kan ses, udskiftes eller genereres igen, også med en kommando til assistenten. Første rendering er materiale til videre bearbejdning.

  • Vejen til professionel videoredigering

    Eksport i 4K ved 24, 30 eller 60 billeder pr. sekund. Ud over MP4 også EDL-klippelister og XML til Premiere Pro og DaVinci Resolve.

  • Planen „Self API” til 15 USD om måneden

    Kunden bruger egne Gemini- og Replicate-nøgler og betaler kun leverandørerne for det, der genereres. Abonnementet dækker kun selve platformen.

03Åben kode

Redigeringsmotoren er åben

Lydanalyse og placering af klip fungerer også separat som den åbne ComfyUI-node Vibe Music Engine. Repositoryet github.com/lazniak/videoclipgenerator har været offentligt siden 12. februar 2025 under licensen Apache 2.0.

Noden behandler lydsporet med OpenAIs Whisper-modeller og returnerer ordnøjagtige undertekster, en EDL-klippeliste, registrering af slag og estimering af tempo. Den kan køres lokalt uden vores platform.

Platformen tilføjer billedgenerering, en GPU-kø og en brugergrænseflade. Begge versioner leverer en klippeliste i samme EDL-format.

04Historie

Fra Vidgen.io til MovieshMash.to

Arbejdet begyndte i starten af 2023. Det ledes af Paul Lazniak og Grzegorz Łaźniak. De første prototyper kørte på Deforum under domænet Vidgen.io.

De stødte på to forhindringer: flimmer mellem billederne og en overfladisk forståelse af lyden. Systemet kunne genkende filen, men ikke forstå, hvad der sker i den.

I 2024 ombyggede vi arkitekturen og udviklede i2v master shoot-teknikken på lyriske værker. I 2025–2026 arbejdede vi med multimodale Gemini-modeller og en produktversion, der frem til 2026 hed Vidumidu.

Det er det samme projekt som dagens MovieshMash.to. Navnet og arkitekturen ændrede sig, men ikke formålet.

Materiale fra projekter

Har du materiale, der skal synkroniseres med lyd?

Beskriv, hvad du arbejder med. Vi deler det op i den del, som platformen kan håndtere med det samme, og den del, det er nemmere at sammensætte lokalt fra en åben node.

Book en workshop med Paul

Vælg 30 minutter eller en hel workshop. Book tidspunktet i kalenderen, og få bekræftelsen med det samme.