2023–2026 · AI-musikvideor
MovieshMash.to: klippning som följer ljudspåret
Plattformen analyserar ljudfilen: tempo, stämning och låttext. Utifrån analysen genererar den klipp och sammanställer en redigering med klipp i takt med musiken. Vi har gjort redigeringsmotorn tillgänglig som en öppen ComfyUI-nod under Apache 2.0-licensen.
- Teknik
- Gemini 1.5 Pro, GPT-4, GPU för rendering
- Arbetet inleds
- 2023
- Export
- 4K, 24, 30 eller 60 b/s, EDL och XML
- Adress
- movieshmash.to
01Utmaning
Klippet ska falla på taktslaget
Musikvideor, trailers och kortformat för sociala medier har en sak gemensamt: bilden måste synkroniseras med ljudet. Manuellt innebär det att lyssna, sätta markörer på tidslinjen och välja klipp.
För varje nytt verk börjar arbetet om från början, eftersom markeringarna från det föregående inte längre är aktuella.
02Lösning
Analys av låten, tagningarna och klippning i takt
MovieshMash.to tar hand om den här delen. När du har laddat upp filen identifierar systemet tempot (BPM), stämningen, texten och låtens känslomässiga struktur. Därefter genererar det scener och klipper ihop dem till en film. Produktens slogan: ”Turn Audio Into Cinema”.
Multimodal analys utförs av Gemini 1.5 Pro och GPT-4. Välj bland över 14 videomodeller, med rendering på distribuerade GPU:er. Google Search Grounding säkerställer att scenerna stämmer med verkligheten, och plattformen upptäcker även lipsync.
Valet av modell ligger hos användaren, eftersom bildens stil är ett konstnärligt beslut. Samma verk kan skapas i flera olika uttryck.
-
Tidslinje i stället för en enda knapp
Kontroll scen för scen: varje tagning kan granskas, bytas ut eller genereras på nytt, även med ett kommando till assistenten. Den första renderingen är material för vidare bearbetning.
-
Steget till professionell redigering
Exportera i 4K med 24, 30 eller 60 bilder per sekund. Utöver MP4 får du klipplistor i EDL- och XML-format för Premiere Pro och DaVinci Resolve.
-
Paketet ”Self API” för 15 USD per månad
Kunden anger sina egna nycklar för Gemini och Replicate och betalar leverantörerna endast för det som genereras. Abonnemanget täcker själva plattformen.
03Öppen källkod
Redigeringsmotorn är öppen
Ljudanalys och placering av klipp fungerar också separat som den öppna ComfyUI-noden Vibe Music Engine. github.com/lazniak/videoclipgenerator har varit offentligt sedan den 12 februari 2025 under licensen Apache 2.0.
Noden kör ljudspåret genom OpenAI:s Whisper-modeller och returnerar ordexakta undertexter, en EDL-klipplista, slagdetektering och tempouppskattning. Den kan köras lokalt, utan vår plattform.
Plattformen lägger till bildgenerering, en GPU-kö och ett gränssnitt. Båda versionerna levererar klipplistan i samma EDL-format.
04Historia
Från Vidgen.io till MovieshMash.to
Arbetet inleddes i början av 2023. Det leds av Paul Lazniak och Grzegorz Łaźniak. De första prototyperna kördes på Deforum under domänen Vidgen.io.
De stötte på två hinder: bildflimmer mellan bildrutorna och ytlig ljudförståelse. Systemet kände igen filen, men inte vad som hände i den.
År 2024 byggde vi om arkitekturen och utvecklade i2v master shoot-tekniken med hjälp av lyriska verk. Åren 2025–2026 ägnas åt multimodellerna Gemini och en produktversion, som fram till 2026 går under namnet Vidumidu.
Det är samma projekt som dagens MovieshMash.to. Namnet och arkitekturen förändrades, inte syftet.
Material från genomförda projekt
Har du material som behöver synkas med ljudet?
Beskriv vad du arbetar med. Vi delar upp det i en del som plattformen kan hantera direkt och en del som är smidigare att sätta ihop på plats från en öppen nod.
Boka workshop med Paul
Välj 30 minuter eller en hel workshop. Boka en tid i kalendern och få en bekräftelse direkt.