2023–2026 · Hudební videoklipy AI
MovieshMash.to: střih vedený zvukovou stopou
Platforma analyzuje zvukový soubor: tempo, náladu a text skladby. Na tomto základě generuje záběry a sestavuje střih s přechody do rytmu. Střihový engine jsme zpřístupnili jako otevřený uzel ComfyUI pod licencí Apache 2.0.
- Technologie
- Gemini 1.5 Pro, GPT-4, renderovací GPU
- Zahájení prací
- 2023
- Export
- 4K, 24, 30 nebo 60 sn./s, EDL a XML
- Adresa
- movieshmash.to
01Výzva
Střih musí vyjít na úder
Hudební videoklip, trailer i krátké formáty pro sociální sítě mají společnou část práce: obraz je třeba synchronizovat se zvukem. Ručně to znamená poslech, značky na časové ose a výběr záběrů.
U každé další skladby tato práce začíná od začátku, protože značky z předchozí skladby už nejsou aktuální.
02Řešení
Rozbor skladby, záběrů a střih v rytmu
MovieshMash.to přebírá tuto část. Po nahrání souboru systém rozpozná tempo (BPM), náladu, text a emocionální strukturu skladby, poté vygeneruje záběry a sestaví z nich střih. Slogan produktu: „Turn Audio Into Cinema“.
Multimodální analýzu zajišťují Gemini 1.5 Pro a GPT-4. Na výběr je více než 14 video modelů a rendery běží na distribuovaných GPU. Google Search Grounding ověřuje, zda scény odpovídají realitě, platforma také detekuje synchronizaci rtů.
Výběr modelu zůstává na uživateli, protože styl obrazu je umělecké rozhodnutí. Stejné dílo lze vytvořit v několika konvencích.
-
Časová osa místo jediného tlačítka
Kontrola záběr po záběru: každý záběr lze zhlédnout, vyměnit nebo znovu vygenerovat, také zadáním pokynu asistentovi. První render je materiál k úpravám.
-
Cesta k profesionálnímu střihu
Export do 4K při 24, 30 nebo 60 snímcích za sekundu. Kromě MP4 také seznamy střihů EDL a XML pro Premiere Pro a DaVinci Resolve.
-
Tarif „Self API“ za 15 USD měsíčně
Klient zadá vlastní klíče Gemini a Replicate a platí dodavatelům pouze za to, co vygeneruje. Předplatné pokrývá samotnou platformu.
03Otevřený kód
Střihový engine je otevřený
Analýza zvuku a rozmístění střihů fungují také samostatně jako otevřený uzel ComfyUI Vibe Music Engine. Repozitář github.com/lazniak/videoclipgenerator je veřejný od 12. února 2025 pod licencí Apache 2.0.
Uzel zpracuje zvuk pomocí modelů Whisper od OpenAI a vrátí titulky s přesností na jednotlivá slova, seznam střihů EDL, detekci úderů a odhad tempa. Lze jej spustit lokálně, bez naší platformy.
Platforma přidává generování obrazu, frontu GPU a rozhraní. Obě verze předávají seznam střihů ve stejném formátu EDL.
04Historie
Z Vidgen.io na MovieshMash.to
Práce začaly začátkem roku 2023. Vedou je Paul Lazniak a Grzegorz Łaźniak. První prototypy běžely na Deforum pod doménou Vidgen.io.
Narazily na dvě překážky: blikání obrazu mezi snímky a povrchní porozumění zvuku. Systém rozpoznal soubor, ale ne to, co se v něm děje.
V roce 2024 jsme přepracovali architekturu a na lyrických skladbách vyvinuli techniku i2v master shoot. V letech 2025–2026 přišly multimodální modely Gemini a produktová verze, do roku 2026 pod názvem Vidumidu.
Je to tentýž projekt jako dnešní MovieshMash.to. Měnil se název a architektura, nikoli záměr.
Materiály z realizace
Potřebujete synchronizovat materiál se zvukem?
Popište, s čím pracujete. Rozdělíme to na část, kterou platforma zvládne hned, a na část, kterou bude praktičtější sestavit na místě z otevřeného uzlu.
Domluvit workshop s Paulem
Vyberte si třicet minut nebo celý workshop. Termín rezervujete v kalendáři a potvrzení přijde ihned.