2023–2026 · Videoklipy vytvorené pomocou AI
MovieshMash.to: montáž vedený zvukovou stopou
Platforma analyzuje zvukový súbor: tempo, náladu a text skladby. Na tomto základe generuje zábery a zostavuje strih s prechodmi do rytmu. Strihový nástroj sme sprístupnili ako otvorený uzol ComfyUI pod licenciou Apache 2.0.
- Technológie
- Gemini 1.5 Pro, GPT-4, renderovacia GPU
- Začiatok prác
- 2023
- Export
- 4K, 24, 30 alebo 60 sn./s, EDL a XML
- Adresa
- movieshmash.to
01Výzva
Strih má padnúť na úder
Videoklip, trailer a krátke video na sociálne siete majú spoločnú časť práce: obraz treba zosynchronizovať so zvukom. Ručne to znamená počúvanie, značky na časovej osi a výber záberov.
Pri každej ďalšej skladbe sa táto práca začína odznova, pretože značky z predchádzajúcej skladby už nie sú aktuálne.
02Riešenie
Analýza skladby, záberov a strihu do rytmu
MovieshMash.to sa postará o túto časť. Po nahratí súboru systém rozpozná tempo (BPM), náladu, text a emocionálnu štruktúru skladby, potom vytvorí zábery a zostaví z nich výsledný zostrih. Slogan produktu: „Turn Audio Into Cinema“.
Multimodálnu analýzu vykonávajú Gemini 1.5 Pro a GPT-4. Na výber je viac ako 14 video modelov a rendering prebieha na distribuovaných GPU. Google Search Grounding kontroluje súlad scén s realitou a platforma zisťuje aj synchronizáciu pohybu pier.
Výber modelu zostáva na používateľovi, pretože vizuálny štýl je umeleckým rozhodnutím. Rovnaké dielo možno vytvoriť v niekoľkých štýloch.
-
Časová os namiesto jedného tlačidla
Kontrola scénu po scéne: každý záber si môžete pozrieť, vymeniť alebo znova vygenerovať, aj pomocou pokynu pre asistenta. Prvý render je materiál na ďalšie spracovanie.
-
Kariéra v profesionálnom strihu
Export do 4K pri 24, 30 alebo 60 snímkach za sekundu. Okrem MP4 aj zoznamy strihov EDL a XML pre Premiere Pro a DaVinci Resolve.
-
Plán „Self API“ za 15 USD mesačne
Klient zadáva vlastné kľúče Gemini a Replicate a dodávateľom platí len za to, čo vygeneruje. Predplatné pokrýva samotnú platformu.
03Otvorený kód
Strihový engine je otvorený
Analýza zvuku a rozmiestnenie strihov fungujú aj samostatne ako otvorený uzol ComfyUI Vibe Music Engine. Repozitár github.com/lazniak/videoclipgenerator je verejný od 12. februára 2025 pod licenciou Apache 2.0.
Uzol spracuje zvuk pomocou modelov Whisper od OpenAI a vráti titulky s presnosťou na jednotlivé slová, zoznam strihov EDL, detekciu úderov a odhad tempa. Môžete ho spustiť vo vlastnom prostredí, bez našej platformy.
Platforma pridáva generovanie obrázkov, front GPU a rozhranie. Obe verzie exportujú zoznam strihov v rovnakom formáte EDL.
04História
Od Vidgen.io po MovieshMash.to
Práce sa začali začiatkom roka 2023. Vedú ich Paul Lazniak a Grzegorz Łaźniak. Prvé prototypy bežali na Deforum pod doménou Vidgen.io.
Narazili na dve prekážky: blikanie obrazu medzi snímkami a povrchné porozumenie zvuku. Systém rozpoznal súbor, ale nie to, čo sa v ňom deje.
V roku 2024 sme prepracovali architektúru a na lyrických skladbách vyvinuli techniku i2v master shoot. Roky 2025–2026 prinášajú multimodálne modely Gemini a produktovú verziu, do roku 2026 pod názvom Vidumidu.
Je to ten istý projekt ako dnešný MovieshMash.to. Menil sa názov a architektúra, nie zámer.
Materiály z realizácie
Máte materiál na zosynchronizovanie so zvukom?
Opíšte, s čím pracujete. Rozdelíme to na časť, ktorú platforma zvládne hneď, a na tú, ktorú bude jednoduchšie zostaviť na mieste z otvoreného uzla.
Dohodnúť workshop s Paulom
Vyberte si tridsať minút alebo celý workshop. Termín si zarezervujete v kalendári, potvrdenie príde okamžite.