2023–2026 · DI klipai
MovieshMash.to: montažas pagal garso takelį
Platforma analizuoja garso failą: tempą, nuotaiką ir kūrinio tekstą. Remdamasi šia informacija, ji generuoja kadrus ir sudėlioja montažą, sinchronizuodama kirpimus su ritmu. Montažo variklį paskelbėme kaip atvirą ComfyUI mazgą pagal Apache 2.0 licenciją.
- Technologijos
- Gemini 1.5 Pro, GPT-4, vaizdavimo GPU
- Darbų pradžia
- 2023
- Eksportuoti
- 4K, 24, 30 arba 60 k./s, EDL ir XML
- Adresas
- movieshmash.to
01Iššūkis
Montažo pjūvis turi sutapti su muzikos akcentu
Vaizdo klipui, anonsui ir trumpam socialinių tinklų vaizdo įrašui reikia atlikti tą patį darbą: sinchronizuoti vaizdą su garsu. Rankiniu būdu tai reiškia perklausą, žymų žymėjimą laiko juostoje ir kadrų parinkimą.
Su kiekvienu kitu kūriniu šis darbas pradedamas iš naujo, nes ankstesnio kūrinio žymos jau nebegalioja.
02Sprendimas
Kūrinio analizė, kadruotė ir montažas pagal ritmą
MovieshMash.to pasirūpina šia dalimi. Įkėlus failą, sistema nustato kūrinio tempą (BPM), nuotaiką, tekstą ir emocinę struktūrą, tada generuoja kadrus ir iš jų sumontuoja vaizdo įrašą. Produkto šūkis: „Turn Audio Into Cinema“.
Multimodalinę analizę atlieka Gemini 1.5 Pro ir GPT-4. Galima rinktis iš daugiau nei 14 vaizdo įrašų modelių, o atvaizdavimas vyksta paskirstytuose GPU. „Google Search Grounding“ užtikrina, kad scenos atitiktų tikrovę, platforma taip pat aptinka lūpų sinchronizaciją.
Modelį pasirenka pats naudotojas, nes vaizdo stilistika yra meninis sprendimas. Tą patį kūrinį galima sukurti keliais stiliais.
-
Laiko juosta vietoj vieno mygtuko
Kontrolė scena po scenos: kiekvieną kadrą galima peržiūrėti, pakeisti arba sugeneruoti iš naujo, taip pat nurodant tai asistentui. Pirmasis vaizdo atvaizdavimas yra medžiaga tolesniam apdorojimui.
-
Žingsnis profesionalaus montažo link
Eksportas iki 4K raiškos, 24, 30 arba 60 kadrų per sekundę. Be MP4, pateikiami EDL ir XML montažo sąrašai, skirti „Premiere Pro“ ir „DaVinci Resolve“.
-
„Self API“ planas už 15 USD per mėnesį
Klientas pateikia savo „Gemini“ ir „Replicate“ raktus ir moka tiekėjams tik už tai, ką sugeneruoja. Prenumerata apima tik pačią platformą.
03Atvirasis kodas
Montavimo variklis yra atviras
Garso analizė ir montažo taškų parinkimas veikia ir atskirai kaip atviras ComfyUI mazgas Vibe Music Engine. Saugykla github.com/lazniak/videoclipgenerator viešai prieinama nuo 2025 m. vasario 12 d. pagal Apache 2.0 licenciją.
Mazgas apdoroja garso takelį naudodamas „OpenAI“ Whisper modelius ir pateikia žodžių tikslumu suderintus subtitrus, EDL iškarpų sąrašą, smūgių aptikimą ir tempo įvertį. Jį galima paleisti savo aplinkoje, nenaudojant mūsų platformos.
Platforma papildo sistemą vaizdų generavimo funkcija, GPU užduočių eile ir sąsaja. Abi versijos pateikia montažo pjūvių sąrašą tuo pačiu EDL formatu.
04Istorija
Nuo Vidgen.io iki MovieshMash.to
Darbai prasidėjo 2023 m. pradžioje. Juos vykdo Paul Lazniak ir Grzegorz Łaźniak. Pirmieji prototipai veikė „Deforum“ platformoje domenu Vidgen.io.
Jie susidūrė su dviem kliūtimis: vaizdo mirgėjimu tarp kadrų ir paviršutinišku garso supratimu. Sistema atpažindavo failą, bet ne tai, kas jame vyksta.
2024 m. pertvarkėme architektūrą ir, remdamiesi lyriniais kūriniais, sukūrėme „i2v master shoot“ techniką. 2025–2026 m., multimodaliniai „Gemini“ modeliai ir produkto versija, iki 2026 m. vadinta Vidumidu.
Tai tas pats projektas kaip šiandieninis MovieshMash.to. Keitėsi pavadinimas ir architektūra, bet ne sumanymas.
Įgyvendinimo medžiaga
Turite medžiagos, kurią reikia sinchronizuoti su garsu?
Aprašykite, su kuo dirbate. Atskirsime dalį, kurią platforma galės apdoroti iš karto, nuo tos, kurią patogiau surinkti vietoje iš atviro mazgo.
Užsakyti praktinius mokymus su Paul
Pasirinkite trisdešimt minučių arba visą seminarą. Laiką rezervuojate kalendoriuje, patvirtinimas ateina iš karto.