MovieshMash.to: montaż prowadzony ścieżką dźwiękową

Problem: cięcie ma padać tam, gdzie pada uderzenie

Teledysk, zwiastun i krótka forma na media społecznościowe mają wspólną część roboty: obraz trzeba zsynchronizować z dźwiękiem. Ręcznie robi się to na osi czasu – odsłuch, rozstawienie znaczników, dobór ujęć, które w te znaczniki trafiają. Przy każdym kolejnym utworze ta sama praca zaczyna się od początku, bo znaczniki z poprzedniego są już nieaktualne.

MovieshMash.to przejmuje tę część. Użytkownik wgrywa plik dźwiękowy. System wykrywa tempo (BPM), nastrój, tekst utworu i jego budowę emocjonalną, a potem generuje ujęcia i składa z nich montaż z cięciami w rytm. Własne hasło produktu brzmi „Turn Audio Into Cinema”.

Z czego złożona jest platforma

Za analizę multimodalną odpowiadają Gemini 1.5 Pro i GPT-4. Do generowania obrazu udostępniamy ponad 14 modeli wideo do wyboru, a same renderingi idą na rozproszone GPU. Google Search Grounding odpowiada za wierność scen realiom, a wykrywanie lipsync działa po stronie platformy.

Wybór modelu zostaje przy użytkowniku, bo stylistyka obrazu jest decyzją artystyczną, a nie ustawieniem domyślnym – ten sam utwór można złożyć w kilku konwencjach. Renderingi idą przy tym na rozproszone GPU, więc obraz nie powstaje na komputerze autora.

• Oś czasu zamiast jednego przycisku

  Edytor daje kontrolę scena po scenie: każde ujęcie można obejrzeć, podmienić albo wygenerować jeszcze raz. Poprawki można też opisać słowami asystentowi czatowemu. Pierwszy render jest materiałem do obróbki, nie wynikiem końcowym.

• Wyjście do zawodowego montażu

  Eksport sięga 4K przy 24, 30 albo 60 klatkach na sekundę. Obok gotowego MP4 platforma oddaje listy cięć w formatach EDL i XML dla Premiere Pro oraz DaVinci Resolve, więc projekt można dokończyć w programie montażowym, poza platformą.

• Plan „Self API” za 15 USD miesięcznie

  Klient podaje własne klucze Gemini i Replicate i płaci dostawcom modeli wyłącznie za to, co faktycznie wygeneruje. Rachunek za obraz idzie wtedy wprost do dostawcy, a abonament pokrywa samą platformę.

Silnik montażowy jest otwarty

Część odpowiedzialna za analizę dźwięku i rozstawienie cięć istnieje osobno – jako otwarty węzeł do ComfyUI o nazwie Vibe Music Engine. Repozytorium github.com/lazniak/videoclipgenerator jest publiczne od 12 lutego 2025 roku i wydane na licencji Apache 2.0.

Węzeł przepuszcza ścieżkę dźwiękową przez modele Whisper od OpenAI i zwraca cztery rzeczy: napisy z dokładnością do pojedynczego słowa, listę cięć w formacie EDL do dalszego montażu, detekcję uderzeń oraz estymację tempa. To znaczy, że kto chce zrozumieć albo uruchomić ten mechanizm u siebie, może to zrobić bez naszej platformy i bez pytania nas o zgodę. Platforma dokłada do tego warstwę generowania obrazu, kolejkę GPU i interfejs.

Listę cięć obie wersje oddają w tym samym formacie – EDL. Kto zaczyna od otwartego węzła, pracuje więc na wyjściu, które platforma również potrafi wystawić.

Skąd to się wzięło

Prace zaczęły się na początku 2023 roku – prowadzą je Paul Lazniak i Grzegorz Łaźniak. Pierwsze prototypy stały na Deforum i działały pod domeną Vidgen.io. Rozbiły się o dwie przeszkody: migotanie obrazu między klatkami („flickering”) oraz płytkie rozumienie warstwy dźwiękowej – system rozpoznawał plik, ale nie to, co się w nim dzieje.

W 2024 roku przebudowaliśmy architekturę. Badania prowadziliśmy na utworach lirycznych, wtedy powstała technika i2v master shoot. Lata 2025–2026 to modele multimodalne Gemini i wersja produktowa, która do 2026 roku działała pod nazwą Vidumidu. To ten sam projekt, który dziś nazywa się MovieshMash.to – zmieniała się nazwa i architektura, nie zamiar.