2023–2026 · Videoclipuri muzicale AI

MovieshMash.to: montaj ghidat de coloana sonoră

Platforma analizează fișierul audio: tempo, atmosferă și versuri. Generează cadrele pe această bază și montează secvențele pe ritm. Motorul de montaj este disponibil ca nod ComfyUI open source sub licență Apache 2.0.

Tehnologii: Gemini 1.5 Pro, GPT-4, randare GPU
Începutul lucrărilor: 2023
Export: 4K, 24, 30 sau 60 fps, EDL și XML
Adresă: movieshmash.to

01Provocare

Tăietura trebuie să cadă pe ritm

Videoclipul muzical, trailerul și formatele scurte pentru social media au o etapă comună: imaginea trebuie sincronizată cu sunetul. Manual, procesul înseamnă ascultare, markere pe timeline și selectarea cadrelor.

La fiecare piesă nouă, munca începe de la zero, deoarece markerele din piesa anterioară nu mai sunt valabile.

02Soluție

Analiza piesei, cadrele și montajul pe ritm

MovieshMash.to preia această etapă. După încărcarea fișierului, sistemul detectează tempo-ul (BPM), starea de spirit, versurile și structura emoțională a piesei, apoi generează cadrele și realizează montajul. Sloganul produsului: „Turn Audio Into Cinema”.

Analiza multimodală este realizată de Gemini 1.5 Pro și GPT-4. Sunt disponibile peste 14 modele video, iar randările rulează pe GPU-uri distribuite. Google Search Grounding asigură acuratețea scenelor în raport cu realitatea, iar platforma detectează și sincronizarea buzelor (lipsync).

Alegerea modelului rămâne la latitudinea utilizatorului, stilistica vizuală fiind o decizie artistică. Aceeași piesă poate fi montată în mai multe stiluri.

Timeline în loc de un singur buton
Control scenă cu scenă: fiecare cadru poate fi vizualizat, înlocuit sau regenerat, inclusiv prin comenzi date asistentului. Prima randare devine material de lucru.
Export pentru montaj profesional
Export până la 4K la 24, 30 sau 60 cadre pe secundă. Pe lângă MP4, liste de editare EDL și XML pentru Premiere Pro și DaVinci Resolve.
Abonament „Self API” la 15 USD pe lună
Clientul introduce propriile chei Gemini și Replicate și plătește direct furnizorilor strict pentru resursele consumate. Abonamentul acoperă exclusiv platforma.

03Cod sursă deschis

Motorul de montaj este open-source

Analiza audio și poziționarea tăieturilor funcționează și independent, ca nod deschis ComfyUI Vibe Music Engine. Depozitul github.com/lazniak/videoclipgenerator este public din 12 februarie 2025, sub licență Apache 2.0.

Nodul procesează pista prin modelele Whisper de la OpenAI și generează subtitrări exacte la nivel de cuvânt, o listă de tăieturi EDL, detecția ritmului și estimarea tempo-ului. Poate fi rulat local, fără platforma noastră.

Platforma adaugă generarea imaginilor, o coadă de procesare GPU și o interfață. Ambele versiuni livrează lista de tăieturi în același format EDL.

04Istoric

De la Vidgen.io la MovieshMash.to

Lucrul a început la începutul anului 2023. Proiectul este condus de Paul Lazniak și Grzegorz Łaźniak. Primele prototipuri au fost construite pe Deforum sub domeniul Vidgen.io.

S-au lovit de două obstacole: efectul de flickering între cadre și înțelegerea superficială a sunetului. Sistemul recunoștea fișierul, dar nu și conținutul său audio.

În 2024 am reconstruit arhitectura și am dezvoltat tehnica i2v master shoot pe piese lirice. Anii 2025–2026 aduc modelele multimodale Gemini și versiunea de produs, cunoscută până în 2026 sub numele Vidumidu.

Este același proiect ca actualul MovieshMash.to. S-au schimbat denumirea și arhitectura, nu și obiectivul.