2023–2026 · AI-muusikavideod
MovieshMash.to: heliribast juhinduv montaaž
Platvorm analüüsib helifaili tempot, meeleolu ja laulusõnu. Selle põhjal loob see kaadrid ja paneb kokku rütmiliste lõigetega montaaži. Montaažimootori avaldasime Apache 2.0 litsentsi alusel avatud ComfyUI-sõlmena.
- Tehnoloogiad
- Gemini 1.5 Pro, GPT-4, renderdamise GPU
- Tööde algus
- 2023
- Eksport
- 4K, 24, 30 või 60 kaadrit/s, EDL ja XML
- Aadress
- movieshmash.to
01Väljakutse
Lõige peab langema löögiga kokku
Muusikavideol, treileril ja sotsiaalmeedia lühivormil on ühine tööetapp: pilt tuleb heliga sünkroonida. Käsitsi tähendab see kuulamist, ajajoonele markerite lisamist ja võtete valimist.
Iga järgmise loo puhul algab see töö uuesti, sest eelmise loo märgendid enam ei kehti.
02Lahendus
Teose analüüs, kaadrid ja rütmi järgi monteerimine
MovieshMash.to hoolitseb selle osa eest. Pärast faili üleslaadimist tuvastab süsteem loo tempo (BPM), meeleolu, sõnad ja emotsionaalse struktuuri ning loob seejärel kaadrid ja paneb need montaažiks kokku. Toote tunnuslause: „Turn Audio Into Cinema”.
Multimodaalse analüüsi teevad Gemini 1.5 Pro ja GPT-4. Valida saab enam kui 14 videomudeli vahel ning renderdamine toimub hajutatud GPU-de abil. Google Search Grounding tagab stseenide vastavuse tegelikkusele, platvorm tuvastab ka huulte sünkroonimise.
Mudeli valik jääb kasutajale, sest pildi stiil on kunstiline otsus. Sama teose saab luua mitmes laadis.
-
Ajajoon ühe nupu asemel
Juhtige stseene ükshaaval: iga võtet saab vaadata, asendada või uuesti genereerida, ka assistendile antud juhisega. Esimene render on töötlemiseks mõeldud materjal.
-
Väljapääs professionaalse montaaži juurde
4K eksport 24, 30 või 60 kaadrit sekundis. Lisaks MP4-le EDL-i lõikeloendid ja XML-failid Premiere Pro ja DaVinci Resolve’i jaoks.
-
„Self API” pakett hinnaga 15 USD kuus
Klient kasutab oma Gemini ja Replicate’i võtmeid ning maksab teenusepakkujatele ainult loodud sisu eest. Tellimus katab üksnes platvormi.
03Avatud lähtekood
Monteerimismootor on avatud
Helianalüüs ja lõigete paigutus töötavad ka eraldi avatud ComfyUI sõlmena Vibe Music Engine. Repositoorium github.com/lazniak/videoclipgenerator on avalik alates 12. veebruarist 2025, litsentsiga Apache 2.0.
Sõlm töötleb heliriba OpenAI Whisperi mudelite abil ning väljastab sõnasõnalised subtiitrid, EDL-lõigete loendi, löökide tuvastuse ja tempo hinnangu. Seda saab käivitada oma keskkonnas, ilma meie platvormita.
Platvorm lisab pildigeneraatori, GPU järjekorra ja kasutajaliidese. Mõlemad versioonid väljastavad lõigete loendi samas EDL-vormingus.
04Ajalugu
Vidgen.io-st MovieshMash.to-ni
Tööd algasid 2023. aasta alguses. Neid juhivad Paul Lazniak ja Grzegorz Łaźniak. Esimesed prototüübid põhinesid Deforumil domeenil Vidgen.io.
Lahenduse teostamisel põrkasime kokku kahe takistusega: pildi vilkumine kaadrite vahel ja heli pealiskaudne mõistmine. Süsteem tuvastas faili, kuid mitte seda, mis selles toimub.
2024. aastal kujundasime arhitektuuri ümber ja töötasime lüüriliste teoste põhjal välja i2v master shoot’i tehnika. Aastatel 2025–2026 keskendume Gemini multimodaalsetele mudelitele ja tooteversioonile, mis kannab kuni 2026. aastani nime Vidumidu.
See on sama projekt mis praegune MovieshMash.to. Muutusid nimi ja arhitektuur, mitte eesmärk.
Teostatud tööde materjalid
Kas soovite heli materjaliga sünkroonida?
Kirjeldage, millega töötate. Jagame selle osaks, mida platvorm saab kohe hallata, ja osaks, mida on mugavam kohapeal avatud sõlme abil kokku panna.
Broneerige töötuba Pauliga
Valige 30 minutit või terve töötuba. Broneerige aeg kalendris, kinnitus saabub kohe.