2023–2026 · AI-musiikkivideot
MovieshMash.to: ääniraidan ohjaama leikkaus
Alusta analysoi äänitiedoston tempon, tunnelman ja kappaleen sanat. Näiden perusteella se luo otoksia ja kokoaa leikkauksen rytmiin. Julkaisimme leikkausmoottorin avoimena ComfyUI-solmuna Apache 2.0 -lisenssillä.
- Teknologiat
- Gemini 1.5 Pro, GPT-4, renderöintiin tarkoitettu GPU
- Työn aloitus
- 2023
- Vie
- 4K, 24, 30 tai 60 kuvaa/s, EDL ja XML
- Osoite
- movieshmash.to
01Haaste
Leikkauksen pitää osua iskuun
Musiikkivideossa, trailerissa ja lyhyessä sosiaalisen median videossa on sama työvaihe: kuva on synkronoitava äänen kanssa. Käsin tehtynä se tarkoittaa kuuntelua, aikajanan merkintöjä ja otosten valintaa.
Jokaisen seuraavan teoksen kohdalla työ alkaa alusta, koska edellisen teoksen aikakoodit eivät enää päde.
02Ratkaisu
Kappaleen, kuvausten ja rytmin mukaisen leikkauksen analysointi
MovieshMash.to hoitaa tämän osuuden. Kun tiedosto on ladattu, järjestelmä tunnistaa kappaleen tempon (BPM), tunnelman, sanat ja tunnekaaren, minkä jälkeen se luo otokset ja kokoaa niistä leikkauksen. Tuotteen tunnuslause: ”Turn Audio Into Cinema”.
Multimodaalisen analyysin tekevät Gemini 1.5 Pro ja GPT-4. Valittavana on yli 14 videomallia, ja renderöinti tapahtuu hajautetuilla GPU:illa. Google Search Grounding varmistaa kohtausten vastaavuuden todellisuuteen, ja alusta tunnistaa myös huulisynkronoinnin.
Mallin valinta jää käyttäjälle, sillä kuvan tyyli on taiteellinen päätös. Sama teos voidaan koota useilla eri tyyleillä.
-
Aikajana yhden painikkeen sijaan
Kohtauskohtainen hallinta: jokaisen otoksen voi katsoa, vaihtaa tai luoda uudelleen myös antamalla komennon avustajalle. Ensimmäinen renderöinti on muokattava pohja.
-
Ammattilaiseksi leikkausalalla
Vie 4K-tarkkuudella 24, 30 tai 60 kuvaa sekunnissa. MP4-tiedoston lisäksi saat EDL- ja XML-leikkauslistat Premiere Prota ja DaVinci Resolvea varten.
-
”Self API” -tilaus, 15 USD kuukaudessa
Asiakas käyttää omia Gemini- ja Replicate-avaimiaan ja maksaa palveluntarjoajille vain tuottamastaan sisällöstä. Tilaus kattaa pelkän alustan.
03Avoin lähdekoodi
Editointimoottori on avoin lähdekoodiltaan
Äänianalyysi ja leikkauskohtien sijoittelu toimivat myös erillisenä, avoimen lähdekoodin ComfyUI-solmuna Vibe Music Engine. github.com/lazniak/videoclipgenerator-repositorio on ollut julkinen 12. helmikuuta 2025 lähtien Apache 2.0 -lisenssillä Apache 2.0.
Solmu käsittelee ääniraidan OpenAI:n Whisper-malleilla ja palauttaa sanantarkat tekstitykset, EDL-leikkauslistan, iskujen tunnistuksen ja tempoarvion. Sen voi suorittaa omassa ympäristössä ilman alustaamme.
Alusta lisää kuvien generoinnin, GPU-jonon ja käyttöliittymän. Molemmat versiot tuottavat leikkauslistan samassa EDL-muodossa.
04Historia
Vidgen.io:sta MovieshMash.to:hon
Työt alkoivat vuoden 2023 alussa. Niitä johtavat Paul Lazniak ja Grzegorz Łaźniak. Ensimmäiset prototyypit toimivat Deforumissa Vidgen.io-verkkotunnuksella.
Ratkaisut kariutuivat kahteen esteeseen: kuvan välkyntään ruutujen välillä ja äänen pinnalliseen ymmärtämiseen. Järjestelmä tunnisti tiedoston, mutta ei sitä, mitä siinä tapahtuu.
Vuonna 2024 uudistimme arkkitehtuurin ja kehitimme lyriikkakappaleiden pohjalta i2v master shoot -tekniikan. Vuosina 2025–2026 siirryimme Geminin multimodaalisiin malleihin ja tuotantoversioon, joka tunnettiin vuoteen 2026 asti nimellä Vidumidu.
Kyseessä on sama projekti kuin nykyinen MovieshMash.to. Nimi ja arkkitehtuuri muuttuivat, tarkoitus ei.
Toteutuksen materiaalit
Onko sinulla materiaalia, joka pitää synkronoida äänen kanssa?
Kuvaile, minkä parissa työskentelet. Jaamme sen osaan, jonka alusta käsittelee heti, ja osaan, joka kannattaa koota paikan päällä avoimesta solmusta.
Varaa työpaja Paulin kanssa
Valitse 30 minuuttia tai kokonainen työpaja. Varaa aika kalenterista, vahvistus tulee heti.