Siirry sisältöön

2023–2026 · AI-musiikkivideot

MovieshMash.to: ääniraidan ohjaama leikkaus

Alusta analysoi äänitiedoston tempon, tunnelman ja kappaleen sanat. Näiden perusteella se luo otoksia ja kokoaa leikkauksen rytmiin. Julkaisimme leikkausmoottorin avoimena ComfyUI-solmuna Apache 2.0 -lisenssillä.

Teknologiat
Gemini 1.5 Pro, GPT-4, renderöintiin tarkoitettu GPU
Työn aloitus
2023
Vie
4K, 24, 30 tai 60 kuvaa/s, EDL ja XML
Osoite
movieshmash.to

01Haaste

Leikkauksen pitää osua iskuun

Musiikkivideossa, trailerissa ja lyhyessä sosiaalisen median videossa on sama työvaihe: kuva on synkronoitava äänen kanssa. Käsin tehtynä se tarkoittaa kuuntelua, aikajanan merkintöjä ja otosten valintaa.

Jokaisen seuraavan teoksen kohdalla työ alkaa alusta, koska edellisen teoksen aikakoodit eivät enää päde.

02Ratkaisu

Kappaleen, kuvausten ja rytmin mukaisen leikkauksen analysointi

MovieshMash.to hoitaa tämän osuuden. Kun tiedosto on ladattu, järjestelmä tunnistaa kappaleen tempon (BPM), tunnelman, sanat ja tunnekaaren, minkä jälkeen se luo otokset ja kokoaa niistä leikkauksen. Tuotteen tunnuslause: ”Turn Audio Into Cinema”.

Multimodaalisen analyysin tekevät Gemini 1.5 Pro ja GPT-4. Valittavana on yli 14 videomallia, ja renderöinti tapahtuu hajautetuilla GPU:illa. Google Search Grounding varmistaa kohtausten vastaavuuden todellisuuteen, ja alusta tunnistaa myös huulisynkronoinnin.

Mallin valinta jää käyttäjälle, sillä kuvan tyyli on taiteellinen päätös. Sama teos voidaan koota useilla eri tyyleillä.

  • Aikajana yhden painikkeen sijaan

    Kohtauskohtainen hallinta: jokaisen otoksen voi katsoa, vaihtaa tai luoda uudelleen myös antamalla komennon avustajalle. Ensimmäinen renderöinti on muokattava pohja.

  • Ammattilaiseksi leikkausalalla

    Vie 4K-tarkkuudella 24, 30 tai 60 kuvaa sekunnissa. MP4-tiedoston lisäksi saat EDL- ja XML-leikkauslistat Premiere Prota ja DaVinci Resolvea varten.

  • ”Self API” -tilaus, 15 USD kuukaudessa

    Asiakas käyttää omia Gemini- ja Replicate-avaimiaan ja maksaa palveluntarjoajille vain tuottamastaan sisällöstä. Tilaus kattaa pelkän alustan.

03Avoin lähdekoodi

Editointimoottori on avoin lähdekoodiltaan

Äänianalyysi ja leikkauskohtien sijoittelu toimivat myös erillisenä, avoimen lähdekoodin ComfyUI-solmuna Vibe Music Engine. github.com/lazniak/videoclipgenerator-repositorio on ollut julkinen 12. helmikuuta 2025 lähtien Apache 2.0 -lisenssillä Apache 2.0.

Solmu käsittelee ääniraidan OpenAI:n Whisper-malleilla ja palauttaa sanantarkat tekstitykset, EDL-leikkauslistan, iskujen tunnistuksen ja tempoarvion. Sen voi suorittaa omassa ympäristössä ilman alustaamme.

Alusta lisää kuvien generoinnin, GPU-jonon ja käyttöliittymän. Molemmat versiot tuottavat leikkauslistan samassa EDL-muodossa.

04Historia

Vidgen.io:sta MovieshMash.to:hon

Työt alkoivat vuoden 2023 alussa. Niitä johtavat Paul Lazniak ja Grzegorz Łaźniak. Ensimmäiset prototyypit toimivat Deforumissa Vidgen.io-verkkotunnuksella.

Ratkaisut kariutuivat kahteen esteeseen: kuvan välkyntään ruutujen välillä ja äänen pinnalliseen ymmärtämiseen. Järjestelmä tunnisti tiedoston, mutta ei sitä, mitä siinä tapahtuu.

Vuonna 2024 uudistimme arkkitehtuurin ja kehitimme lyriikkakappaleiden pohjalta i2v master shoot -tekniikan. Vuosina 2025–2026 siirryimme Geminin multimodaalisiin malleihin ja tuotantoversioon, joka tunnettiin vuoteen 2026 asti nimellä Vidumidu.

Kyseessä on sama projekti kuin nykyinen MovieshMash.to. Nimi ja arkkitehtuuri muuttuivat, tarkoitus ei.

Toteutuksen materiaalit

Onko sinulla materiaalia, joka pitää synkronoida äänen kanssa?

Kuvaile, minkä parissa työskentelet. Jaamme sen osaan, jonka alusta käsittelee heti, ja osaan, joka kannattaa koota paikan päällä avoimesta solmusta.

Varaa työpaja Paulin kanssa

Valitse 30 minuuttia tai kokonainen työpaja. Varaa aika kalenterista, vahvistus tulee heti.