Ugrás a tartalomra

2023–2026 · AI-videóklipek

MovieshMash.to: hangsáv által vezérelt vágás

A platform elemzi a hangfájlt: a tempót, a hangulatot és a dalszöveget. Ezek alapján snitteket generál, és ritmusra vágja össze a filmet. A vágómotort nyílt ComfyUI-csomópontként tettük elérhetővé, Apache 2.0 licenc alatt.

Technológiák
Gemini 1.5 Pro, GPT-4, renderelő GPU
A munkálatok kezdete
2023
Exportálás
4K, 24, 30 vagy 60 képkocka/mp, EDL és XML
Cím
movieshmash.to

01Kihívás

A vágás az ütésre essen

A videoklip, az előzetes és a közösségi médiára készülő rövid videó elkészítésében van egy közös lépés: a képet össze kell hangolni a hanggal. Kézzel ez meghallgatást, idővonalon elhelyezett jelölőket és a felvételek kiválasztását jelenti.

Minden újabb zeneszámnál elölről kezdődik a munka, mert az előző zeneszám jelölései már nem érvényesek.

02Megoldás

A zenemű, a felvételek és a ritmusra vágás elemzése

MovieshMash.to elvégzi ezt a feladatot. A fájl feltöltése után a rendszer felismeri a tempót (BPM), a hangulatot, a szöveget és a dal érzelmi felépítését, majd jeleneteket generál, és összevágja belőlük a videót. A termék szlogenje: „Turn Audio Into Cinema”.

A multimodális elemzést a Gemini 1.5 Pro és a GPT-4 végzi. Több mint 14 videómodell közül választhat, a renderelés pedig elosztott GPU-kon fut. A Google Search Grounding ellenőrzi, hogy a jelenetek megfelelnek-e a valóságnak, a platform pedig az ajakszinkront is felismeri.

A modell kiválasztása a felhasználóra marad, mert a képi világ művészi döntés kérdése. Ugyanaz a mű többféle stílusban is összeállítható.

  • Egyetlen gomb helyett idővonal

    Jelenetről jelenetre történő ellenőrzés: minden felvétel megtekinthető, lecserélhető vagy újragenerálható, akár az asszisztensnek adott utasítással is. Az első render munkaváltozat.

  • Belépés a professzionális videóvágás világába

    Exportálás 4K felbontásban, 24, 30 vagy 60 képkocka/másodperc sebességgel. Az MP4 mellett EDL-vágólista és XML-fájl a Premiere Pro és a DaVinci Resolve számára.

  • „Self API” csomag havi 15 USD-ért

    Az ügyfél a saját Gemini- és Replicate-kulcsait használja, és csak a generált tartalomért fizet a szolgáltatóknak. Az előfizetés kizárólag a platform használatát fedezi.

03Nyílt forráskód

A szerkesztőmotor nyitott forráskódú

A hangelemzés és a vágások elhelyezése külön is működik, nyílt ComfyUI-csomópontként: Vibe Music Engine. A github.com/lazniak/videoclipgenerator adattár 2025. február 12. óta nyilvános, Apache 2.0 licenc alatt.

A csomópont az OpenAI Whisper modelljein futtatja át a hangsávot, és szó szerinti pontosságú feliratokat, EDL-vágáslistát, ütemütés-felismerést és tempóbecslést ad vissza. Saját környezetében is futtathatja, a platformunk nélkül.

A platform képgenerálást, GPU-sorbaállítást és felhasználói felületet biztosít. Mindkét verzió ugyanabban az EDL-formátumban adja vissza a vágások listáját.

04Történet

A Vidgen.io-tól a MovieshMash.to-ig

A munka 2023 elején kezdődött. Paul Lazniak és Grzegorz Łaźniak vezeti. Az első prototípusok a Deforumra épültek, a Vidgen.io domain alatt.

Két akadályba ütköztek: a képkockák közötti villódzásba és a hang felszínes értelmezésébe. A rendszer felismerte a fájlt, de azt nem, hogy mi történik benne.

2024-ben átalakítottuk az architektúrát, és lírai műveken dolgoztuk ki az i2v master shoot technikát. A 2025–2026-os időszak a Gemini multimodális modellekről és a termékverzióról szól, amely 2026-ig Vidumidu néven fut.

Ez ugyanaz a projekt, mint a mai MovieshMash.to. A neve és az architektúrája változott, a célja nem.

Megvalósítási anyagok

Van olyan anyaga, amelyet hanggal kell szinkronizálni?

Írja le, mivel dolgozik. Szétválasztjuk azokat a feladatokat, amelyeket a platform azonnal el tud látni, és azokat, amelyeket célszerűbb helyben, nyílt csomópontból összeállítani.

Foglaljon workshopot Paullal

Válasszon harminc percet vagy teljes workshopot. Az időpontot a naptárban foglalhatja le, a visszaigazolás azonnal megérkezik.