Pāriet uz saturu

2023–2026 · AI mūzikas video

MovieshMash.to: montāža pēc skaņas celiņa

Platforma analizē audiofailu: tempu, noskaņu un dziesmas tekstu. Pamatojoties uz šo analīzi, tā ģenerē kadrus un veido montāžu ar ritmam pieskaņotiem griezumiem. Montāžas dzinēju esam publicējuši kā atvērtu ComfyUI mezglu ar Apache 2.0 licenci.

Tehnoloģijas
Gemini 1.5 Pro, GPT-4, renderēšanas GPU
Darbu sākums
2023
Eksports
4K, 24, 30 vai 60 kadri/s, EDL un XML
Adrese
movieshmash.to

01Izaicinājums

Griezumam jātrāpa ritmā

Mūzikas videoklipam, reklāmas rullītim un īsformāta saturam sociālajos tīklos ir kopīgs viens darba posms: attēls jāsasinhronizē ar skaņu. Manuāli tas nozīmē noklausīšanos, atzīmju ievietošanu laika skalā un kadru atlasi.

Ar katru nākamo skaņdarbu šis darbs sākas no jauna, jo iepriekšējā skaņdarba marķieri vairs nav aktuāli.

02Risinājums

Analizējiet skaņdarbu, kadrus un montāžu atbilstoši ritmam

MovieshMash.to parūpējas par šo daļu. Pēc faila augšupielādes sistēma nosaka skaņdarba tempu (BPM), noskaņu, tekstu un emocionālo struktūru, pēc tam ģenerē kadrus un samontē tos. Produkta sauklis: „Turn Audio Into Cinema”.

Multimodālo analīzi veic Gemini 1.5 Pro un GPT-4. Pieejami vairāk nekā 14 video modeļi, bet renderēšana notiek izkliedētos GPU. Google Search Grounding nodrošina ainu atbilstību reālajai situācijai, un platforma nosaka arī lūpu sinhronizāciju.

Modeļa izvēle paliek lietotāja ziņā, jo attēla stils ir māksliniecisks lēmums. To pašu darbu var izveidot vairākās stilistikās.

  • Laika skala, nevis viena poga

    Kontrole pa ainai: katru kadru var apskatīt, nomainīt vai ģenerēt no jauna, arī dodot asistentam komandu. Pirmais renderējums ir materiāls tālākai apstrādei.

  • Ceļš uz profesionālu montāžu

    Eksportējiet 4K izšķirtspējā ar 24, 30 vai 60 kadriem sekundē. Papildus MP4 formātam pieejami EDL montāžas saraksti un XML faili programmai Premiere Pro un DaVinci Resolve.

  • “Self API” plāns par 15 USD mēnesī

    Klients izmanto savas Gemini un Replicate API atslēgas un maksā pakalpojumu sniedzējiem tikai par ģenerēto saturu. Abonements sedz tikai platformas izmantošanu.

03Atvērts kods

Montāžas dzinējs ir atvērts

Skaņas analīze un montāžas vietu noteikšana darbojas arī atsevišķi kā atvērtais ComfyUI mezgls Vibe Music Engine. Repozitorijs github.com/lazniak/videoclipgenerator ir publiski pieejams kopš 2025. gada 12. februāra saskaņā ar Apache 2.0 licenci.

Mezgls apstrādā audio celi, izmantojot OpenAI Whisper modeļus, un atgriež vārdos precīzus subtitrus, EDL montāžas sarakstu, sitienu noteikšanu un tempa aplēsi. To var palaist savā vidē, neizmantojot mūsu platformu.

Platforma nodrošina attēlu ģenerēšanu, GPU uzdevumu rindu un saskarni. Abas versijas eksportē montāžas griezumu sarakstu vienā EDL formātā.

04Vēsture

No Vidgen.io līdz MovieshMash.to

Darbi sākās 2023. gada sākumā. Tos vada Paul Lazniak un Grzegorz Łaźniak. Pirmie prototipi darbojās Deforum platformā ar domēnu Vidgen.io.

Tie saskārās ar diviem šķēršļiem: attēla mirgošanu starp kadriem un virspusēju skaņas izpratni. Sistēma atpazina failu, bet ne to, kas tajā notiek.

2024. gadā pārveidojām arhitektūru un, izmantojot liriskus skaņdarbus, izstrādājām i2v master shoot tehniku. 2025.–2026. gadā pievērsāmies Gemini multimodālajiem modeļiem un produkta versijai, kas līdz 2026. gadam saucās Vidumidu.

Tas ir tas pats projekts, kas šodien ir MovieshMash.to. Mainījās nosaukums un arhitektūra, nevis iecere.

Projektu īstenošanas materiāli

Vai jums ir materiāls, kas jāsasinhronizē ar skaņu?

Aprakstiet, ar ko strādājat. Sadalīsim to daļā, ko platforma var apstrādāt uzreiz, un daļā, ko ērtāk salikt uz vietas no atvērtā mezgla.

Pieteikt darbnīcu ar Paul

Izvēlieties 30 minūtes vai pilnu darbnīcu. Rezervējiet laiku kalendārā, un apstiprinājums pienāks uzreiz.