2023–2026 · Video musicali AI
MovieshMash.to: montaggio guidato dalla colonna sonora
La piattaforma analizza il file audio: ritmo, atmosfera e testo del brano. In base a questi elementi genera le inquadrature e monta il video con tagli a tempo. Abbiamo reso disponibile il motore di montaggio come nodo ComfyUI open source con licenza Apache 2.0.
- Tecnologie
- Gemini 1.5 Pro, GPT-4, GPU per il rendering
- Avvio dei lavori
- 2023
- Esporta
- 4K, 24, 30 o 60 fps, EDL e XML
- Indirizzo
- movieshmash.to
01Sfida
Il taglio deve cadere sul colpo
Un videoclip, un trailer e un breve contenuto per i social hanno una fase di lavoro in comune: sincronizzare le immagini con l’audio. A mano, significa ascoltare, inserire marcatori sulla timeline e scegliere le inquadrature.
Con ogni brano successivo, il lavoro ricomincia da capo, perché i marcatori del precedente non sono più validi.
02Soluzione
Analisi del brano, delle inquadrature e montaggio a ritmo
MovieshMash.to si occupa di questa parte. Dopo il caricamento del file, il sistema rileva il ritmo (BPM), l’atmosfera, il testo e la struttura emotiva del brano, quindi genera le inquadrature e le assembla in un montaggio. Il motto del prodotto è: «Turn Audio Into Cinema».
L’analisi multimodale è affidata a Gemini 1.5 Pro e GPT-4. Sono disponibili oltre 14 modelli video e i rendering vengono eseguiti su GPU distribuite. Google Search Grounding verifica che le scene siano coerenti con la realtà; la piattaforma rileva anche il lipsync.
La scelta del modello spetta all’utente, perché lo stile visivo è una decisione artistica. La stessa opera può essere realizzata in diversi stili.
-
Una timeline invece di un unico pulsante
Controllo scena per scena: ogni inquadratura può essere visionata, sostituita o rigenerata, anche tramite un comando all’assistente. Il primo rendering è materiale da elaborare.
-
Accesso al montaggio professionale
Esportazione in 4K a 24, 30 o 60 fotogrammi al secondo. Oltre a MP4, liste di taglio EDL e XML per Premiere Pro e DaVinci Resolve.
-
Piano “Self API” a 15 USD al mese
Il cliente inserisce le proprie chiavi Gemini e Replicate e paga i fornitori solo per ciò che genera. L’abbonamento copre esclusivamente la piattaforma.
03Codice aperto
Il motore di montaggio è open source
L’analisi audio e il posizionamento dei tagli funzionano anche separatamente, come nodo ComfyUI open source Vibe Music Engine. Il repository github.com/lazniak/videoclipgenerator è pubblico dal 12 febbraio 2025, con licenza Apache 2.0.
Il nodo elabora l’audio tramite i modelli Whisper di OpenAI e restituisce sottotitoli con precisione al singolo vocabolo, un elenco di tagli EDL, il rilevamento dei beat e una stima del tempo. Può essere eseguito in locale, senza la nostra piattaforma.
La piattaforma aggiunge la generazione di immagini, una coda GPU e un’interfaccia. Entrambe le versioni restituiscono l’elenco dei tagli nello stesso formato EDL.
04Storia
Da Vidgen.io a MovieshMash.to
I lavori sono iniziati all’inizio del 2023. Sono guidati da Paul Lazniak e Grzegorz Łaźniak. I primi prototipi si basavano su Deforum e utilizzavano il dominio Vidgen.io.
Si scontravano con 2 ostacoli: lo sfarfallio dell’immagine tra i fotogrammi e la comprensione superficiale dell’audio. Il sistema riconosceva il file, ma non ciò che vi accadeva.
Nel 2024 abbiamo riprogettato l’architettura e sviluppato, a partire da brani lirici, la tecnica i2v master shoot. Nel 2025–2026 sono arrivati i modelli multimodali Gemini e una versione di prodotto, fino al 2026 con il nome Vidumidu.
È lo stesso progetto dell’attuale MovieshMash.to. Sono cambiati il nome e l’architettura, non l’obiettivo.
Materiali dei progetti realizzati
Ha un contenuto da sincronizzare con l’audio?
Descriva su cosa sta lavorando. Distingueremo la parte che la piattaforma può gestire subito da quella che è più pratico assemblare in sede a partire da un nodo aperto.
Prenota un workshop con Paul
Scegliete una sessione di trenta minuti o un workshop completo. Prenotate l'appuntamento direttamente a calendario, la conferma e immediata.