Vai ai contenuti

2023–2026 · Video musicali AI

MovieshMash.to: montaggio guidato dalla colonna sonora

La piattaforma analizza il file audio: ritmo, atmosfera e testo del brano. In base a questi elementi genera le inquadrature e monta il video con tagli a tempo. Abbiamo reso disponibile il motore di montaggio come nodo ComfyUI open source con licenza Apache 2.0.

Tecnologie
Gemini 1.5 Pro, GPT-4, GPU per il rendering
Avvio dei lavori
2023
Esporta
4K, 24, 30 o 60 fps, EDL e XML
Indirizzo
movieshmash.to

01Sfida

Il taglio deve cadere sul colpo

Un videoclip, un trailer e un breve contenuto per i social hanno una fase di lavoro in comune: sincronizzare le immagini con l’audio. A mano, significa ascoltare, inserire marcatori sulla timeline e scegliere le inquadrature.

Con ogni brano successivo, il lavoro ricomincia da capo, perché i marcatori del precedente non sono più validi.

02Soluzione

Analisi del brano, delle inquadrature e montaggio a ritmo

MovieshMash.to si occupa di questa parte. Dopo il caricamento del file, il sistema rileva il ritmo (BPM), l’atmosfera, il testo e la struttura emotiva del brano, quindi genera le inquadrature e le assembla in un montaggio. Il motto del prodotto è: «Turn Audio Into Cinema».

L’analisi multimodale è affidata a Gemini 1.5 Pro e GPT-4. Sono disponibili oltre 14 modelli video e i rendering vengono eseguiti su GPU distribuite. Google Search Grounding verifica che le scene siano coerenti con la realtà; la piattaforma rileva anche il lipsync.

La scelta del modello spetta all’utente, perché lo stile visivo è una decisione artistica. La stessa opera può essere realizzata in diversi stili.

  • Una timeline invece di un unico pulsante

    Controllo scena per scena: ogni inquadratura può essere visionata, sostituita o rigenerata, anche tramite un comando all’assistente. Il primo rendering è materiale da elaborare.

  • Accesso al montaggio professionale

    Esportazione in 4K a 24, 30 o 60 fotogrammi al secondo. Oltre a MP4, liste di taglio EDL e XML per Premiere Pro e DaVinci Resolve.

  • Piano “Self API” a 15 USD al mese

    Il cliente inserisce le proprie chiavi Gemini e Replicate e paga i fornitori solo per ciò che genera. L’abbonamento copre esclusivamente la piattaforma.

03Codice aperto

Il motore di montaggio è open source

L’analisi audio e il posizionamento dei tagli funzionano anche separatamente, come nodo ComfyUI open source Vibe Music Engine. Il repository github.com/lazniak/videoclipgenerator è pubblico dal 12 febbraio 2025, con licenza Apache 2.0.

Il nodo elabora l’audio tramite i modelli Whisper di OpenAI e restituisce sottotitoli con precisione al singolo vocabolo, un elenco di tagli EDL, il rilevamento dei beat e una stima del tempo. Può essere eseguito in locale, senza la nostra piattaforma.

La piattaforma aggiunge la generazione di immagini, una coda GPU e un’interfaccia. Entrambe le versioni restituiscono l’elenco dei tagli nello stesso formato EDL.

04Storia

Da Vidgen.io a MovieshMash.to

I lavori sono iniziati all’inizio del 2023. Sono guidati da Paul Lazniak e Grzegorz Łaźniak. I primi prototipi si basavano su Deforum e utilizzavano il dominio Vidgen.io.

Si scontravano con 2 ostacoli: lo sfarfallio dell’immagine tra i fotogrammi e la comprensione superficiale dell’audio. Il sistema riconosceva il file, ma non ciò che vi accadeva.

Nel 2024 abbiamo riprogettato l’architettura e sviluppato, a partire da brani lirici, la tecnica i2v master shoot. Nel 2025–2026 sono arrivati i modelli multimodali Gemini e una versione di prodotto, fino al 2026 con il nome Vidumidu.

È lo stesso progetto dell’attuale MovieshMash.to. Sono cambiati il nome e l’architettura, non l’obiettivo.

Materiali dei progetti realizzati

Ha un contenuto da sincronizzare con l’audio?

Descriva su cosa sta lavorando. Distingueremo la parte che la piattaforma può gestire subito da quella che è più pratico assemblare in sede a partire da un nodo aperto.

Prenota un workshop con Paul

Scegliete una sessione di trenta minuti o un workshop completo. Prenotate l'appuntamento direttamente a calendario, la conferma e immediata.