Saltar para o conteúdo

2023–2026 · Videoclipes com IA

MovieshMash.to: edição guiada pela banda sonora

A plataforma analisa o ficheiro de áudio: o ritmo, o ambiente e a letra da música. Com base nessa análise, gera planos e organiza a montagem com cortes ao ritmo. Disponibilizámos o motor de montagem como nó aberto do ComfyUI, ao abrigo da licença Apache 2.0.

Tecnologias
Gemini 1.5 Pro, GPT-4, GPU de renderização
Início dos trabalhos
2023
Exportar
4K, 24, 30 ou 60 fps, EDL e XML
Morada
movieshmash.to

01Desafio

O corte deve coincidir com a batida

Um videoclipe, um trailer e um vídeo curto para as redes sociais têm uma etapa de trabalho em comum: é preciso sincronizar a imagem com o som. Manualmente, isso implica ouvir, adicionar marcadores à linha temporal e escolher os planos.

A cada novo elemento, este trabalho recomeça do início, porque os marcadores do anterior já não são válidos.

02Desafio

Análise da música, dos planos e da montagem ao ritmo

MovieshMash.to assume esta parte. Após carregar o ficheiro, o sistema deteta o tempo (BPM), o ambiente, a letra e a estrutura emocional da faixa, depois gera os planos e monta-os num vídeo. Slogan do produto: «Turn Audio Into Cinema».

A análise multimodal é realizada pelo Gemini 1.5 Pro e pelo GPT-4. Tem à disposição mais de 14 modelos de vídeo, e os renderizadores são executados em GPU distribuídas. O Google Search Grounding garante que as cenas correspondem à realidade, e a plataforma também deteta a sincronização labial.

A escolha do modelo cabe ao utilizador, porque o estilo visual é uma decisão artística. A mesma obra pode ser criada em vários estilos.

  • Linha temporal em vez de um único botão

    Controlo cena a cena: cada plano pode ser revisto, substituído ou gerado novamente, também através de uma instrução ao assistente. O primeiro render é material para edição.

  • Entrada na edição profissional de vídeo

    Exportação em 4K a 24, 30 ou 60 fotogramas por segundo. Além do MP4, listas de edição EDL e XML para o Premiere Pro e o DaVinci Resolve.

  • Plano “Self API” por 15 USD por mês

    O cliente fornece as suas próprias chaves Gemini e Replicate e paga aos fornecedores apenas pelo que gera. A subscrição cobre apenas a plataforma.

03Código aberto

O motor de composição é open-source

A análise de áudio e a definição dos cortes também funcionam de forma independente, como nó aberto do ComfyUI Vibe Music Engine. O repositório github.com/lazniak/videoclipgenerator é público desde 12 de fevereiro de 2025, sob a licença Apache 2.0.

O nó processa o áudio através dos modelos Whisper da OpenAI e devolve legendas com precisão ao nível da palavra, uma lista de cortes EDL, deteção de batidas e estimativa do tempo. Pode executá-lo localmente, sem recorrer à nossa plataforma.

A plataforma acrescenta a geração de imagens, uma fila de GPU e uma interface. Ambas as versões exportam a lista de cortes no mesmo formato EDL.

04História

De Vidgen.io a MovieshMash.to

Os trabalhos começaram no início de 2023. São conduzidos por Paul Lazniak e Grzegorz Łaźniak. Os primeiros protótipos funcionavam com Deforum, no domínio Vidgen.io.

Esbarravam em dois obstáculos: a cintilação da imagem entre fotogramas e uma compreensão superficial do som. O sistema reconhecia o ficheiro, mas não o que acontecia nele.

Em 2024, reconstruímos a arquitetura e desenvolvemos a técnica i2v master shoot com obras líricas. Os anos de 2025–2026 trazem os modelos multimodais Gemini e a versão de produto, até 2026 sob o nome Vidumidu.

É o mesmo projeto que o atual MovieshMash.to. Mudaram o nome e a arquitetura, não o objetivo.

Materiais do projeto

Tem material para sincronizar com áudio?

Descreva o seu caso de utilização. Vamos dividi-lo entre a parte que a plataforma consegue tratar de imediato e a parte que será mais fácil montar no local a partir de um nó aberto.

Agendar workshop com Paul

Escolha trinta minutos ou um workshop completo. Reserve a data no calendário, a confirmação chega de imediato.