2023–2026 · Videoclipes com IA
MovieshMash.to: edição guiada pela banda sonora
A plataforma analisa o ficheiro de áudio: o ritmo, o ambiente e a letra da música. Com base nessa análise, gera planos e organiza a montagem com cortes ao ritmo. Disponibilizámos o motor de montagem como nó aberto do ComfyUI, ao abrigo da licença Apache 2.0.
- Tecnologias
- Gemini 1.5 Pro, GPT-4, GPU de renderização
- Início dos trabalhos
- 2023
- Exportar
- 4K, 24, 30 ou 60 fps, EDL e XML
- Morada
- movieshmash.to
01Desafio
O corte deve coincidir com a batida
Um videoclipe, um trailer e um vídeo curto para as redes sociais têm uma etapa de trabalho em comum: é preciso sincronizar a imagem com o som. Manualmente, isso implica ouvir, adicionar marcadores à linha temporal e escolher os planos.
A cada novo elemento, este trabalho recomeça do início, porque os marcadores do anterior já não são válidos.
02Desafio
Análise da música, dos planos e da montagem ao ritmo
MovieshMash.to assume esta parte. Após carregar o ficheiro, o sistema deteta o tempo (BPM), o ambiente, a letra e a estrutura emocional da faixa, depois gera os planos e monta-os num vídeo. Slogan do produto: «Turn Audio Into Cinema».
A análise multimodal é realizada pelo Gemini 1.5 Pro e pelo GPT-4. Tem à disposição mais de 14 modelos de vídeo, e os renderizadores são executados em GPU distribuídas. O Google Search Grounding garante que as cenas correspondem à realidade, e a plataforma também deteta a sincronização labial.
A escolha do modelo cabe ao utilizador, porque o estilo visual é uma decisão artística. A mesma obra pode ser criada em vários estilos.
-
Linha temporal em vez de um único botão
Controlo cena a cena: cada plano pode ser revisto, substituído ou gerado novamente, também através de uma instrução ao assistente. O primeiro render é material para edição.
-
Entrada na edição profissional de vídeo
Exportação em 4K a 24, 30 ou 60 fotogramas por segundo. Além do MP4, listas de edição EDL e XML para o Premiere Pro e o DaVinci Resolve.
-
Plano “Self API” por 15 USD por mês
O cliente fornece as suas próprias chaves Gemini e Replicate e paga aos fornecedores apenas pelo que gera. A subscrição cobre apenas a plataforma.
03Código aberto
O motor de composição é open-source
A análise de áudio e a definição dos cortes também funcionam de forma independente, como nó aberto do ComfyUI Vibe Music Engine. O repositório github.com/lazniak/videoclipgenerator é público desde 12 de fevereiro de 2025, sob a licença Apache 2.0.
O nó processa o áudio através dos modelos Whisper da OpenAI e devolve legendas com precisão ao nível da palavra, uma lista de cortes EDL, deteção de batidas e estimativa do tempo. Pode executá-lo localmente, sem recorrer à nossa plataforma.
A plataforma acrescenta a geração de imagens, uma fila de GPU e uma interface. Ambas as versões exportam a lista de cortes no mesmo formato EDL.
04História
De Vidgen.io a MovieshMash.to
Os trabalhos começaram no início de 2023. São conduzidos por Paul Lazniak e Grzegorz Łaźniak. Os primeiros protótipos funcionavam com Deforum, no domínio Vidgen.io.
Esbarravam em dois obstáculos: a cintilação da imagem entre fotogramas e uma compreensão superficial do som. O sistema reconhecia o ficheiro, mas não o que acontecia nele.
Em 2024, reconstruímos a arquitetura e desenvolvemos a técnica i2v master shoot com obras líricas. Os anos de 2025–2026 trazem os modelos multimodais Gemini e a versão de produto, até 2026 sob o nome Vidumidu.
É o mesmo projeto que o atual MovieshMash.to. Mudaram o nome e a arquitetura, não o objetivo.
Materiais do projeto
Tem material para sincronizar com áudio?
Descreva o seu caso de utilização. Vamos dividi-lo entre a parte que a plataforma consegue tratar de imediato e a parte que será mais fácil montar no local a partir de um nó aberto.
Agendar workshop com Paul
Escolha trinta minutos ou um workshop completo. Reserve a data no calendário, a confirmação chega de imediato.