2023–2026 · Videoclips con IA
MovieshMash.to: montaje guiado por la banda sonora
La plataforma analiza el archivo de audio: el tempo, el estado de ánimo y la letra de la canción. A partir de estos datos, genera planos y monta el vídeo con cortes al ritmo de la música. Hemos publicado el motor de montaje como nodo abierto de ComfyUI con licencia Apache 2.0.
- Tecnologías
- Gemini 1.5 Pro, GPT-4, GPU de renderizado
- Inicio de los trabajos
- 2023
- Exportación
- 4K, 24, 30 o 60 fps, EDL y XML
- Dirección
- movieshmash.to
01Desafío
El corte debe coincidir con el golpe
Un videoclip, un tráiler y un vídeo corto para redes sociales comparten una parte del trabajo: hay que sincronizar la imagen con el sonido. A mano, esto implica escuchar, marcar puntos en la línea de tiempo y seleccionar planos.
Con cada nueva pista, el trabajo empieza de nuevo porque los marcadores de la anterior han quedado obsoletos.
02Solución
Analiza la canción, las tomas y el montaje al ritmo de la música
MovieshMash.to se encarga de esta parte. Al subir el archivo, el sistema detecta el tempo (BPM), el estado de ánimo, la letra y la estructura emocional de la canción. Después genera los planos y los monta. Lema del producto: «Turn Audio Into Cinema».
El análisis multimodal lo realizan Gemini 1.5 Pro y GPT-4. Puede elegir entre más de 14 modelos de vídeo, y los renderizados se procesan en GPU distribuidas. Google Search Grounding comprueba que las escenas se ajusten a la realidad. La plataforma también detecta la sincronización labial.
La elección del modelo queda en manos del usuario, porque el estilo visual es una decisión artística. La misma obra puede montarse en varios estilos.
-
Una línea temporal en lugar de un único botón
Control escena por escena: cada plano se puede revisar, sustituir o generar de nuevo, también mediante una instrucción al asistente. El primer render es material para editar.
-
Acceso al montaje profesional
Exportación en 4K a 24, 30 o 60 fotogramas por segundo. Además de MP4, listas de corte EDL y XML para Premiere Pro y DaVinci Resolve.
-
Plan «Self API» por 15 USD al mes
El cliente aporta sus propias claves de Gemini y Replicate y solo paga a los proveedores por lo que genera. La suscripción cubre únicamente la plataforma.
03Código abierto
El motor de montaje es de código abierto
El análisis del sonido y la distribución de los cortes también funcionan por separado, como nodo abierto de ComfyUI Vibe Music Engine. El repositorio github.com/lazniak/videoclipgenerator es público desde el 12 de febrero de 2025, con licencia Apache 2.0.
El nodo procesa la pista con los modelos Whisper de OpenAI y devuelve subtítulos con precisión palabra por palabra, una lista de cortes EDL, detección de golpes y una estimación del tempo. Puede ejecutarlo en sus propios sistemas, sin nuestra plataforma.
La plataforma añade generación de imágenes, una cola de GPU y una interfaz. Ambas versiones generan una lista de cortes en el mismo formato EDL.
04Historia
De Vidgen.io a MovieshMash.to
El trabajo comenzó a principios de 2023. Lo dirigen Paul Lazniak y Grzegorz Łaźniak. Los primeros prototipos se basaban en Deforum y estaban bajo el dominio Vidgen.io.
Se toparon con dos obstáculos: el parpadeo de la imagen entre fotogramas y una comprensión superficial del sonido. El sistema reconocía el archivo, pero no lo que ocurría en él.
En 2024 rediseñamos la arquitectura y desarrollamos la técnica i2v master shoot a partir de obras líricas. En 2025–2026, modelos multimodales Gemini y una versión de producto, hasta 2026 con el nombre Vidumidu.
Es el mismo proyecto que el MovieshMash.to actual. Cambiaron el nombre y la arquitectura, no el propósito.
Materiales del proyecto
¿Tiene material que sincronizar con el audio?
Describe con qué trabaja. Lo dividiremos en una parte que la plataforma pueda gestionar de inmediato y otra que resulte más práctico montar in situ a partir de un nodo abierto.
Reservar taller con Paul
Elija treinta minutos o un taller completo. Reserve una hora en el calendario y recibirá la confirmación de inmediato.