2023–2026 · AI-відеокліпи
MovieshMash.to: монтаж за звуковою доріжкою
Платформа аналізує аудіофайл: темп, настрій і текст композиції. На цій основі генерує кадри та монтує їх із переходами в ритм музики. Монтажний рушій доступний як відкритий вузол ComfyUI за ліцензією Apache 2.0.
- Технології
- Gemini 1.5 Pro, GPT-4, графічний процесор для рендерингу
- Початок робіт
- 2023
- Експорт
- 4K, 24, 30 або 60 кадрів/с, EDL і XML
- Адреса
- movieshmash.to
01Виклик
Монтаж має збігатися з ударом
Музичний кліп, трейлер і короткий формат для соцмереж мають спільну частину роботи: зображення потрібно синхронізувати зі звуком. Уручну це означає прослуховування, маркери на часовій шкалі та добір кадрів.
З кожним наступним твором ця робота починається спочатку, оскільки позначки з попереднього вже неактуальні.
02Рішення
Аналіз композиції, кадрування та монтаж у ритмі
MovieshMash.to бере цю частину на себе. Після завантаження файлу система визначає темп (BPM), настрій, текст і емоційну структуру композиції, а потім генерує кадри й монтує їх. Слоган продукту: «Turn Audio Into Cinema».
Мультимодальний аналіз виконують Gemini 1.5 Pro і GPT-4. На вибір доступно понад 14 відеомоделей, а рендеринг виконується на розподілених GPU. Google Search Grounding перевіряє відповідність сцен реальності, платформа також виявляє синхронізацію руху губ із мовленням.
Вибір моделі залишається за користувачем, адже стилістика зображення є мистецьким рішенням. Той самий твір можна створити в кількох стилях.
-
Часова шкала замість однієї кнопки
Контроль сцена за сценою: кожен кадр можна переглянути, замінити або згенерувати повторно, зокрема за допомогою команди асистенту. Перший рендер, матеріал для обробки.
-
Шлях до професійного монтажу
Експорт у 4K із частотою 24, 30 або 60 кадрів на секунду. Крім MP4, доступні списки монтажних правок у форматах EDL і XML для Premiere Pro та DaVinci Resolve.
-
Тариф «Self API» за 15 USD на місяць
Клієнт надає власні ключі Gemini та Replicate і платить постачальникам лише за згенерований контент. Абонентська плата покриває лише платформу.
03Відкритий код
Рушій монтажу відкритий
Аналіз аудіо та розстановка монтажних склейок працюють і окремо як відкритий вузол ComfyUI Vibe Music Engine. Репозиторій github.com/lazniak/videoclipgenerator відкритий для загального доступу з 12 лютого 2025 року за ліцензією Apache 2.0.
Вузол обробляє аудіодоріжку моделями Whisper від OpenAI та повертає субтитри з точністю до слова, список монтажних склеювань EDL, виявлення ударів і оцінку темпу. Його можна запустити локально, без нашої платформи.
Платформа додає генерацію зображень, чергу GPU та інтерфейс. Обидві версії експортують список монтажних склейок в однаковому форматі EDL.
04Історія
Від Vidgen.io до MovieshMash.to
Роботи розпочалися на початку 2023 року. Їх ведуть Paul Lazniak і Grzegorz Łaźniak. Перші прототипи працювали на Deforum під доменом Vidgen.io.
Вони зіткнулися з двома перешкодами: мерехтінням зображення між кадрами та поверхневим розумінням звуку. Система розпізнавала файл, але не те, що в ньому відбувається.
У 2024 році ми перебудували архітектуру та розробили на ліричних творах техніку i2v master shoot. У 2025–2026 роках з’явилися мультимодальні моделі Gemini та продуктова версія, яка до 2026 року мала назву Vidumidu.
Це той самий проєкт, що й сьогоднішній MovieshMash.to. Змінювалися назва й архітектура, але не мета.
Матеріали з реалізації
У вас є матеріал, який потрібно синхронізувати зі звуком?
Опишіть, з чим ви працюєте. Ми розділимо це на частину, яку платформа опрацює одразу, і ту, яку зручніше зібрати на місці з відкритого вузла.
Запланувати воркшоп із Paul
Оберіть тридцять хвилин або повноцінний воркшоп. Забронюйте час у календарі, підтвердження надійде одразу.