Перейти до вмісту

2023–2026 · AI-відеокліпи

MovieshMash.to: монтаж за звуковою доріжкою

Платформа аналізує аудіофайл: темп, настрій і текст композиції. На цій основі генерує кадри та монтує їх із переходами в ритм музики. Монтажний рушій доступний як відкритий вузол ComfyUI за ліцензією Apache 2.0.

Технології
Gemini 1.5 Pro, GPT-4, графічний процесор для рендерингу
Початок робіт
2023
Експорт
4K, 24, 30 або 60 кадрів/с, EDL і XML
Адреса
movieshmash.to

01Виклик

Монтаж має збігатися з ударом

Музичний кліп, трейлер і короткий формат для соцмереж мають спільну частину роботи: зображення потрібно синхронізувати зі звуком. Уручну це означає прослуховування, маркери на часовій шкалі та добір кадрів.

З кожним наступним твором ця робота починається спочатку, оскільки позначки з попереднього вже неактуальні.

02Рішення

Аналіз композиції, кадрування та монтаж у ритмі

MovieshMash.to бере цю частину на себе. Після завантаження файлу система визначає темп (BPM), настрій, текст і емоційну структуру композиції, а потім генерує кадри й монтує їх. Слоган продукту: «Turn Audio Into Cinema».

Мультимодальний аналіз виконують Gemini 1.5 Pro і GPT-4. На вибір доступно понад 14 відеомоделей, а рендеринг виконується на розподілених GPU. Google Search Grounding перевіряє відповідність сцен реальності, платформа також виявляє синхронізацію руху губ із мовленням.

Вибір моделі залишається за користувачем, адже стилістика зображення є мистецьким рішенням. Той самий твір можна створити в кількох стилях.

  • Часова шкала замість однієї кнопки

    Контроль сцена за сценою: кожен кадр можна переглянути, замінити або згенерувати повторно, зокрема за допомогою команди асистенту. Перший рендер, матеріал для обробки.

  • Шлях до професійного монтажу

    Експорт у 4K із частотою 24, 30 або 60 кадрів на секунду. Крім MP4, доступні списки монтажних правок у форматах EDL і XML для Premiere Pro та DaVinci Resolve.

  • Тариф «Self API» за 15 USD на місяць

    Клієнт надає власні ключі Gemini та Replicate і платить постачальникам лише за згенерований контент. Абонентська плата покриває лише платформу.

03Відкритий код

Рушій монтажу відкритий

Аналіз аудіо та розстановка монтажних склейок працюють і окремо як відкритий вузол ComfyUI Vibe Music Engine. Репозиторій github.com/lazniak/videoclipgenerator відкритий для загального доступу з 12 лютого 2025 року за ліцензією Apache 2.0.

Вузол обробляє аудіодоріжку моделями Whisper від OpenAI та повертає субтитри з точністю до слова, список монтажних склеювань EDL, виявлення ударів і оцінку темпу. Його можна запустити локально, без нашої платформи.

Платформа додає генерацію зображень, чергу GPU та інтерфейс. Обидві версії експортують список монтажних склейок в однаковому форматі EDL.

04Історія

Від Vidgen.io до MovieshMash.to

Роботи розпочалися на початку 2023 року. Їх ведуть Paul Lazniak і Grzegorz Łaźniak. Перші прототипи працювали на Deforum під доменом Vidgen.io.

Вони зіткнулися з двома перешкодами: мерехтінням зображення між кадрами та поверхневим розумінням звуку. Система розпізнавала файл, але не те, що в ньому відбувається.

У 2024 році ми перебудували архітектуру та розробили на ліричних творах техніку i2v master shoot. У 2025–2026 роках з’явилися мультимодальні моделі Gemini та продуктова версія, яка до 2026 року мала назву Vidumidu.

Це той самий проєкт, що й сьогоднішній MovieshMash.to. Змінювалися назва й архітектура, але не мета.

Матеріали з реалізації

У вас є матеріал, який потрібно синхронізувати зі звуком?

Опишіть, з чим ви працюєте. Ми розділимо це на частину, яку платформа опрацює одразу, і ту, яку зручніше зібрати на місці з відкритого вузла.

Запланувати воркшоп із Paul

Оберіть тридцять хвилин або повноцінний воркшоп. Забронюйте час у календарі, підтвердження надійде одразу.