2023–2026 · KI-Musikvideos
MovieshMash.to: von der Tonspur geführter Schnitt
Die Plattform analysiert die Audiodatei: Tempo, Stimmung und Songtext. Darauf basierend generiert sie Einstellungen und erstellt einen Schnitt mit rhythmischen Übergängen. Die Schnitt-Engine haben wir als offenen ComfyUI-Knoten unter der Apache-2.0-Lizenz veröffentlicht.
- Technologien
- Gemini 1.5 Pro, GPT-4, Rendering-GPU
- Beginn der Arbeiten
- 2023
- Export
- 4K, 24, 30 oder 60 fps, EDL und XML
- Adresse
- movieshmash.to
01Herausforderung
Der Schnitt muss auf den Beat fallen
Musikvideos, Trailer und kurze Social-Media-Formate haben einen gemeinsamen Arbeitsschritt: Das Bild muss mit dem Ton synchronisiert werden. Manuell bedeutet das: anhören, Markierungen auf der Timeline setzen und Einstellungen auswählen.
Bei jedem weiteren Titel beginnt diese Arbeit von vorn, da die Markierungen des vorherigen nicht mehr aktuell sind.
02Lösung
Analyse des Tracks, der Einstellungen und des Schnitts im Rhythmus
MovieshMash.to übernimmt diesen Teil. Nach dem Hochladen einer Datei erkennt das System Tempo (BPM), Stimmung, Text und emotionale Struktur des Songs. Anschließend generiert es Aufnahmen und setzt sie zu einem Schnitt zusammen. Produktclaim: „Turn Audio Into Cinema“.
Die multimodale Analyse übernehmen Gemini 1.5 Pro und GPT-4. Zur Auswahl stehen mehr als 14 Videomodelle, die Renderings laufen auf verteilten GPUs. Google Search Grounding prüft, ob die Szenen mit der Realität übereinstimmen. Die Plattform erkennt außerdem Lippensynchronität.
Die Wahl des Modells bleibt dem Nutzer überlassen, denn der Bildstil ist eine künstlerische Entscheidung. Dasselbe Werk lässt sich in mehreren Stilrichtungen umsetzen.
-
Eine Zeitleiste statt eines einzelnen Buttons
Kontrolle Szene für Szene: Jede Einstellung lässt sich ansehen, austauschen oder neu generieren, auch per Anweisung an den Assistenten. Der erste Render ist Ausgangsmaterial für die Bearbeitung.
-
Der Einstieg in den professionellen Videoschnitt
Export in 4K mit 24, 30 oder 60 Bildern pro Sekunde. Neben MP4 auch Schnittlisten im EDL- und XML-Format für Premiere Pro und DaVinci Resolve.
-
„Self API“-Tarif für 15 USD pro Monat
Der Kunde hinterlegt eigene Gemini- und Replicate-Schlüssel und zahlt den Anbietern nur für die generierten Inhalte. Das Abonnement deckt ausschließlich die Plattform ab.
03Open-Source-Code
Die Montage-Engine ist offen
Die Audioanalyse und die Platzierung der Schnitte funktionieren auch separat als offener ComfyUI-Knoten Vibe Music Engine. Das Repository github.com/lazniak/videoclipgenerator ist seit dem 12. Februar 2025 öffentlich und steht unter der Lizenz Apache 2.0.
Der Node leitet den Audiopfad durch die Whisper-Modelle von OpenAI und gibt wortgenaue Untertitel, eine EDL-Schnittliste, Beat-Erkennung und eine Tempo-Schätzung zurück. Sie können ihn selbst hosten, ohne unsere Plattform.
Die Plattform ergänzt Bildgenerierung, eine GPU-Warteschlange und eine Benutzeroberfläche. Beide Versionen geben die Schnittliste im selben EDL-Format aus.
04Geschichte
Von Vidgen.io zu MovieshMash.to
Die Arbeiten begannen Anfang 2023. Sie werden von Paul Lazniak und Grzegorz Łaźniak geleitet. Die ersten Prototypen liefen auf Deforum unter der Domain Vidgen.io.
Sie scheiterten an zwei Hindernissen: Bildflackern zwischen den Frames und einem oberflächlichen Verständnis des Tons. Das System erkannte die Datei, aber nicht, was darin passiert.
2024 haben wir die Architektur neu aufgebaut und anhand lyrischer Werke die i2v-master-shoot-Technik entwickelt. 2025–2026 stehen multimodale Gemini-Modelle und die Produktversion im Mittelpunkt, die bis 2026 unter dem Namen Vidumidu läuft.
Es ist dasselbe Projekt wie das heutige MovieshMash.to. Name und Architektur haben sich geändert, nicht die Absicht.
Materialien aus der Umsetzung
Haben Sie Material, das mit dem Ton synchronisiert werden muss?
Beschreiben Sie, womit Sie arbeiten. Wir unterteilen es in den Teil, den die Plattform sofort verarbeiten kann, und den Teil, der sich vor Ort einfacher aus einem offenen Knoten zusammenstellen lässt.
Workshop mit Paul vereinbaren
Wählen Sie 30 Minuten oder einen vollständigen Workshop. Buchen Sie den Termin im Kalender, die Bestätigung erfolgt sofort.