Zum Inhalt springen

2023–2026 · KI-Musikvideos

MovieshMash.to: von der Tonspur geführter Schnitt

Die Plattform analysiert die Audiodatei: Tempo, Stimmung und Songtext. Darauf basierend generiert sie Einstellungen und erstellt einen Schnitt mit rhythmischen Übergängen. Die Schnitt-Engine haben wir als offenen ComfyUI-Knoten unter der Apache-2.0-Lizenz veröffentlicht.

Technologien
Gemini 1.5 Pro, GPT-4, Rendering-GPU
Beginn der Arbeiten
2023
Export
4K, 24, 30 oder 60 fps, EDL und XML
Adresse
movieshmash.to

01Herausforderung

Der Schnitt muss auf den Beat fallen

Musikvideos, Trailer und kurze Social-Media-Formate haben einen gemeinsamen Arbeitsschritt: Das Bild muss mit dem Ton synchronisiert werden. Manuell bedeutet das: anhören, Markierungen auf der Timeline setzen und Einstellungen auswählen.

Bei jedem weiteren Titel beginnt diese Arbeit von vorn, da die Markierungen des vorherigen nicht mehr aktuell sind.

02Lösung

Analyse des Tracks, der Einstellungen und des Schnitts im Rhythmus

MovieshMash.to übernimmt diesen Teil. Nach dem Hochladen einer Datei erkennt das System Tempo (BPM), Stimmung, Text und emotionale Struktur des Songs. Anschließend generiert es Aufnahmen und setzt sie zu einem Schnitt zusammen. Produktclaim: „Turn Audio Into Cinema“.

Die multimodale Analyse übernehmen Gemini 1.5 Pro und GPT-4. Zur Auswahl stehen mehr als 14 Videomodelle, die Renderings laufen auf verteilten GPUs. Google Search Grounding prüft, ob die Szenen mit der Realität übereinstimmen. Die Plattform erkennt außerdem Lippensynchronität.

Die Wahl des Modells bleibt dem Nutzer überlassen, denn der Bildstil ist eine künstlerische Entscheidung. Dasselbe Werk lässt sich in mehreren Stilrichtungen umsetzen.

  • Eine Zeitleiste statt eines einzelnen Buttons

    Kontrolle Szene für Szene: Jede Einstellung lässt sich ansehen, austauschen oder neu generieren, auch per Anweisung an den Assistenten. Der erste Render ist Ausgangsmaterial für die Bearbeitung.

  • Der Einstieg in den professionellen Videoschnitt

    Export in 4K mit 24, 30 oder 60 Bildern pro Sekunde. Neben MP4 auch Schnittlisten im EDL- und XML-Format für Premiere Pro und DaVinci Resolve.

  • „Self API“-Tarif für 15 USD pro Monat

    Der Kunde hinterlegt eigene Gemini- und Replicate-Schlüssel und zahlt den Anbietern nur für die generierten Inhalte. Das Abonnement deckt ausschließlich die Plattform ab.

03Open-Source-Code

Die Montage-Engine ist offen

Die Audioanalyse und die Platzierung der Schnitte funktionieren auch separat als offener ComfyUI-Knoten Vibe Music Engine. Das Repository github.com/lazniak/videoclipgenerator ist seit dem 12. Februar 2025 öffentlich und steht unter der Lizenz Apache 2.0.

Der Node leitet den Audiopfad durch die Whisper-Modelle von OpenAI und gibt wortgenaue Untertitel, eine EDL-Schnittliste, Beat-Erkennung und eine Tempo-Schätzung zurück. Sie können ihn selbst hosten, ohne unsere Plattform.

Die Plattform ergänzt Bildgenerierung, eine GPU-Warteschlange und eine Benutzeroberfläche. Beide Versionen geben die Schnittliste im selben EDL-Format aus.

04Geschichte

Von Vidgen.io zu MovieshMash.to

Die Arbeiten begannen Anfang 2023. Sie werden von Paul Lazniak und Grzegorz Łaźniak geleitet. Die ersten Prototypen liefen auf Deforum unter der Domain Vidgen.io.

Sie scheiterten an zwei Hindernissen: Bildflackern zwischen den Frames und einem oberflächlichen Verständnis des Tons. Das System erkannte die Datei, aber nicht, was darin passiert.

2024 haben wir die Architektur neu aufgebaut und anhand lyrischer Werke die i2v-master-shoot-Technik entwickelt. 2025–2026 stehen multimodale Gemini-Modelle und die Produktversion im Mittelpunkt, die bis 2026 unter dem Namen Vidumidu läuft.

Es ist dasselbe Projekt wie das heutige MovieshMash.to. Name und Architektur haben sich geändert, nicht die Absicht.

Materialien aus der Umsetzung

Haben Sie Material, das mit dem Ton synchronisiert werden muss?

Beschreiben Sie, womit Sie arbeiten. Wir unterteilen es in den Teil, den die Plattform sofort verarbeiten kann, und den Teil, der sich vor Ort einfacher aus einem offenen Knoten zusammenstellen lässt.

Workshop mit Paul vereinbaren

Wählen Sie 30 Minuten oder einen vollständigen Workshop. Buchen Sie den Termin im Kalender, die Bestätigung erfolgt sofort.