Wie KI Gesang und Schlagzeug trennt?
Kurz gesagt
Ein fertiger Song ist nur eine einzige Tonspur. Trotzdem kann KI daraus den Gesang herausholen und das Schlagzeug weglassen. Wir schauen uns an, wie das funktioniert.
Das Wichtigste in Kürze
- Fertiger Song ist eine Tonspur
- Alle Instrumente liegen übereinander
- Wie Suppe wieder in Zutaten trennen
- Spektrogramm zeigt Töne als Bild
- Oben hohe Töne, unten tiefe
- Links Anfang, rechts Ende
- Gesang: wellige, gleitende Linien
- Schlagzeug: kurze senkrechte Striche
Zum Nachlesen: Was im Video sagt
EinleitungEin fertiger Song ist nur eine einzige Tonspur. Trotzdem kann KI daraus den Gesang herausholen und das Schlagzeug weglassen. Wir schauen uns an, wie das funktioniert.
Das Problem: alles ist vermischtBeim Abmischen werden alle Instrumente zu einer einzigen Spur zusammengerechnet. Danach gibt es keine getrennten Kanäle mehr. Es ist, als wollte man aus einer fertigen Suppe die Karotten wieder herausholen.
Musik als Bild sehenDie KI rechnet den Ton zuerst in ein Bild um, ein sogenanntes Spektrogramm. Darauf sieht man, welche Tonhöhen zu welchem Zeitpunkt laut sind. Aus einem Hörproblem wird so ein Bildproblem.
Jedes Instrument hat ein MusterIm Bild hinterlässt jedes Instrument ein typisches Muster. Eine Stimme zieht wellige Linien, weil sie gleitet und vibriert. Ein Schlagzeugschlag ist dagegen ein kurzer, senkrechter Strich über viele Tonhöhen.
Trainiert mit bekannten AntwortenZum Lernen bekommt die KI Songs, bei denen die Einzelspuren noch getrennt vorliegen. Sie rät, welcher Bildteil zum Gesang gehört, und vergleicht ihr Ergebnis mit der richtigen Lösung. Wie bei Vokabeln mit Lösungsblatt wird sie über viele Durchgänge immer genauer.
Maske drüberlegen und zurückrechnenDie KI legt über das Bild eine Maske, also eine Schablone, die sagt: dieser Teil ist Gesang, der Rest nicht. Dann wird das gefilterte Bild wieder in Klang zurückgerechnet. So entsteht eine Spur mit Stimme und eine ohne Schlagzeug.
Wo die Grenzen liegenPerfekt ist das Ergebnis selten, denn Gesang und Instrumente teilen sich oft dieselben Tonhöhen. Dann klingt die Stimme leicht blechern oder man hört Reste der Trommeln. Und auch wenn die Technik funktioniert: Der Song gehört weiterhin den Urhebern.
Zum SchlussDie KI hört nicht wirklich zu. Sie erkennt Muster in einem Bild aus Tönen und filtert sie heraus. Das macht Karaoke-Spuren und Remixe möglich, hat aber hörbare und rechtliche Grenzen.
