Räumliche Manipulation von musikalischem Klang: Informierte Quellentrennung und Neuverräumlichung

„Aktives Hören“ ermöglicht es dem Hörer, mit dem Klang zu interagieren, während er gespielt wird, wie die Komponisten elektroakustischer Musik. Die wichtigste Manipulation der musikalischen Szene ist die (Neu-)Verräumlichung: das Verschieben von Klangquellen im Raum. Dies ist gleichbedeutend mit der Trennung der Quellen. Wenn man alle Quellen der Szene bis auf eine vom Hörer wegbewegt, wird diese Quelle tatsächlich getrennt. Und es ist einfach, getrennte Quellen zu bewegen und daraus die entsprechende Szene (räumliches Bild) zu erstellen. Diese räumliche Interaktion/Quellentrennung von festen Musikstücken in ausreichender Qualität zu ermöglichen, ist eine (zu) schwierige Aufgabe für klassische Ansätze, da sie eine Analyse der Szene mit unvermeidlichen (und oft inakzeptablen) Schätzfehlern erfordert. Daher haben wir den informierten Ansatz eingeführt, der darin besteht, einige zusätzliche Informationen unhörbar einzubetten. Diese Informationen, die mit einer minimalen Rate kodiert werden, zielen darauf ab, die Präzision der Analyse/Trennung zu erhöhen. Der informierte Ansatz stützt sich also sowohl auf Schätzungen als auch auf Informationstheorien. Im Rahmen des DReaM-Projekts wurden mehrere Methoden der informierten Quellentrennung (ISS) vorgeschlagen. Zu den besten Methoden gehört die auf räumlicher Filterung (Beamforming) basierende Methode, bei der die spektralen Einhüllenden der Quellen (perzeptiv kodiert) als zusätzliche Information verwendet werden. Genauer gesagt, wird die vorgeschlagene Methode in einem Encoder-Decoder-Rahmen realisiert. Im Kodierer werden die spektralen Einhüllenden der (bekannten) Originalquellen extrahiert, ihre Frequenzauflösung wird an die kritischen Bänder angepasst und ihr Betrag logarithmisch quantisiert. Diese Hüllkurven werden dann zusammen mit der Stereomischung an den Decoder weitergeleitet. Im Decoder wird das Mischsignal durch zeit- und frequenzselektive räumliche Filterung zerlegt, die durch einen aus den spektralen Hüllkurvenwerten abgeleiteten Quellenaktivitätsindex gesteuert wird. Die Manipulation der Klangquellen in Echtzeit ist dann möglich, ausgehend von ursprünglich fixierten Musikstücken (möglicherweise auf bestimmten Medien wie CDs) und mit einer unvorhergesehenen (kontrollierbaren) Qualität.