Kurzbeschreibung: Die Vorlesung "Music Processing Analysis" gibt Einblicke in das Gebiet der digitalen Musikverarbeitung. Hierbei kommen auf Python basierende interaktive Jupyter Notebooks zum Einsatz, die den Studierenden helfen, theoretische Konzepte nicht nur passiv nachzuvollziehen, sondern die gelernte Theorie auch aktiv in der Praxis einzusetzen.
Zielgruppen: Master
Ausgangssituation
Die meisten Menschen haben einen intuitiven Zugang zur Musik. Daher sind viele Aufgabenstellungen der digitalen Musikverarbeitung hervorragend geeignet, um abstrakte Konzepte in Gebieten wie der Signalverarbeitung, Mustererkennung oder Zeitreihenanalyse zu motivieren und in einer konkreten Anwendung einzusetzen. Im Kontext unserer Vorlesung "Music Processing Analysis" haben wir eine neuartige Sammlung von webbasiertem Multimediamaterial für das interaktive Studium und die Umsetzung eigener Projekte entwickelt. Das als FMP Notebooks bezeichnete Multimediapaket basiert auf dem Lehrbuch "Fundamentals of Music Processing" (FMP) und soll traditionelles Lehrmaterial erweitern und ergänzen. Die FMP Notebooks geben zunächst eine Einführung in die jeweiligen Themen (z.B. Akkorderkennung, Beat-Tracking, Quellentrennung), stellen dann zentrale Techniken vor und diskutieren schließlich Algorithmen in Kombination mit Python-Codebeispielen, welche die Umsetzung der Theorie veranschaulichen. Hierbei sind auch zahlreiche Illustrationen und Klangbeispiele in einem einheitlichen Framework auf Basis von Jupyter Notebooks integriert.
Ziele
Dank der Vielfältigkeit und Komplexität von Musik gibt es viele Aufgabenstellungen der digitalen Musikverarbeitung, die als motivierende Szenarien für die Einführung, Erläuterung und das Studium von Techniken der Digitalen Signalverarbeitung, des Information Retrieval oder des Maschinellen Lernens dienen können. Zum Beispiel sind bei der Suche in heterogenen Musikdatenbeständen ganz unterschiedliche Modalitäten und Datentypen wie Partituren (Bilddaten) und Musikaufnahmen (Audiodaten) zu berücksichtigen. Zur Verarbeitung solcher Daten kommen Methoden der Bildverarbeitung, der Audioverarbeitung, und der Mustererkennung zum Einsatz. Für die Tempobestimmung benötigt man Verfahren zur Bestimmung von zeitlich, sich periodisch wiederholenden rhythmischen Mustern. Die Zerlegung von Musikaufnahmen in isolierte Instrumental- und Gesangsspuren (eine Problemstellung die allgemeinhin als Quellentrennung bekannt ist) wird in den letzten Jahren insbesondere mittels Techniken des Deep Learning bewerkstelligt. Im Bereich der Audioidentifikation kommen effiziente Indexierungsverfahren zum Einsatz. Das Ziel der Vorlesung "Music Processing Analysis" ist, einen Einblick in das Gebiet der digitalen Musikverarbeitung zu geben und dabei allgemeine Grundlagen der Informatik und Signalverarbeitung in Theorie und Praxis zu vermitteln. Hierbei soll durch den Einsatz der FMP Notebooks das Lehren und Lernen interaktiver gestaltet werden.
Konzepte, Umsetzung, Methoden
Die FMP Notebooks basieren auf dem Open-Source Jupyter Framework, das im Bildungsbereich vieler technischer Disziplinen zum Standard geworden ist. Mittels dieser umfassenden Webanwendung können Benutzer Dokumente erstellen, die lauffähigen Code, textbasierte Informationen, mathematische Formeln, Bilder, Klangbeispiele und Videos enthalten. Durch die Nutzung des Jupyter Frameworks schließen die FMP Notebooks die Lücke zwischen Theorie und Praxis. Hierbei werden technische Konzepte und mathematische Details mit Codebeispielen, Illustrationen und Musikbeispielen unter Berücksichtigung didaktischer Aspekte verschachtelt, werden in der Abbildung unter "Bilder" illustriert.
Um eine aktive Zusammenarbeit zwischen den Studierenden zu fördern, haben wir die vorlesungsbegleitende Übung dazu genutzt, Projektarbeiten auf Basis der FMP Notebooks durchzuführen. Hierbei konnten die Studierenden ihre eigenen Projekte definieren, in Teams bearbeiten, und deren Ergebnisse am Ende des Semesters in einer interaktiven "Demo Session" gegenseitig vorstellen. Insgesamt kam dieses Konzept sehr gut bei den Studierenden an. Allerdings war der Zeitaufwand (der sich nur schwer durch scheinbar objektive ECTS- und andere Modulkriterien abbilden lässt) für Studierende und Lehrende enorm groß. Dieses Konzept lässt sich auch nur in relativ kleinen Lehrveranstaltungen (ca. 20 Studierende) umsetzen und erfordert einen hohen Motivationsgrad auf Seiten der Studierenden und Lehrenden.
Erfahrungen
Unsere Lehrveranstaltung hat bestätigt, dass die Integration von Software-Toolboxen wie den FMP Notebooks die (digitale) Lehre in der Informatik und anderen technischen Disziplinen erheblich verbessert und interaktiver gestaltet. Insbesondere konnten wir durch diese Werkzeuge Studierende sehr gut an sich anschließende Forschungspraktika und Masterarbeiten heranführen. Auf der anderen Seite ist nach unserer Erfahrung neben dem Einsatz von digitalen Methoden ein direkter Austausch mit und zwischen den Studierenden weiterhin unumgänglich. Neben der oben erwähnten Projektkomponente haben wir daher auch versucht, Elemente des "Inverted Classroom" mit freien Fragerunden in die Vorlesung einzubauen. Allerdings hatten wir den Eindruck, dass diese Elemente (vielleicht auch aufgrund unserer nicht ausreichenden Überzeugungskraft) von vielen Studierenden nicht aufgegriffen wurden.
Erfolgskriterien
Die Ergebnisse aus Studierendenbefragung zeigen: Insgesamt schienen die Studierenden mit der Lehrveranstaltung sehr zufrieden zu sein. (Kommentare waren zum Beispiel "In general this is one of my favorite modules" oder "The format of the lecture was ideal for the current pandemic induced circumstances".) Allerdings wurde der Aufwand (relativ zu den vergebenen 5 ECTS) als sehr hoch eingeschätzt. Die Kombination aus Vorlesung, Übung, dem Studium des Lehrbuchs und dem Einsatz der FMP Notebooks wurde als sehr positiv eingestuft. ("The book is great in combination with the lecture", "The Jupyter Notebooks make it easy to tinker", "The project is a great way to go deeper".)
Weitere Erfolgsfaktoren sind:
- Individuell durchgeführte mündliche Prüfung über den Stoff der Vorlesung (30 Minuten)
- Keine direkte Benotung des Projekts, sondern positive Anreize durch Freiheiten bei der Definition und Durchführung des Projekts mit Angeboten der persönlichen Betreuung
Weitere Informationen
Vorlesungswebseite mit Materialien [hier klicken]
FMP Notebooks [hier klicken]
Open-Source Code der FMP Notebooks [hier klicken]
Lehrbuch und Literatur:
Meinard Müller: Fundamentals of Music Processing – Using Python and Jupyter Notebooks. 2nd edition, 495 pages, Springer 2021. [hier klicken]
Meinard Müller, Frank Zalkow. FMP Notebooks: Educational Material for Teaching and Learning Fundamentals of Music Processing. Proceedings of the International Conference on Music Information Retrieval (ISMIR), pp. 573–580, Delft, The Netherlands, 2019. [hier klicken]
Meinard Müller. An Educational Guide Through the FMP Notebooks for Teaching and Learning Fundamentals of Music Processing. Signals, 2(2): 245–285, 2021. [hier klicken]
Meinard Müller, Frank Zalkow. libfmp: A Python Package for Fundamentals of Music Processing. Journal of Open Source Software (JOSS), 6(63), 2021. [hier klicken]
Meinard Müller, Brian McFee, Katherine Kinnaird. Interactive Learning of Signal Processing Through Music: Making Fourier Analysis Concrete for Students. IEEE Signal Processing Magazine, 38(3): 73–84, 2021.