Ausgangslage:
Bestehende Werkzeuge zur Notentranskription sind oft unpräzise und von Stimmgeräten getrennt. Es fehlt eine Lösung, welche Musik analysiert, Instrumente erkennt, die Musik in Noten übersetzt und gleichzeitig als Stimmgabel fungiert. Zudem soll der Takt angegeben werden können, welcher die Analyse und das Musizieren vereinfacht.

Zielsetzung:
Es soll ein Gerät entwickelt werden, welches imstande ist, Musik zu analysieren und daraus die Notation zu erstellen. Des Weiteren sollte das Gerät auch erkennen können, um welches Instrument es sich handelt und einen gegebenen Takt als Referenz miteinbeziehen. Zur Steuerung des Geräts soll eine Applikation erstellt werden, welche das fertige Notenblatt anzeigen und für den Download freigeben kann.

Resultat:
Die Erfassung der akustischen Audiosignale über das digitale I2S-Mikrofon funktioniert zuverlässig, und die Rohdaten werden auf dem ESP32-S3-Chip nahezu in Echtzeit verarbeitet. Die DSP-Algorithmen analysieren die Frequenzen präzise, filtern instrumententypische Obertöne heraus und wandeln die erkannten Grundtöne fehlerfrei in MIDI-Werte um. Anschließend werden diese Datenpakete verzögerungsarm per Bluetooth Low Energy an das mobile Endgerät übertragen. Die in der Applikation empfangenen Notenwerte werden asynchron verarbeitet und auf einem dynamischen Fünf-Linien-Notensystem grafisch dargestellt. Dadurch ist es möglich, gespielte Melodien in Echtzeit zu visualisieren, den rhythmischen Takt nachzuvollziehen und die fertige Partitur abschließend als Vektorgrafik im PDF-Format zu exportieren.

Team: Noah Hock, Omer Tershnjaku, Aleksandra Kovandzic

Betreuer: Prof. Dipl.-Ing. Gerfried Susani-Etzerodt