Music Information Retrieval (MIR)

MIR is een onderzoeksgebied waarin al decennialang hard gewerkt wordt om geluid beter te begrijpen en om (met de computer) features uit geluid te destilleren.

Toepassingen

• 'Shazam'
• source separation
• -
• -
• -
• -
• -

Verschillende niveaus van kenmerken

Natuurkundige en wiskundige kenmerken

• pitch
• -
• -
• -
• -

High-level/afgeleide kenmerken

• genre
• componist
• -
• -
• -
• -

Technieken voor feature-extractie

• time-domain
• frequency-domain: FFT / Wavelet
• MFCC
• transient detection

Libraries

Analyse-tools

• Sonic Visualiser
• GNUplot

Research-opdracht

Onderzoek aan de hand van bronnen op het internet (en boeken, papers en andere bronnen als je die bij de hand hebt) wat MIR concreet voor dit CSD-project kan betekenen als aansturing. Probeer in eerste instantie niets uit te sluiten: ga met een open mind aan de slag en ga pas halverwege dingen afstrepen (bewaar ze wel) die niet voor dit project bruikbaar zijn.

• welke informatie/features kun je uit een live audio signaal halen?
• bedenk enkele toepassingen van MIR
• breng in kaart welke features je kunt gebruiken als aansturing van elementen van een installatie/performance/applicatie
• onderzoek de mogelijkheden voor mapping: kun je het gebruiken voor snelle real-time interactie of is het interessant voor langzame interactie?
• onderzoek welke frameworks, libraries e.d. je kunt gebruiken voor feature-extractie
• vind voor elke feature minimaal twee betrouwbaar overkomende bronnen die aangeven hoe je de betreffende feature uit een audio-signaal kunt afleiden, zoals papers, websites of tutorials. Wikipedia alleen als het er heel heel heel betrouwbaar uitziet.
• geef aan of het gebruik haalbaar is in termen van latency en processor power
• ga nu afstrepen wat niet bruikbaar is voor dit CSD-project en verantwoord je keuzes (dus gooi niet weg wat nu niet bruikbaar lijkt: het kan later nog van pas komen)
• presenteer wat je gevonden en weggestreept hebt en lever je verslag in