De rol van technologie binnen MT
Marc Groenewegen, november 2022
Technologie
- toepassing (gebruik)
- creatie
- combineren van bestaande technologie
Voor eigen gebruik. En (ook of volledig) voor anderen.
Technologie komt in alle richtingen terug. Vaak als iets dat je kunt gebruiken en steeds meer als iets dat je zelf kunt aanpassen.
Alle studenten leren de basis: programmeren, algoritmiseren en (hardware-)systemen ontwerpen. Alle studenten? Ja, ook componisten, producers en live audio engineers leren programmeren en hardware maken.
MT TECH core team
De MT-docenten die zich met de scheppende kant van technologie bezighouden (alfabetisch)
- Carolien Teunisse
- Ciska Vriezenga
- Hans Leeuw
- Marc Groenewegen
- Pieter Suurmond
- Poul Holleman
- Roald van Dillewijn
- Timo Hoogland
- Ward Slager
En ook: Than, Jeroen, Jorrit, Sander, Dianne, Wouter ....
Wat is CSD eigenlijk?
En hoe verhoudt CSD zich tot de technologie binnen MT? CSD staat niet gelijk aan programmeren. Programmeren speelt binnen CSD wel een grote rol, maar CSD is veel meer dan dat en tegelijk kom je op allerlei plaatsen buiten CSD ook programmeerwerk tegen.
CSD draait om het inzetten van technologie voor muziektechnologische toepassingen. Binnen bijvoorbeeld KO en SID wordt ook veel met technologie gewerkt en is ook sprake van creatie van technologie.
CSD is wel de meest hardcore technologische richting. Je leert bij CSD, net als bij andere richtingen, waarom je dingen maakt, voor wie en in welke context. Maar bij CSD leer je ook de fundamenten van de technieken die je gebruikt.
Het is niet altijd nodig om tot het allerdiepste niveau te begrijpen welke bits, lichtflitsjes of spanninkjes leiden tot een resultaat, maar als je de fundamentele processen begrijpt kun je in veel situaties beter inschatten wat er mogelijk is, kun je complexe systemen doorgronden en ontwerpen, kun je sneller fouten opsporen en kun je praten met (andere) technisch geschoolde teamleden.
Uiteindelijk loont het om je bij elke nieuwe MT-uitdaging af te vragen wat het juiste gereedschap voor de klus is. De ene keer kies je voor rapid-prototyping (Max, PD, Matlab, Octave, breadboard), een andere keer voor hardcore programming (C, C++) of custom hardware en vaak voor een combinatie van dat alles.
Kijk hier voor een overzicht van andere blokken in jaar 2.
CSD binnen BAT MT: traject van 4 jaar
jaar 1 : sysbas (a.k.a. CSD1ab)
jaar 2 : CSD2
jaar 3 : CSD3 + PROJ3
jaar 4 : CSD-netwerk
Technologie binnen MT
Technologie binnen MT omvat:
- ontwerpen en programmeren voor muzikale en gerelateerde toepassingen
- hardware-ontwerp en -realisatie
algoritmiseren en andere compositietechnieken
DSP (werken met en begrijpen van analoge en digitale signalen)
- geluids-analyse
- geluids-synthese
- geluidsbewerking
- creatief inzetten van eigen en bestaande technologie (ook hacking)
- instrumentbouw
- embedded computing
- (bio)sensors
- hoorapparaten en andere medische toepassingen
AI
- audio-analyse & (her)synthese
- audio morphing
- reinforcement learning
bewustwording van de rol van technologie in het MT-werkveld en in de maatschappij
- je eigen omgeving maken: live coding, compositietools, plugins...
- koppelingen tussen audio en andere domeinen, zoals bijvoorbeeld audio visualiseren of beeld verklanken
Niet per sé muzikale, maar gerelateerde domeinen, signalen, trillingen...
- tactiele interfaces (project Tact, HeartBeat, MEDIATE)
- seismische activiteit
- sonificatie van beurskoersen (Pieter)
Jaar 2 CSD
programmeren met Python, C++ en bijbehorende methoden, technieken, frameworks (Marc, Ciska en practicum-assistent)
- irregular beat generator
- synthesizer
- duo: installatie met diverse aansturingen en audio-effecten bv. bitcrusher, reverb en pitch-shifter, besturen met beeldherkenning en sensoren
- eigen project, b.v. JUCE applicatie of plugin
DSP (Pieter)
- Signalen analyseren: tijd- en frequentie-domein / fourier transform (FFT)
- complexe getallen
- Karplus-strong (snaar-synthese)
- filter-ontwerp
- convolutie
- physical modeling
werkplaats-instructie: hout, metaal, maker space
- hardware: solderen, sensoren, ontwerpen, maken (Maker Skills)
- special basic Max is optioneel voor CSD'ers
Wat kun je in twee à drie jaar met CSD bereiken?
- Bass Jansson live coding (afstudeerwerk)
- Leo vd Veen Satie-orgel
- 360 degree Peek Sessions (afstudeerwerk)
- Quedo (CSD3)
- Tim Schoen distortion simulator (CSD project jaar 3)
- Wouter Ensink console synthesizer (CSD2b)
- Carbon Age installatie CSD3
- Nootbos installatie CSD3
Beroepsprofielen
Wat kun je professioneel bereiken met CSD?
- Faciliterend muziektechnoloog
- Performer met eigen instrumenten, effecten en technologische middelen
- Instrument-ontwikkelaar
- Tools-ontwikkelaar
- Applicatie-ontwikkelaar
- Software-library-ontwikkelaar
- Sound-library-ontwikkelaar
- Plug-in ontwikkelaar
- Systeem-ontwikkelaar (ook: t.b.v. installatie/festival)
- DJ/VJ (Live coding/Algorave)
- Componist (ondersteund door eigen toolset)
- Onderzoeker
- ......
Werkplaatsen IBB
- Blackbox
- Muziekstudio's
- Maker space
- Soldeerwerkplaats
- Houtwerkplaats
- Metaalwerkplaats
Alumni
- Tarik Barri
- Vito Willems
- Mark IJzerman
- Leo van der Veen
- Dianne Verdonk
- Roald van Dillewijn
- Poul Holleman
- Timo Hoogland
- [Nathan Marcus]
Speciale dagen en events
- biohackdag
- MT AI dag
- Raspberry Pi dag
- conferenties: LAC, NIME, ICMC
- events van Creative Coding Utrecht
Recente en huidige projecten
- Analyse van kuddegedrag, wat complexiteit van de muziek bepaalt
- tastbaar muziek-educatiespel voor basisscholen
- Musical similarity met Machine Learning
- Hercompositie van muzikale corpi met Deep Learning
- A/V live performance omgeving
- live-DJ-vervanging door AI
- PedalMangler - FX pedal switcher gestuurd door je spel
- GrAIn - mood-morphing van synth-instellingen met AI
- Alex Audio Butler - audio-plugin voor video-producers
- GAIMMM - emotion-based game audio
- Mikoto - text & melody to singing synthesis (cf. Vocaloid)