Multimodalni glazbeni stalak: 9 koraka (sa slikama)

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:38

Multimodalno glazbeno postolje (MMMS) novi je način za kontrolu audio sinteze i efekata tijekom sviranja tradicionalnog instrumenta (sax, flauta, violina, kako god već), a nudi i nekoliko dodatnih mogućnosti za proširene tehnike koje se mogu koristiti tijekom sviranja ! Već postoji web stranica o našem grupnom projektu na UC Santa Barbara na kojoj smo razvili MMMS, pa umjesto da to ponovim ovdje, postavit ću vezu - provjerite! Multimodalna glazbena stalkaKratki isječak MMMS -a na djelu je ovdje, ali na gornjoj web stranici ima boljih videozapisa … Multimodalno se odnosi na sposobnost osjećanja ulaza u više od jednog načina (audio ulaz, video ulaz i ulaz temeljen na senzoru). Audio i video ulaz prilično su jednostavni, uključuju normalni mikrofon i web kameru spojenu na vaše računalo, ali ulaz senzora je malo složeniji, stoga je ovo uputstvo … Koristimo CREATE USB sučelje, jednostavan sklop koji sam razvio za klasu Predajem na UCSB-u, zajedno s kompletom ThereminVision II za E-polje (poznatim i kao kapacitivno otkrivanje) kako je ovdje prikazano: CREATE USB InterfaceThereminVisionII kitAko ne znate što je Theremin, učinite si uslugu i pretražite Youtube, dobili ste ne razočaraj se! MMMS je u osnovi ekvivalent 2 Theremina, budući da ima 4 antene za osjetljivost E-polja, uz audio/video ulaz naravno. Ako ste zainteresirani za proširenje svojih tehnika izvođenja s vašim instrumentom interakcijom s računalom, ali ne želite koristiti jednostavne nožne noge, napravite si Multimodalni glazbeni stalak i počnite vježbati s njim!

Korak 1: O CREATE USB sučelju

CREATE USB Interface (CUI) je jednostavan programabilni sklop temeljen na PIC-u koji se može u potpunosti izraditi sam, ili od mene možete nabaviti unaprijed izgrađen za 50 USD (+ 5 za dostavu), i neće vam trebati kupiti PIC programer budući da sam vam stavio bootloader na njega … pogledajte pojedinosti na web stranici ili me jednostavno pošaljite e -poštom da ga zatražim: CREATE USB Interface websiteCUI može funkcionirati kao mnogo različitih stvari, a do sada se koristio u stotinama zanimljivi projekti u cijelom svijetu … nekoliko primjera studenata sa UC Santa Barbara nalazi se u ovom konferencijskom radu (PDF). CUI se može ponovno programirati putem USB kabela pomoću pokretačkog programa za učitavanje, zbog čega je tako lako prilagodljiv - jednostavno promijenite firmver i to je nešto drugo. Na primjer, lako je pretvoriti CUI u bežično sučelje senzora pomoću jednog od Bluetooth moduli iz zabavne iskre - ako je netko zainteresiran za to, u komentarima napišite napomenu u kojoj tražite drugu instrukciju. CUI ima 13 kanala 10-bitnih analognih ulaza i 16 ulaza/izlaza opće namjene. Zadani firmver isporučen s pločama CUI v1.0 šalje ih sve kao ulazne podatke na računalo domaćin i lijepo radi s interaktivnim okruženjima za stvaranje umjetnosti kao što su Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck itd. jedna od CUI v1.0 ploča za izradu Multimodalnog glazbenog postolja u ovom uputstvu. Mi koristimo Max/MSP/Jitter kao okruženje, ali svakako ga prilagodite Pd -u ili softveru po vašem izboru. Veliki sam ljubitelj otvorenog koda (sam CUI je otvorenog koda) i uvelike pomaže ako svi stojimo jedni drugima na ramenima i poboljšamo stvari koje radimo!

Korak 2: O kompletu ThereminVision II

ThereminVision II dostupan je i kao komplet (50 USD) i unaprijed izgrađen (80 USD) s web mjesta dobavljača, RobotLand, a također je i otvorenog koda - priručnik ThereminVision II (PDF) uključuje dijagrame krugova. Za MMMS sam kupio komplet, a zatim odlučio ovaj put ići s već izgrađenim (ovo je drugi MMMS koji sam izgradio). Na stranu, u slučaju da se pitate zašto ne nudim komplet CREATE USB sučelja, to je zato što se CUI bootloader mora programirati s konvencionalnim PIC programatorom prije nego što se novi firmver može poslati preko USB -a - u protivnom bih definitivno ponudio komplet, iako bi uključivao lemljenje na površinskoj ploči … Pa natrag na ThereminVision II - ako ste ga kupili u formi kompleta, slijedite (izvrsne!) upute u pdf -u: priručnik ThereminVision II Postoji mnogo lijepih shema ožičenja koje ćete morati napraviti - jedino što ne prikazuje su veze sa CREATE USB sučeljem, pa ću fotografije koje sam snimio objaviti u sljedećih nekoliko koraka … oh, i dobio sam antene za ThereminVision (nisu uključene) od All Electronics.

Korak 3: Priprema glazbenog postolja

Učinite svoje multimodalno glazbeno postolje od lijepog glazbenog postolja, poput ovdje prikazanog "stalka za dirigente", ili upotrijebite sve što vam je pri ruci - još bolje, napravite ga sami!

Bez obzira koje postolje koristite, trebat će vam izolirani nosači za četiri antene na uglovima postolja. Počnite s bušenjem rupa u uglovima - montažni hardver koji sam postavio radio je s bušilicom od 1/4 , vaš će vjerojatno biti drugačiji. Pokušajte držati prednju stranu površine što je moguće ravnije kako biste izbjegli smetnje u glazbi.

Korak 4: Spajanje senzorskih modula ThereminVision

O povezivanju ThereminVision "senzorskih" modula (555 vremenskih krugova) s ThereminVision "procesorskim" modulom također se detaljnije govori u priručniku ThereminVision II, ali evo nekoliko slika procesa…

Korak 5: Spajanje ThereminVisiona na CREATE USB sučelje

Kao što smo vidjeli u posljednjem koraku, postoje 4 žice koje povezuju svaki od senzorskih modula s procesorskim modulom ThereminVision. Postoji i 6 žica koje povezuju procesorski modul ThereminVision s CREATE USB sučeljem - to su napajanje, uzemljenje, izlaz senzora, odabir senzora A, odabir senzora B i zaustavljanje senzora.

Budući da će ThereminVision II napajanje dobivati putem CREATE USB sučelja (koje pak dobiva napajanje putem USB -a), odlučio sam spojiti napajanje za svaki od senzorskih modula ThereminVision izravno na CREATE USB sučelje - to ga čini malo manje ptičjeg gnijezda na ožičenju budući da na procesorsku ploču TherminVision već ide mnogo žica. Spojite "+" na ThereminVision-u na "5V" na CUI Connect-u "-" na ThereminVision-u na "GND" na CUI Connect-u "4" (izlaz podijeljen sa 4) na ThereminVision-u na "D7" na CUI Connect-u "SEL B" na ThereminVision -u na "D5" na CUI -u povežite "SEL A" na ThereminVision -u na "D4" na CUI -u Povežite "S" na ThereminVision -u na "D6" na CUI -u

Korak 6: Montiranje svega na postolje

Dakle, elektronika je gotova, sada je samo montirajte na postolje - postoji mnogo metoda za to, a možda ćete htjeti staviti svoju elektroniku u zaštitnu kutiju itd …

Evo nekoliko fotografija nekih od najjednostavnijih metoda montaže.

Korak 7: Ponovno učitavanje firmvera za ThereminVision u CUI

ThereminVision šalje vremenske signale za svoje senzore umjesto analognih izlaza (ili bilo koji od standardnih digitalnih protokola poput I2C ili SPI). Dakle, bio je potreban neki prilagođeni firmver za mjerenje vremena ovih signala … Prva verzija firmvera Multimodalnog glazbenog postolja nalazi se u donjoj zip datoteci, uključeni su i izvorni kod i sastavljena heksadecimalna datoteka (zajedno s testnom zakrpom za Max/ MSP/Jitter): CUI -ThereminVision firmver Donja snimka zaslona prikazuje OS X program Boot Down Craiga Schimmela - pomoćni program za podizanje sustava Macintosh za CUI. Ako ste na Windowsima, najjednostavnije je koristiti Microchipov vlastiti alat, PDFSUSB.exe koji se može preuzeti s njihove web stranice ili koji je uključen u ovaj primjer koda za CREATE USB sučelje. Da biste CUI stavili u "način podizanja sustava", držite pritisnutu tipku tipku programa i pritisnite gumb za resetiranje (ili samo priključite USB kabel držeći pritisnutom tipku programa). Statusna LED dioda CUI -ja neprestano će treptati, što znači da je u načinu pokretanja pokretačkog programa. Sada možete koristiti Boot Down za slanje datoteke CUIEfieldBootDown.hex na CREATE USB Interface. Ako ikada želite promijeniti firmver za CREATE USB Interface natrag na izvornik, on je ovdje, a postoje i drugi primjeri firmvera za CUI i ovdje.

Korak 8: Testiranje multimodalnog glazbenog postolja u Max/MSP/Jitteru

Otvorite primjer zakrpe u Max/MSP/Jitteru (30-dnevni demo možete preuzeti s www.cycling74.com, a dostupna je i verzija za vrijeme izvođenja koja ne dopušta spremanje zakrpa) ili slijedite konvencije u zakrpi Max i napravite vlastiti patch u PureData (Pd) … Jitter se koristi za prikaz 3D položaja pokretačkih unosa, gdje je os z (prema postolju i dalje od njega) preslikana na ukupni intenzitet sve 4 antene - nije previše znanstveno, ali radi! Podaci s pojedinačnih senzora također se šalju kao OSC na 127.0.0.1 (localhost) za upotrebu u drugim aplikacijama ako je potrebno. Korisni objekt u Max/MSP/Jitteru za filtriranje šiljaka iz podataka senzora (uzrokovanih električnim smetnjama) je "glatkiji" Tristana Jehana, koji se može preuzeti ovdje: glatkiji max objektTristanova web stranica također ima hrpu MSP vanjskih eksponata za Maxa koje koristimo za dio za audio analizu ulaza Multimodalnog glazbenog postolja - oni uključuju visinu zvuka ~, glasnoću ~, svjetlinu ~, buka ~ i sve-u-jednom analizator ~ objekt. Nakon što podaci dođu u Max, morat ćete individualno prilagoditi osjetljivost senzora ThereminVision malim srebrnjačem. Učinite to tako da ispružite antene do kraja, a zatim okrenete plavi trimpot u smjeru suprotnom od kazaljke na satu sve dok ne pređe u način "obrnutog sensinga" - zatim ga okrenite natrag u smjeru kazaljke na satu sve dok se ne vratite u normalni raspon osjetljivosti. Male prilagodbe (ugađanje osjetljivosti, baš kao i ugađanje gitare) mogu se izvršiti promjenom duljine antena, tako da nećete morati nositi mali odvijač na koncerte sa sobom.

Korak 9: Upotreba multimodalnog glazbenog postolja u izvedbi! (i proširenje)

Ne zaboravite, nove tehnike izvođenja koje Multimodalno glazbeno postolje omogućuje vježbanje i razvoj novih preslikavanja i ideja za ono što s njim želite kontrolirati! Također, ako želite proširiti svoj MMMS na druge vrste senzora, bit će moguće koristiti 13 analognih ulaza na CUI -u uz senzore ThereminVision u budućim verzijama MMMS firmvera, pa s nekim jednostavnim senzorima (klizači/gumbi/papučice) ili drugim vrstama senzora (IR/ultrazvuk/itd.), oni se mogu koristiti zajedno sa audio ulazom i video zapisom na računalo. Trenutno firmver koristi protokol "serijski-preko-USB", no na kraju je plan prebaciti se na "HID" (Human Input Device) protokol koji obično koristi CREATE USB sučelje. Slobodno pridonesite trudu … Postoji sličan projekt otvorenog koda za otkrivanje E -polja (poznat i kao kapacitivno otkrivanje) koji koristi istu topologiju kruga (na temelju dizajna ThereminVision) pod nazivom CapToolKit - koristi "mlađeg brata" "od PIC18F4550, PIC18F2550 koji nema toliko analognih ulaza (10 umjesto 13). Firmver za CapToolKit bit će nešto drugačiji jer ne koriste procesorsku ploču ThereminVision. Koristimo jednostavnu vatrogasnu kameru (stil web kamere) montiranu na vrhu glazbenog postolja za optičko prepoznavanje fizičkih gesta i detekciju pogleda - Ako su zainteresirani za aspekte računalnog vida ili audio analize i sinteze istraživanja naše grupe, pogledajte radove na web stranici Multimodal Music Stand. I molim vas objavite svoja iskustva ako izgradite multimodalni glazbeni stalak … Sada imamo dva na UCSB -u kao što je prikazano na donjoj fotografiji - bilo bi sjajno da ih ima više skladbi, izvedbi i glazbenika! Dr. JoAnn Kuchera-Morin napisala je prvu skladbu koja uključuje MMMS, a koju je flautistica Jill Felber izvela na Eastman School of Music u ožujku 2007. godine.