IoT: Kontrolirajte HoloLens pomoću obrva (EMG): 5 koraka

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:35

Ovaj projekt bio je dio projekta NASA SUITS Sveučilišta Colorado Boulder koji je predstavljen i testiran u NASA -i JSC u travnju 2019. Za projekt te godine bio sam voditelj projekta razvoja hardvera i ovo je bio jedan od mojih doprinosa. Ovdje pročitajte više o izazovu NASA SUITS.

Ovim projektom htio sam dopustiti bilo kome (u ovom slučaju EVA astronautima) da se poveže s Heads-Up-Display (HUD) postavljenim u Microsoft HoloLens-u bez upotrebe ugrađenih pokreta rukama ili glasovnih unosa. Ovaj cilj sam postigao sa stajališta pristupačnosti, želio sam razviti periferne/nosive uređaje koji bi omogućili EVA astronautima da se povežu sa svojim zaslonom bez zauzimanja komunikacije s kopnenom kontrolom, a povezivanje gestama pod visokim pritiskom je nerazumno. Iako je ovo domena koja mi je donekle nepoznata, također vidim da je ovaj periferni uređaj koristan za osobe s invaliditetom, dopuštajući im da koriste HoloLens ili druge AR/VR uređaje i da se odreknu ulaza koji su sučeljavajući ili zastrašujući.

Iako je popis stavki za ovaj projekt sam po sebi isključiv (HoloLens je jako skup!), Periferni se može koristiti s drugim AR/VR uređajima.

Ako imate bilo kakvih pitanja, želite biti u toku s mojim radom ili samo razbacujete ideje, učinite to na mom Twitteru: @4Eyes6Senses.

Pribor

Microsoft HoloLens (ili neki drugi AR/VR uređaj)

Foton čestica

MyoWare mišićni senzor - MyoWare senzor može se zamijeniti drugim EMG pločama za probijanje. Ako niste sigurni gdje je EMG, predlažem da više o tome pročitate ovdje

Biomedicinski senzorski jastučići

Jedinstvo (besplatno)

Izvjesno iskustvo u stvaranju projekata u jedinstvu

Žica

Korak 1: Povezivanje MyoWare -a s fotonom čestica

Povezivanje fotona čestica s MyoWare pločom prilično je jednostavno. Za ovaj korak trebat ćete lemiti veze između Fotona čestica i MyoWare ploče. Provjerite imate li jake veze kako se kabeli ne bi slomili dok nosite uređaj. Kako biste izbjegli lomove, preporučujem upletanje kabela prije nego što ih zalemite u Photon.

- Lemite žicu u "+" priključak MyoWare ploče, a zatim drugi kraj kabela lemite u Photonov "3v3" pin.

- Lemite žicu u "-" priključak MyoWare ploče, a zatim drugi kraj kabela lemite u Photon-ov "GND" pin.

- Lemite žicu u "SIG" priključak MyoWare ploče, a zatim drugi kraj kabela lemite u Photon -ov "A0" pin.

Korak 2: Prijenos koda na foton čestica

Pomoću IDE -a Particle Photon prenesite.ino datoteku. Postavite MyoWare ploču na mišićnu skupinu i provjerite vrijednosti kako biste bili sigurni da vaš uređaj radi. Kada gledate kôd, primijetit ćete da je već postavljena varijabla "prag", ta je varijabla minimalna vrijednost koju MyoWare očitava s mog mišića kad potpuno podignem obrvu. Također sam postavio varijablu na "600" jer mi je omogućila normalne razgovore dok nosim MyoWare bez stvaranja lažnih pozitivnih rezultata (slučajno aktiviranje). Možda ćete se htjeti poigrati s vrijednostima dok ne pronađete željeni prag za svoju upotrebu.

Korak 3: Postavljanje MyoWare -a

Za naš projekt NASA SUITS odabrao sam postaviti MyoWare ploču iznad obrva. Nadahnuo sam se da postavim MyoWare tamo nakon što sam pogledao projekt "'Sup Brows" koji je napravio Adafruit. Nakon nekog testiranja, postalo je jasno da su obrve izvrsno mjesto za ovaj specifičan projekt. To je izvrsno mjesto jer na senzore ne bi utjecali stalni pokreti mišića kroz ruke, noge i torzo koje astronauti EVA rade tijekom svemirskih šetnji.

Korak 4: Povezivanje MyoWare -a s jedinstvom

Vrijeme je za posljednji korak, spojimo MyoWare s Unityjem! U ovaj Instructable uključena je skripta koju ćete morati uključiti u svoj Unity projekt. Ali prvo ćete morati promijeniti nekoliko stvari u kodu. Prvo ćete morati dodati JSON Object Unity dodatak u svoj projekt. Zatim ćete morati dodati vlastiti ID uređaja i pristupni token u redak 19: particleURI = "https://api.particle.io/v1/devices/[Umetnite svoj ID uređaja]/Dalje? Access_token = [Umetnite svoj pristupni token] ". ID uređaja možete dobiti iz IDE -a za čestice, slijedeći sliku 2, kliknite karticu svojih uređaja (crveni okvir) i ispod naziva uređaja potražite svoj ID (plavi okvir). Zatim, da biste pronašli svoj pristupni token, kliknite karticu postavki u IDE -u.

Korak 5: Gotovo

Nakon što završite svoj Unity projekt, imat ćete HoloLens kontroliran EMG -om!

Ako imate dublja pitanja, želite naučiti o ljudskom povećanju, želite biti u toku s mojim radom ili se samo bacati oko ideja, učinite to na mom Twitteru:

Ako ste zainteresirani za rad s našim timom za izazov NASA SUITS 2019-2020, pošaljite mi e -poruku na:

Posebno hvala modelu na prvoj slici, Darrenu, koji je također testirao dizajn u NASA -i. Još jedno hvala mojem programskom partneru na projektu AJ, koji je puno toga omogućio.