Prepoznavač pokreta rukama: 5 koraka

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:33

Pregled

U ovom projektu napravit ćemo rukavicu koja može prepoznati neke osnovne pokrete rukama, koristeći MicroBit i nekoliko senzora. Koristit ćemo Bluetooth mogućnosti na MicroBitu, zajedno s Android aplikacijom i web poslužiteljem za obuku modela strojnog učenja za prepoznavanje pokreta ruke.

Početak rada

Većina napora uključenih u ovaj projekt je na softverskoj strani, a sav kôd potreban za pokretanje ovog projekta dostupan je na GitHubu. Baza kodova uključuje 3 komponente, kôd za generiranje HEX datoteke za MicroBit, kodnu bazu aplikacija za Android koja se u velikoj mjeri temelji na MicroBit Blue aplikaciji Zaklade MicroBit, s izmjenama napravljenim za ovaj specifični slučaj uporabe, te web poslužitelj s kodom za obučavanje modela temeljenog na Tensorflowu za identifikaciju pokreta ruke.

Sljedeći ćemo vidjeti kako izraditi rukavicu i spojiti je s aplikacijom i web poslužiteljem.

Pribor

• 1 BBC Microbit
• 1 Držač baterija s 2 AAA baterije
• 1 rukavica
• Set kratkospojnih žica, aligatorskih kopči
• Senzor savijanja
• Senzor sile
• Čičak
• Električna traka
• Android telefon
• Računalo/prijenosno računalo

Korak 1: Korak 1: Postavljanje MicroBita i baterije

• Počnite pričvršćivanjem držača baterije na komad čička kako je prikazano na prvoj slici. Električnom trakom čvrsto pričvrstite držač baterije na čičak traku.
• Zatim električnom trakom napravite petlju tako da bude ljepljiva s obje strane i zalijepite je na vrh baterije.
• Zalijepite MicroBit na omču vrpce kako biste čvrsto pričvrstili MicroBit na držač baterije kao što je prikazano na drugoj slici.

Korak 2: Priključite senzore

• Slijedite dijagram kruga prikazan na slici za povezivanje fleksibilnog senzora na pin 1 MicroBita i senzor sile na pin 0 MicroBita.
• Osigurajte senzore na rukavici električnom trakom kako je prikazano na slikama.

Korak 3: Dovršavanje hardvera

• Krajevima čičak traka oblikujte petlju i prevucite petlju preko prstiju rukavice, kao što je prikazano na slici.
• Možete koristiti žičane veze kako biste učvrstili žice na rukavici kako biste spriječili njihovo previše pomicanje.

U sljedećem odjeljku ćemo pogledati kako postaviti softver.

Korak 4: Postavljanje softvera

Uparivanje telefona s MicroBitom

1. Da biste uparili telefon, najprije provjerite je li Bluetooth uključen na telefonu.
2. Uključite MicroBit i pritisnite i držite tipke A i B. Istodobno pritisnite i otpustite tipku za poništavanje dok još držite tipke A i B. Mikrobit bi sada trebao ući u način uparivanja.
3. Na telefonu pronađite svoj MicroBit na popisu Bluetooth uređaja na koje obično dodajete novi Bluetooth uređaj i započnite uparivanje. Na vašem MicroBitu vidjet ćete strelicu koja pokazuje na gumb A. Kad pritisnete ovo, MicroBit će prikazati niz brojeva koji je kôd za uparivanje koji morate unijeti na svom telefonu. Nakon što unesete kôd na telefon i odaberete par, na MicroBitu bi se trebala prikazati kvačica.
4. Pritisnite gumb za resetiranje na MicroBitu.

Postavljanje softvera

Slijedite vodiče ReadMe u svakoj podmapi u spremištu GitHub kako biste postavili projekt Android aplikacije u Android Studiju, izgradili i prenijeli HEX datoteku na svoj MicroBit te pokrenuli web poslužitelj za pokretanje modela strojnog učenja.

Korak 5: Upotreba

Web poslužitelj

Otvorite terminal u direktoriju projekta web poslužitelja i pokrenite `python server.py` za pokretanje poslužitelja nakon što slijedite upute u ReadMe -u za instaliranje ovisnosti

Android aplikacija

1. Izradite i napravite APK za Android aplikaciju iz Android Studija. Pokrenite aplikaciju nakon uparivanja telefona s MicroBitom (pogledajte prethodni korak).
2. Na stranici mjerača ubrzanja možete postaviti URL web poslužitelja pomoću izbornika postavki u gornjem desnom kutu. Provjerite jeste li ovo promijenili u IP vašeg web poslužitelja.
3. Pričekajte da se očitanja akcelerometra počnu popunjavati iz MicroBita. Vidjet ćete kako se očitanja mijenjaju s različitom učestalošću. Za promjenu frekvencije pritisnite B na MicroBitu. U idealnom slučaju možete koristiti vrijednost frekvencije 10 (koja uzorkuje očitanja svakih 10 ms)
4. Nakon što se čitanja popune, imenujte svoju gestu pomoću tekstualnog okvira s oznakom 'Gesta:' i pritisnite gumb za snimanje. Čim pritisnete gumb za snimanje, ponavljajte pokrete rukom, sve dok se gumb ponovno ne omogući.
5. Ponovite korak 3 za snimanje više pokreta.
6. Pritisnite gumb vlaka za početak obuke modela na poslužitelju. Nakon što je trening završen (oko 15 sekundi), možete nastaviti s predviđanjima.
7. Pritisnite gumb predviđanja i napravite svoj pokret/gestu. Aplikacija će je pokušati uskladiti s jednim od uvježbanih pokreta što je bolje moguće.