Rukavice za pretvaranje gesta u govor/tekst: 5 koraka

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:33

Ideja/poticaj iza provedbe ovog projekta bila je pomoći ljudima koji imaju poteškoća u komunikaciji pomoću govora i komunikaciji pomoću gesta rukama ili popularnije poznatom kao američki jezik s potpisom (ASL). Ovaj projekt može biti korak prema pružanju tim ljudima mogućnosti rada s drugim ljudima, koji ne razumiju znakovni jezik, u suradničkom okruženju. Također, ovaj će im projekt omogućiti držanje javnih govora bez korištenja stvarnog ljudskog prevoditelja. Za početak, samo sam pokušavao otkriti neke od lakših gesta poput abeceda A, B, I, itd., A također sam dodijelio određene geste uobičajenim riječima/pozdravima, poput "Zdravo", "Dobro jutro" itd.

Korak 1: Montaža kruga

Korak 2: Detalji projekta

Ovaj projekt uključuje nosive rukavice sa 4 senzora savijanja zataknuta/ugrađena u rukavicu - po jedan za male, srednje, kažiprste i palac. Savitljivi senzor nije korišten za prstenaste prste zbog ograničenja dostupnosti analognih ulaznih pinova na Arduinu Uno R3 i općenito zbog nedostatka neovisnog kretanja prikazanog prstom na znakovnim jezicima. Također se koristi akcelerometar MMA8452Q koji je zalijepljen na stražnjoj strani dlana za mjerenje orijentacije ruke. Ulaz s ovih senzora se analizira i koristi za osjet geste. Nakon što se gesta osjeti, odgovarajući znak/poruka sprema se u varijablu. Ti se znakovi i poruke nastavljaju spajati sve dok se ne napravi određena unaprijed određena gesta koja označava dovršetak rečenice. Nakon što se otkrije ta posebna gesta, spremljeni niz rečenica Arduino šalje na Raspberry Pi putem USB kabela. Raspberry Pi zatim šalje primljeni niz Amazon Cloud Serviceu pod imenom Polly da pretvori primljenu rečenicu u tekstualnom formatu u govorni format, a zatim struji primljeni govor na zvučniku spojenom na Raspberry Pi putem AUX kabela.

Ovaj je projekt bio samo Dokaz koncepta i s boljim dijelovima opreme i planiranja te bolje kalibriran za otkrivanje mnogih drugih gesta i pokreta ruku. Trenutno je u ovaj projekt programirana samo ograničena funkcionalnost, primjerice za osnovno otkrivanje gesta i izlaz teksta u govor.

Korak 3: Kodirajte

Korak 4: Koraci

1. Spojite fleksibilne senzore i akcelerometar MMA8452Q na Arduino prema priloženom dijagramu kruga.

2. Ispišite program Final_Project.ino (nalazi se u datoteci Arduino_code.zip) na Arduino.

3. Spojite Arduino na Raspberry Pi putem USB kabela. (Tip kabela A/B).

4. Uključite Raspberry Pi, kopirajte datoteku Raspberry_pi_code.zip u Raspberry Pi i ekstrahirajte je. Spojite zvučnik na Raspberry Pi.

5. Kopirajte vjerodajnice za AWS račun, tj. Aws_access_key_id, aws_secret_access_key i aws_session_token u datoteku ~/.aws/credentials. Ovaj je korak potreban za komunikaciju s AWS oblakom i korištenje AWS usluga.

6. Pokrenite program seria_test.py koji se nalazi unutar izdvojene mape u 4. koraku.

7. Sada napravite geste kako biste oblikovali rečenicu, a zatim napravite posebnu kretnju (Držite prste i dlan ravno i u liniji s dlanom okrenutim prema vama, a zatim okrenite zglob okrećući ga prema dolje tako da sada vaš dlan je okrenut prema vama, a vrh prstiju usmjeren prema dolje prema vašim stopalima.) da signalizira dovršetak rečenice.

8. Stalno provjeravajte korisničke informacije na terminalu.

9. I slušajte kako se konvertirani govor struji na zvučniku.

5. korak: Reference

1.

2.

3.

4.