Biofeedback Cinema: 7 koraka

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:37

Autor projekta

Jessica Ann

Suradnici

• Gregory Hough
• Salud Lopez
• Pedro Peira

Oko

Eksperimentalni sustav snimanja videa koji povezuje mozak sudionika s funkcijama kamere putem Neurosky Mindwave EEG čitača. Biofeedback Cinema sustav radi umjesto tradicionalnog snimatelja, umjesto toga prepušta agenciju kompozicije samoj sudionici putem prilagođenog sučelja BRAIN to CAMERA. Projekt je razvijen u suradnji s polaznicima radionice Gregoryjem Houghom, Saludom Lopezom i Pedrom Peirom. Rezultate radionice možete pročitati na:

Konfiguracija prototipa

Biofeedback Cinema sustav podnosi mnoge potencijalne primjene. Za ovu instrukciju pripremili smo demonstraciju sustava koja gleda na razinu sučelja/pozornosti sudionika (jedan cijeli broj) i to prevodi u položaj kamere (putem pomicanja i nagiba) i fokus kamere (interno putem OpenCV -a). To sve omogućuje bluetooth veza između Neurosky EEG Reader slušalica i Raspberry Pi.

Raspberry Pi je malo računalo opremljeno web kamerom i skriptama (dostupno u nastavku) koje premošćuju moždane aktivnosti sudionika prema postavkama kamere i položaju kamere. Dinamičan položaj kamere omogućen je putem Arduino mikrokontrolera koji prima signale iz Raspberry Pi. Radujemo se daljnjem razvoju jer želimo uključiti dodatne parametre moždanog vala (frekvencije povezane s treptajem oka itd.) I funkcije kamere (tj. Nijansu, zasićenje, svjetlinu itd.).

U nastavku su upute za izgradnju vlastitog biofeedback kino sustava.

Sretno eksperimentiranje

Korak 1: Opskrba

Dolje je navedeno sve što vam je potrebno za izradu vlastitog prototipa Biofeedback Cinema.

1. Mobilne EEG slušalice Neurosky Mindwave

2. Raspberry Pi B+ (b+ je bolji, više USB priključaka, ali i B model je u redu ako imate USB hub).

   1. Adapter za napajanje Raspberry Pi ili baterija
   2. Wifi Dongle ili Ethernet veza (potrebno samo tijekom postavljanja)
   3. Bluetooth Dongle see wiki za kompatibilne ključeve
   4. SD kartica (najmanje 8 GB) s NOOBS -om.

3. Arduino Bilo koja ploča je u redu, koristeći Uno u ovom Instructable. Također imajte na umu da biste mogli samo koristiti I/O na Pi.

   1. Arduino adapter za napajanje ili baterija
   2. A-B USB kabel
4. USB web kamera
5. Mini Pan-Tilt Kit

6. Monitor s HDMI ulazom Ili upotrijebite VNC za daljinsko upravljanje pi -om s računala [vodič ovdje]

   HDMI kabel

7. USB tipkovnica i miš preporučuju bluetooth tipkovnicu i miša za smanjenje korištenja USB priključaka.

Korak 2: Postavljanje Raspberry Pi

1. Postavljanje hardvera

Spojite tipkovnicu, miš, bluetooth dongle, wifi dongle (ili ethernet), web kameru, monitor putem HDMI kabela i napajanje na svoj Raspberry Pi

2. Postavljanje operacijskog sustava

• Uključite napajanje i vaš bi se Pi trebao pokrenuti. Instalirajte Rasbpian OS, upute ovdje:
• Ako se pokrene i Raspian je pravilno instaliran, trebali biste vidjeti početnu radnu površinu [Slika gore].

SAVJETI:

• Ako je omjer slike na radnoj površini isključen, pokušajte ponovno pokrenuti Raspberry Pi. Ako je i dalje isključeno, pogledajte ovdje za ručno ažuriranje omjera širine i visine slike.
• Ako otvorite uređivač teksta, a posebni znakovi na tipkovnici su pogrešno prikazani, pogledajte ovdje kako biste ažurirali konfiguraciju tipkovnice.
• Testirajte svoju internetsku vezu (ovo će vam trebati za instaliranje knjižnica tijekom postavljanja). Ovdje potražite pomoć pri postavljanju WiFi -ja.

Korak 3: Povežite Neurosky slušalice

1. Bluetooth konfiguracija

Prije nego se Pi poveže s Neurosky -om, moramo postaviti bluetooth:

Na radnoj površini otvorite "LXTerminal" (od sada nadalje termin Terminal). Pokrenite ovu naredbu da biste riješili i ažurirali nedostatke:

$ sudo apt-get ažuriranje

Instalirajte bluetooth s ovom naredbom:

$ sudo apt-get install bluetooth

Instalirajte zgodan Bluetooth pomoćni program na radnoj površini alatne trake:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Ponovo pokrenite Pi s terminala:

$ sudo ponovno podizanje sustava

2. Testirajte Bluetooth vezu

• Uključite Neurosky slušalice
• Iz skeniranja terminala za uređaje:

hcitool skeniranje

Slušalice Mindwave trebaju biti navedene, imajte na umu MAC adresu slušalica [slika gore]

3. Instalirajte knjižnice Neurosky

Sada smo spremni instalirati knjižnice Neurosky Python i početi prikupljati njegov tok podataka pomoću testne skripte knjižnice:

S terminala instalirajte uslužni program github:

sudo apt-get install git-core

Klonirajte github spremište s bibliotekom Neurosky Python:

klon sudo git

Moramo ažurirati datoteku MindwaveMobileRawReader.py s MAC adresom vaših slušalica. Napomena: Imena datoteka razlikuju velika i mala slova

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Ažurirajte MAC adresu navedenu u datoteci. Ctrl-X za završetak, Y za spremanje, Enter za izlaz.
• Uparite Neurosky i Pi i dopustite značajku automatskog povezivanja, ako se od vas zatraži PIN, upotrijebite "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-uređaj pouzdano XX: XX: XX: XX: XX: XX da

Instalirajte Python Bluetooth biblioteku:

sudo apt-get install python-bluez

Pokrenite testnu skriptu knjižnice kako biste bili sigurni da Pi može pregledati tok podataka. Trebali biste vidjeti prijenos podataka [slika gore]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Korak 4: Spojite USB web kameru W/Otvorite životopis

1. Instalirajte OpenCV

S terminala:

$ sudo apt-get install libopencv-dev python-opencv

Kad završite, nastavite:

$ sudo apt -get -f install

Za dobru mjeru:

$ sudo apt-get install libopencv-dev python-opencv

Testirajte instalaciju pokušajem uvoza knjižnice:

$ python

> uvoz cv2

2. Testirajte OpenCV u Pythonu s USB web kamerom

• Na radnoj površini otvorite "IDLE" (ne otvarajte IDLE3!)
• Na izborniku Datoteka odaberite Novi prozor. Kopirajte našu Cv-Blur-Test skriptu u novi prozor i spremite. Skripta dostupna ovdje:
• Na izborniku Run odaberite Run Module (ili pritisnite F5). Može potrajati nekoliko sekundi dok se ne pokrene, ali trebali biste vidjeti mali okvir s vašim feedom web -kamere uživo, a videozapis bi trebao biti zamućen. Čestitamo, OpenCV je instaliran i uspješno radi s vašom web kamerom [Slika gore].

Korak 5: Povežite Arduino

1. Preuzmite Arduino IDE

S terminala:

sudo apt-get install arduino

2. Spojite Arduino & Load Sketch

• Priključite arduino u Pi pomoću A-B USB kabela.
• Iz izbornika Start na radnoj površini idite na Electronics i otvorite Arduino IDE. Kopirajte našu skicu arduino-serial-pi u IDE [veza ispod]. Ovo je vrlo osnovna skica koja će pomicati servo motore na temelju ulaza koji dolazi preko serijske jedinice. Poslat ćemo podatke putem serije na temelju izlaza moždanog vala, koristeći Python skicu u posljednjem koraku kada sve spojimo.

Arduino-serial-pi skica online ovdje:

U Arduino IDE -u idite na izbornik Alati, odaberite Serijski port i odaberite navedeni Arduino port, vjerojatno nešto poput /dev /ttyACM0. Zabilježite luku

3. Onemogućite serijsku konzolu

Preuzmite i pokrenite skriptu za onemogućavanje serijske konzole kako bi USB serijska veza mogla nesmetano raditi:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo ponovno podizanje sustava

Napomena:

Ako koristite B+, možda će biti dovoljno I/O za podršku servo pogona (pogledajte ovdje za postavljanje i korištenje GPIO -a). Međutim, zainteresiran sam za dodavanje dodatnih komponenti za buduće eksperimentiranje mozga prema elektronici. Dakle, postavljanje početnog prototipa s arduinom osigurava obilje elektroničkih mogućnosti.

Korak 6: Sve spojite

1. Završna Python skripta

Prije nego što možemo dodati konačnu python skriptu u mapu "python-mindwave-mobile", moramo promijeniti dopuštenja za mape. S terminala:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Otvorite IDLE i pokrenite našu konačnu Python skriptu, dostupnu na Internetu ovdje: https://github.com/PrivateHQ/biofeedback-cinema/ Provjerite nalazi li se u mapi python-mindwave-mobile. Napomena: Morat ćete ažurirati našu Python skriptu sa stvarnom adresom Arduino porta.
• Kada pokrenete ovu skriptu, trebale bi se dogoditi tri stvari: 1) Vaša razina pažnje bit će navedena u Python ljusci, 2) Pojavljuje se mali okvir koji prikazuje prijenos uživo s web kamere s zamućenjem koje se mijenja ovisno o razini pozornosti, 3) motor (s) pomaknite se dok se razina pažnje prenosi na arduino putem serijskog [Video gore].

Korak 7: Poboljšanja i razvoj

Raspberry Pi ima ograničenu procesorsku snagu i bori se za nesmetano izvođenje OpenCV funkcija. To je nešto što ću nastaviti razvijati i poboljšavati. Osim toga, planiram u buduće iteracije uključiti dodatne parametre moždanog vala (frekvencije povezane s treptajem oka itd.) I funkcije kamere (tj. Nijansu, zasićenje, svjetlinu itd.).