Autonomni dron s infracrvenom kamerom za pomoć prvim odgovorima: 7 koraka

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:34

Prema izvješću Svjetske zdravstvene organizacije, svake godine prirodne katastrofe ubiju oko 90 000 ljudi i pogodiju blizu 160 milijuna ljudi širom svijeta. Prirodne katastrofe uključuju potrese, tsunamije, erupcije vulkana, klizišta, uragane, poplave, požare, toplinske valove i suše. Vrijeme je bitno jer šanse za preživljavanje počinju se smanjivati svakim minutom. Hitna pomoć može imati problema s lociranjem preživjelih u kućama koje su oštećene i dovode im u opasnost život dok ih traže. Postojanje sustava koji može daljinski locirati ljude uvelike bi povećao brzinu kojom ih hitna pomoć može evakuirati iz zgrada. Nakon istraživanja drugih sustava, otkrio sam da su neke tvrtke stvorile robote na kopnu ili su stvorile bespilotne letjelice koje mogu pratiti ljude, ali funkcioniraju samo izvan zgrada. Kombinacija dubinskih kamera zajedno sa posebnim infracrvenim kamerama može omogućiti točno praćenje unutarnjeg prostora i otkrivanje temperaturnih promjena koje predstavljaju vatru, ljude i životinje. Implementacijom senzora s prilagođenim algoritmom na bespilotnu letjelicu (UAV) bit će moguće autonomno pregledavati kuće i identificirati lokaciju ljudi i životinja kako bi ih spasili što je brže moguće.

Glasajte za mene na natječaju za optiku!

Korak 1: Zahtjevi za dizajn

Nakon što sam istražio dostupne tehnologije, razgovarao sam o mogućim rješenjima sa stručnjacima za strojni vid i prvim osobama koje su pronašle najbolju metodu za otkrivanje preživjelih u opasnim područjima. Dolje navedene informacije navode najvažnije potrebne značajke i elemente dizajna za sustav.

• Obrada vida - Sustav mora osigurati veliku brzinu obrade za razmjenu informacija između senzora i odgovora umjetne inteligencije (AI). Na primjer, sustav mora biti u stanju otkriti zidove i prepreke kako bi ih izbjegao, a istovremeno pronaći i ljude koji su u opasnosti.
• Autonomni - sustav mora moći funkcionirati bez unosa korisnika ili operatera. Osoblje s minimalnim iskustvom u UAV tehnologiji trebalo bi moći pritisnuti jednu ili nekoliko tipki kako bi sustav sam započeo skeniranje.
• Domet - raspon je udaljenost između sustava i svih drugih objekata u blizini. Sustav bi trebao moći detektirati hodnike i ulaze s udaljenosti od najmanje 5 metara. Idealni minimalni raspon je 0,25 m tako da se mogu detektirati bliski objekti. Što je veći raspon otkrivanja, to je kraće vrijeme otkrivanja preživjelih.
• Navigacija i točnost otkrivanja - Sustav bi trebao biti u mogućnosti točno pronaći sve ulaze i ne udariti u objekte, a istovremeno otkriti iznenadnu pojavu objekata. Sustav mora moći pronaći razliku između ljudi i neživih objekata putem različitih senzora.
• Trajanje rada - Sustav bi trebao moći trajati 10 minuta ili dulje, ovisno o tome koliko soba treba skenirati.
• Brzina - trebala bi moći skenirati cijelu zgradu za manje od 10 minuta.

Korak 2: Odabir opreme: Metoda mobilnosti

Kvadrokopter je odabran umjesto automobila na daljinsko upravljanje jer je, iako je krtač krhak, lakše kontrolirati i mijenjati visinu kako bi se izbjegle prepreke. Quadcopter može držati sve senzore i stabilizirati ih kako bi bili točniji pri kretanju u različite prostorije. Propeleri su izrađeni od ugljičnih vlakana otpornih na toplinu. Senzori se usmjeravaju dalje od zidova kako bi se spriječile nesreće.

• Kopneno vozilo na daljinsko upravljanje

  • Pros - Može se brzo kretati bez pada i na nju ne utječe temperatura
  • Nedostaci - Vozilo bi senzore postavilo nisko na tlo pokrivajući istovremeno manje prostora i moglo bi ih blokirati prepreke

• Quadcopter

  • Pros - podiže senzore u zrak kako bi dobio pogled od 360 ° na okolicu
  • Protiv - Ako naleti na zid, može pasti i ne oporaviti se

Korak 3: Odabir opreme: Mikrokontroleri

Dva su glavna zahtjeva za mikrokontrolere male veličine za smanjenje korisnog opterećenja na četverokopteru i brzina za brzu obradu unosa informacija. Kombinacija Rock64 i DJI Naza savršena je kombinacija mikrokontrolera jer Rock64 ima dovoljnu procesorsku snagu da brzo detektira ljude i spriječi da quadcopter naleti na zidove i prepreke. DJI Naza dobro ga komplimentira radeći svu stabilizaciju i kontrolu motora koju Rock64 ne može. Mikrokontroleri komuniciraju putem serijskog porta i dopuštaju korisničku kontrolu ako je potrebno. Raspberry Pi bi bio dobra alternativa, ali budući da je Rock64 imao bolji procesor i bolju povezanost sa senzorima navedenim u sljedećoj tablici, Pi nije odabran. Intel Edison i Pixhawk nisu odabrani zbog nedostatka podrške i povezivanja.

• Malina Pi

  • Pros - Može otkriti zidove i fiksne objekte
  • Protiv - bori se za praćenje podataka sa svih senzora pa ne može vidjeti ulaze dovoljno brzo. Ne može emitirati signale motora i nema nikakvih stabilizacijskih senzora za quadcopter

• Rock64

  • Pros - Sposobnost otkrivanja zidova i ulaza s malo kašnjenja.
  • Protiv - Također može voditi sustav kroz cijelu kuću bez naleta na sve pomoću svih senzora. Ne može slati signale dovoljno brzo za kontrolu brzine motora i nema stabilizacijske senzore za quadcopter

• Intel Edison

  • Pros - Sposobnost otkrivanja zidova i ulaza s nekim zaostatkom
  • Nedostaci - Starija tehnologija, mnogim bi senzorima bile potrebne nove knjižnice za čije je stvaranje potrebno mnogo vremena
• DJI Naza
  • Pros - Ima integrirani žiroskop, akcelerometar i magnetometar, kako bi quadcopter bio stabilan u zraku s mikro prilagodbama brzine motora
  • Protiv - ne mogu izvršiti bilo kakvu obradu vida

• Pixhawk

  • Prednosti - Kompaktan i kompatibilan sa senzorima koji se koriste u projektu pomoću općenitog ulaznog izlaza (GPIO)
  • Protiv - ne mogu izvršiti bilo kakvu obradu vida

Korak 4: Odabir opreme: Senzori

Kombinacija nekoliko senzora koristi se kako bi se prikupili svi podaci potrebni za pronalaženje ljudi u opasnim područjima. Odabrana dva glavna senzora uključuju stereo infracrvenu kameru uz SOund navigaciju i domet (SONAR). Nakon nekog testiranja, odlučio sam koristiti kameru Realsense D435 jer je mala i može točno pratiti udaljenosti do 20 metara. Radi pri 90 sličica u sekundi što omogućuje mnoga mjerenja prije nego što se donese odluka o tome gdje se nalaze objekti i u koji smjer treba usmjeriti četverokopter. SONAR senzori postavljeni su na vrh i dno sustava kako bi quadcopter znao koliko je visoko ili nisko dopušteno prijeći u dodir s površinom. Tu je i jedan postavljen prema naprijed kako bi sustav mogao otkriti objekte poput stakla koje senzor stereo infracrvene kamere ne može otkriti. Ljudi i životinje otkrivaju se pomoću algoritama za prepoznavanje pokreta i objekata. FLIR kamera bit će implementirana kako bi pomogla stereo infracrvenoj kameri pratiti što živi, a što ne kako bi povećala učinkovitost skeniranja u nepovoljnim uvjetima.

• Kinect V1

  • Pros - Lako možete pratiti 3D objekte udaljene do 6 metara
  • Nedostaci -Ima samo 1 infracrveni senzor i pretežak je za quadcopter

• Realsense D435

  • Pros - Ima 2 infracrvene kamere i crvenu, zelenu, plavu, dubinsku (RGB -D) kameru za visoko preciznu detekciju 3D objekata udaljenih do 25 metara. Širine je 6 cm što omogućuje jednostavno postavljanje u četverokopter
  • Protiv - može se zagrijati i možda će trebati ventilator za hlađenje

• LIDAR

  • Pros - Snop koji može pratiti lokacije do 40 metara u svom vidnom polju
  • Nedostaci - Toplina u okolišu može utjecati na preciznost mjerenja

• SONAR

  • Pros - Snop koji može pratiti 15 m udaljenosti, ali može otkriti prozirne objekte poput stakla i akrila
  • Protiv - samo točke u jednom vidnom polju, ali ih četverokopter može pomicati radi skeniranja

• Ultrazvučni

  • Pros - Ima domet do 3 m i vrlo je jeftin
  • Protiv - samo točke u jednoj liniji vidljivosti i vrlo lako mogu biti izvan dometa daljinskog osjeta
• FLIR kamera
  • Pros - Sposobnost snimanja dubinskih slika kroz dim bez smetnji i može otkriti žive ljude putem toplinskih potpisa
  • Protiv - ako nešto ometa senzore, izračun udaljenosti može se pogrešno izračunati

• PIR senzor

  • Pros - sposoban otkriti promjenu temperature
  • Nedostaci - Nije moguće točno odrediti gdje je razlika u temperaturi

Korak 5: Odabir opreme: Softver

Koristio sam Realsense SDK zajedno s robotskim operativnim sustavom (ROS) za stvaranje besprijekorne integracije između svih senzora s mikrokontrolerom. SDK je pružao stalan tok podataka o oblaku točaka koji je bio idealan za praćenje svih objekata i granica četverokopter. ROS mi je pomogao da pošaljem sve podatke senzora u program koji sam stvorio i koji implementira umjetnu inteligenciju. AI se sastoji od algoritama za otkrivanje objekata i algoritama za otkrivanje pokreta koji omogućavaju kvadrokopteru da pronađe kretanje u svom okruženju. Upravljač koristi Pulse Width Modulation (PWM) za kontrolu položaja četverokoptera.

• Freenect

  • Pros - Ima nižu razinu pristupa za kontrolu svega
  • Protiv - podržava samo Kinect V1

• Realsense SDK

  • Prednosti - Mogu lako stvoriti podatke o oblaku točaka iz informacijskog toka s Realsense kamere
  • Protiv - podržava samo kameru Realsense D435

• FLIR upravljački program za Linux

  • Pros - može dohvatiti tok podataka s FLIR kamere
  • Protiv - Dokumentacija je vrlo ograničena

• Robotski operacijski sustav (ROS)

  • Pros - Operacijski sustav idealan za programiranje funkcija kamere
  • Protiv - potrebno je instalirati na brzu SD karticu za učinkovito prikupljanje podataka

Korak 6: Razvoj sustava

"Oči" uređaja su stereo infracrveni senzor Realsense D435 koji je standardan senzor koji se uglavnom koristi za robotske aplikacije, poput 3D mapiranja (slika 1). Kada je ovaj senzor instaliran na quadcopteru, infracrvena kamera može voditi i dopustiti da se quadcopter samostalno kreće. Podaci koje generira kamera nazivaju se oblak točaka koji se sastoji od niza točaka u prostoru koje imaju podatke o položaju određenog objekta u viziji kamere. Ovaj oblak točaka može se pretvoriti u kartu dubine koja prikazuje boje kao različite dubine (slika 2). Crvena je udaljenija, dok je plava bliža metrima.

Kako bi ovaj sustav bio besprijekoran, korišten je operacijski sustav otvorenog koda nazvan ROS, koji se obično koristi na robotima. Omogućuje izvođenje kontrole uređaja na niskoj razini te pristup svim senzorima i kompajliranje podataka koje će koristiti drugi programi. ROS će komunicirati s Realsense SDK -om koji omogućuje uključivanje i isključivanje različitih kamera radi praćenja udaljenosti objekata od sustava. Veza između obojega omogućuje mi pristup podatkovnom toku s kamere koja stvara oblak točaka. Podaci oblaka točaka mogu odrediti gdje su granice i objekti unutar 30 metara i točnost od 2 cm. Ostali senzori, poput senzora SONAR i ugrađenih senzora u DJI Naza kontroleru, omogućuju preciznije pozicioniranje quadcoptera. Moj softver koristi AI algoritme za pristup oblaku točaka i lokalizacijom stvara kartu cijelog prostora koji okružuje uređaj. Jednom kada se sustav pokrene i počne skenirati, putovat će hodnicima i pronaći ulaze u druge prostorije gdje može pregledati sobu posebno tražeći ljude. Sustav ponavlja ovaj postupak dok se sve prostorije ne skeniraju. Trenutno quadcopter može letjeti oko 10 minuta, što je dovoljno za potpuno brisanje, ali se može poboljšati različitim rasporedom baterija. Prvi koji dobiju odgovor dobit će obavijesti kada se primijete ljudi kako bi mogli usmjeriti svoje napore na odabrane zgrade.

Korak 7: Rasprava i zaključak

Nakon mnogih pokusa, stvorio sam radni prototip koji je ispunio zahtjeve navedene u tablici 1. Korištenjem Realsense D435 stereo infracrvene kamere s Realsense SDK -om stvorena je karta dubine visoke razlučivosti prednje strane četverokopterca. U početku sam imao problema s infracrvenom kamerom koja nije mogla otkriti određene objekte poput stakla. Dodavanjem senzora SONAR uspio sam prevladati ovaj problem. Kombinacija Rock64 i DJI Naza bila je uspješna jer je sustav uspio stabilizirati quadcopter dok je mogao detektirati objekte i zidove pomoću prilagođenih algoritama računalnog vida koji koriste OpenCV. Iako je trenutni sustav funkcionalan i ispunjava zahtjeve, mogli bi imati koristi od nekih budućih prototipova.

Ovaj bi se sustav mogao poboljšati korištenjem kvalitetnijih kamera kako bi se moglo točnije detektirati ljude. Neke od skupljih FLIR kamera imaju mogućnost otkrivanja toplinskih potpisa što može omogućiti točniju detekciju. Sustav bi također mogao funkcionirati u različitim okruženjima, poput soba koje su prašnjave i ispunjene dimom. S novom tehnologijom i protupožarnom izolacijom, ovaj bi se sustav mogao poslati u kuće koje gore i brzo otkriti gdje se ljudi nalaze kako bi hitna pomoć mogla spasiti preživjele iz opasnosti.

Hvala na čitanju! Ne zaboravite glasovati za mene na natjecanju Optika!