Vizualizacija podataka iz Magicbita u AWS -u: 5 koraka

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:32

Podaci prikupljeni sa senzora spojenih na Magicbit bit će objavljeni u jezgri AWS IOT -a putem MQTT -a za grafičku vizualizaciju u stvarnom vremenu. Koristimo magicbit kao razvojnu ploču u ovom projektu koji se temelji na ESP32. Stoga se u ovom projektu može koristiti bilo koja razvojna ploča ESP32.

Pribor:

Magicbit

Korak 1: Priča

Ovaj projekt govori o povezivanju vašeg Magicbit uređaja s AWS oblakom putem MQTT -a. Podaci poslani putem MQTT -a analiziraju se i vizualiziraju u oblaku pomoću AWS usluga. Pa krenimo

Prvo biste trebali otići na AWS konzolu i prijaviti se. U svrhu učenja možete koristiti besplatnu opciju sloja koju nudi AWS. Bit će dovoljno za ovaj projekt.

Radi pojednostavljenja podijelit ću projekt u dva dijela.

Ovo će biti prva faza našeg projekta. Na kraju prve faze podaci će se pohraniti u S3 kante.

AWS usluge koje će se koristiti u prvom odjeljku,

• Kinesis Firehose
• AWS ljepilo
• AWS S3

Prvo idite na uslugu AWS Kinesis.

Odaberite Kinesis Data Firehose kao što je prikazano dolje i kliknite Stvori

Zatim ćete biti preusmjereni na 1. korak stvaranja Firehose usluge. Unesite naziv toka isporuke i odaberite Direct Put ili Drugi izvori. Pritisnite Dalje.

U prozoru Korak 2 ostavite sve kao zadano i kliknite Dalje. Nakon stvaranja AWS usluge ljepila vratit ćemo se na uređivanje ovog koraka.

U 3. koraku odaberite kantu S3 ako ste je već stvorili. U suprotnom kliknite stvoriti i stvoriti kantu. U odjeljku prefiksa S3 upotrijebite dest/, a u prefiksu pogreške unesite error/. Za gornja dva možete unijeti bilo koji naziv. No radi lakšeg nastavka nastavit ćemo s zajedničkim imenom. Unutar kante koju ste odabrali svakako stvorite mapu s imenom dest. Pritisnite Dalje.

U koraku 4 odaberite minimalnu veličinu međuspremnika i međuspremnik za prijenos podataka u stvarnom vremenu. U odjeljku Dopuštenje odaberite Stvori ili ažuriraj IAM roleKinesisFirehoseServiceRole. Neka sve bude zadano. Pritisnite sljedeći.

U sljedećem odjeljku prikazat će se pregled promjena koje ste izvršili. Pritisnite U redu. Tada ćete imati funkcionalni Kinesis Firehose.

Ako ste uspješno stvorili uslugu Firehose, dobit ćete nešto poput ovoga.

Korak 2: Testiranje Firehose i S3 kante

Da biste provjerili radi li vatrogasna i S3 kanta ispravno, odaberite IOT jezgru na konzoli. Bit ćete preusmjereni na ovakvu stranicu. Odaberite pravilo i izradite pravilo.

Što je pravilo AWS IOT?

Koristi se za prosljeđivanje svih podataka primljenih od MQTT -a na određenu uslugu. U ovom primjeru proslijedit ćemo Kinesis Firehose.

Odaberite naziv za pravilo. Ostavite izjavu o pravilu i upitu takvu kakva jest. To nam govori da će sve objavljeno na iot/topic temi biti proslijeđeno kinesis Firehose -u kroz ovo pravilo.

U odjeljku Postavljanje jedne ili više radnji kliknite dodaj radnju. Odaberite Pošalji poruku Amazon Kinesis Firehose Streamu. Odaberite konfiguracija. Zatim odaberite naziv vatrenog toka koji je kreiran ranije. Zatim kliknite Stvori ulogu i stvorite ulogu. Sada ste uspješno stvorili ulogu u AWS -u.

Svaka poruka koju objavite bit će proslijeđena kroz kante Kinesis Firehose u S3.

Imajte na umu da Firehose šalje podatke kad se napuni međuspremnik ili kad se dosegne interval međuspremnika. Minimalni interval međuspremnika je 60 sekundi.

Sada možemo prijeći na drugi dio projekta. Ovo će biti naš dijagram protoka podataka.

Korak 3: Konfiguriranje AWS ljepila

Zašto su nam potrebni AWS ljepilo i AWS Athena?

Podaci pohranjeni u kantama S3 ne mogu se izravno koristiti kao ulaz u AWS Quicksight. Prvo moramo podatke rasporediti u obliku tablica. Za to koristimo gornje dvije usluge.

Idite na AWS ljepilo. Odaberite Alat za indeksiranje na bočnoj traci s alatima. Zatim odaberite Dodaj alat za indeksiranje.

U prvom koraku unesite naziv svog alata za indeksiranje. Pritisnite sljedeći. U sljedećem koraku ostavite ga kao zadano. U trećem koraku unesite put do odabrane kante S3. Sljedeći prozor ostavite kao zadani. U peti prozor unesite bilo koju ulogu IAM -a. U sljedećem koraku odabrali ste učestalost izvođenja usluge.

Preporučljivo je odabrati prilagođeno u padajućem okviru i odabrati minimalno vrijeme.

U sljedećem koraku kliknite Dodaj bazu podataka, a zatim sljedeći. Pritisnite Završi.

Sada bismo trebali integrirati naš Kinesis Firehose sa ljepilom AWS koje smo stvorili.

Idite na AWS Kinesis firehose koji smo stvorili i kliknite Uredi.

Pomaknite se dolje do odjeljka Pretvori format zapisa i odaberite Omogućeno.

Odabrali format ispisa kao Apache parket. Za ostale pojedinosti ispunite detalje baze podataka ljepila koju ste stvorili. U bazi podataka treba stvoriti tablicu i dodati naziv u ovaj odjeljak. Pritisnite Spremi.

Korak 4: Konfiguriranje AWS Athena

Odaberite bazu podataka i tablicu podataka koju ste stvorili. U odjeljak upita ovaj kod treba dodati.

ime-tablice treba zamijeniti stvarnim imenom tablice ljepila koju ste stvorili.

Kliknite Pokreni upit. Ako radi, podaci pohranjeni u kanti AWS S3 trebali bi se prikazati kao tablica podataka.

Sada smo spremni vizualizirati podatke koje smo dobili.

Korak 5: Konfiguriranje programa QuickSight

Idite na AWS Quicksight

Kliknite Nova analiza u gornjem desnom kutu, a zatim kliknite Novi skup podataka.

Odaberite Atenu s popisa. Unesite bilo koji naziv izvora podataka na skočnu karticu.

Odaberite bazu podataka ljepila iz padajućeg okvira i odgovarajuće tablice. Ovo će vas odvesti na ovu stranicu.

Povucite i ispustite bilo koje polje s popisa polja i odaberite bilo koju vizualnu vrstu.

Sada možete vizualizirati sve podatke poslane s vašeg MagicBita pomoću AWS usluga !!!

Ne zaboravite dopustiti pristup za brzi pregled za odgovarajuće kante S3 kako biste vizualizirali podatke u njima.