AI s Grove Zero i Codecraft (Scratch 3.0): 5 koraka (sa slikama)

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:33

U ovom ćemo članku izgraditi tri projekta koji koriste AI funkcije Codecraft -a, grafičkog programskog okruženja temeljenog na Scratch 3.0. Codecraft razvija i održava TinkerGen obrazovanje i besplatan je za korištenje.

AI i njegov podskup, strojno učenje, postali su sastavni dio naših života u posljednjih 10 godina. Školski programi u mnogim zemljama uključuju AI i znanje o strojnom učenju, ali prosječnom učitelju može biti teško stvoriti nastavne materijale za poučavanje ove teme bez odgovarajućih alata. Korištenje knjižnica strojnog učenja, čak i onih najjednostavnijih za korištenje, poput Kerasa, za izradu aplikacije s kojom studenti mogu komunicirati, može biti dugotrajan i zastrašujući zadatak. Ovdje bi Codecraft mogao pomoći - ima bogat skup aplikacija pokrenutih strojnim učenjem koje učitelj može koristiti za objašnjavanje i demonstriranje pojmova koji se odnose na umjetnu inteligenciju. Pogledajmo ih!

Korak 1: Pregled proširenja AI

Otvorite Codecraft mrežni uređivač na

Pritisnite Stage mode, a zatim gumb Add Extension na dnu navigacijske kartice blokova.

Vidjet ćete da su dostupna tri AI proširenja:

- Kognitivne usluge --- modeli strojnog učenja za obradu video feedova i zvuka uživo

- Teachable Machine --- može se koristiti za obuku klasifikacijskog modela sa slikama snimljenim fotoaparatom

- Prevedi --- koristi strojno učenje za prevođenje

U ovom ćemo se članku usredotočiti na kognitivne usluge i korištenje ovih funkcija za kontrolu hardvera Grove Zero. Bežična komunikacija između računala i Grove Zero još je u tijeku, a ja ću ažurirati članak čim postane dostupan. Za sada ćemo koristiti žičanu vezu za prijenos poruka između Grove Zero modula i računala.

Korak 2: Igrajte svemirskih osvajača svojim nosom

Za prvi zadatak koristit ćemo samo scenski način rada bez hardvera. Codecraft ima mnoštvo primjera za početak programiranja - jedan od ovih primjera je programiranje klasične igre Space Invaders u Codecraft Stage modu. Proširit ćemo ovaj primjer i dodati mogućnost upravljanja borcem u igri nosom pomoću kognitivnih usluga.

Pritisnite gumb Primjeri. Primjer Open SpaceInvadersa. Trebamo samo promijeniti dio relevantan za kretanje. Za to ćemo dobiti x-položaj nosa na licu otkriven u video zapisu uživo, spremiti ga u promjenjivu poz. Zatim, ako je vrijednost pos veća od 50, pomičemo naš svemirski lovac udesno, ako je manji od -50, tada lovac pomaknemo ulijevo. To je to. Isprobaj! Ako mislite da je brzina kretanja borca prebrza, možete promijeniti promjenu x po … blok na manji broj.

Zatim ćemo proširiti ovu funkcionalnost kako bismo kontrolirali automobil Grove Zero i natjerali ga da se pomiče naprijed/natrag/lijevo/desno.

Korak 3: Upravljajte Grove Zero automobilom pomoću Codecraft AI -a

Počnimo pisanjem koda u scenskom načinu rada - ovo je dio koji je odgovoran za analizu video feeda i slanje naredbi u Grove Zero.

1) Kôd izvršavamo na prvom snimku zaslona dok se ne pritisne tipka za razmak. Nakon toga šaljemo naredbu stop.

2) Unutar ponavljanja do bloka provjeravamo x-poz i y-poz nosa otkrivenog lica i spremamo ih u odgovarajuće varijable.

3) Ako je apsolutna vrijednost x-poz-a manja od 21 (što znači da je između -20 i 20, dakle blizu središta slike), nastavljamo provjeravati y-poz da bismo utvrdili treba li automobil ići naprijed ili natrag

4) U protivnom provjeravamo treba li automobil ići lijevo ili desno

Prijeđimo sada na karticu Device i napišite kratki kod za automobil Grove Zero. Koristit ćemo blok Kad primim, koji je odgovoran za primanje internih naredbi za emitiranje. Ne treba brkati s Kad radio primi, koji se koristi za Bluetooth komunikaciju. Za detalje pogledajte snimak zaslona, kôd je prilično jednostavan.

Spojite svoj montirani automobil Grove Zero na računalo i pritisnite gumb Connect u Codecraftu. Prebacite se na način rada za ispravljanje pogrešaka na mreži - to će omogućiti Grove Mainboard -u da prima naredbe za emitiranje putem žice. Zatim idite na scenski način rada i pritisnite zastavicu. Auto bi se trebao kretati, pokušajte ga kontrolirati nosom:)

Korak 4: Slijedite liniju glasovnom kontrolom

U automobilskom kompletu Grove Zero nalazi se karta koja je izvorno namijenjena igranju mini igre Collect the Coins. Možemo ga prenamijeniti za korištenje prepoznavanja glasa u Codecraftu za davanje naredbi automobilu kojim putem treba uključiti raskrižje.

Dio scenskog načina rada ovdje je manje kompliciran nego u prethodnom primjeru. Ono što radimo je:

1) Nakon primanja emitirane poruke odaberite_smjer, prepoznajte fragment govora i spremite ga u varijablu rezultata.

2) Nastavite prepoznavati sve dok rezultat NIJE nepoznat.

3) Usporedite rezultat s dva niza - "lijevo" i "desno". Emitirajte odgovarajuću poruku automobilu Grove Zero.

Kod koji se izvodi u automobilu Grove Zero ovaj je put malo kompliciraniji, ali u biti slijedi ovu logiku:

1) Prilikom početka emitirajte poruku naprijed

2) Nakon što primite poruku naprijed, počnite slijediti liniju. Ako se linija izgubi, zaustavite motore i emitirajte

odaberite_smjer. Ovdje se izvršava kôd u početnom načinu rada.

3) Ako je poruka primljena lijevo, počnite skretati ulijevo, a zatim se vratite na način slijeđenja linije.

Ako je poruka primljena desno, počnite skretati udesno, a zatim se vratite na način slijeđenja linije.

Korak 5: Iza kulisa

Modeli neuronskih mreža korišteni u gornjoj aplikaciji svi se izvode lokalno u vašem pregledniku, što ima nekoliko različitih prednosti u odnosu na slanje podataka u oblak na obradu: manja kašnjenja i bolja privatnost. U kognitivnim uslugama koriste se brojne neuronske mreže - Klasifikacija zvuka za govorne naredbe (, Otkrivanje orijentira lica, Prepoznavanje izraza lica i Procjena dobi.

U ovom smo članku istražili osnovnu funkcionalnost jednog od Codecraft AI proširenja - kognitivne usluge. Postoji više načina na koje možete nadograditi ove primjere kako biste učinili još zabavnijim i uzbudljivijim aplikacijama!

Ako odlučite isprobati, bilo s Grove Zeroom ili samo pomoću Stage moda, podijelite u komentarima ispod. Za više informacija o Grove Zero seriji, Codecraftu i drugom hardveru za proizvođače i STEM edukatore posjetite našu web stranicu, TinkerGen je stvorio Kickstarter kampanju za MARK (Make A Robot Kit), komplet robota za učenje kodiranja, robotike, AI!