Osobni trener engleskog jezika - AI glasovni asistent: 15 koraka

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:35

Ovaj će projekt pomoći studentima koji se pripremaju za bilo koji jezični ispit, gdje se mogu obučiti interakcijom sa Snips AI.

Korak 1: Priča

Zašto smo ovo izgradili?

Iz svog osobnog iskustva vidio sam mnogo ljudi koji su se pripremali za razne jezične testove poput GRE, TOEFL, IELTS. Potrebna im je osoba koja će im pomoći u pamćenju i razumijevanju riječi. Općenito, kada se osoba priprema za takve ispite, potrebna je osoba koja će provjeriti i ispraviti je li pogriješila. Ovim rješenjem možemo smanjiti radnu snagu zapošljavanjem glasovnog asistenta.

Korak 2: Izgradnja hardvera

Prije svega, želio bih zahvaliti SNIPS -u i SEEED -u na podršci ovom projektu s nevjerojatnim Snips Voice Interaction Development Kit -om (Base Kit), zaista sam se osjećao informativno koristeći ovu ploču i uspio sam postići neke od složenih projekata integriranih unutar PCB -a.

Snips Voice Interaction Base Kit možete kupiti za 115 USD, a satelitski komplet Snips Voice Interaction za 85 USD

Korak 3: Početak rada sa SNIPS -om

Prije nego što počnete, pregledajmo što vam je potrebno.

• Raspberry Pi 3B/B+ (preporučeno) ili Pi 2 model B (podržano).
• Mikro-USB kabel i mikro-USB adapter za napajanje za Raspberry Pi.
• Micro SD kartica (minimalno 8 GB) - Za početak je potreban operacijski sustav. Možete preuzeti Raspbian Stretch i koristiti vodiče za Mac OS, Linux i Windows na web stranici Raspberry Pi.
• USB tipkovnica i miš i vanjski HDMI monitor - također preporučujemo da imate pri ruci USB tipkovnicu i miša, kao i HDMI monitor.
• Internetska veza (Ethernet ili WiFi)

Snips Bazni komplet glasovne interakcije

Snips razvojni kompleti za glasovne interakcije omogućuju korisnicima da ubrzaju razvoj glasovnih sučelja i jednostavno integriraju Snips AI Voice Platform s hardverom. Isječci se izvode na uređaju, što znači da se sve vaše glasovne naredbe i podaci obrađuju lokalno, a ne da se šalju u oblak. Ova obrada na uređaju rezultira potpuno sigurnim izvanmrežnim glasovnim pomoćnikom koji čuva vaše osobne podatke, kako bi trebalo biti.

Osnovni paket glasovne interakcije omogućuje vam pokretanje cijele glasovne platforme Snips AI. Pokretan Raspberry Pi 3 modelom B+ i ReSpeaker 2-Mics Pi HAT, sposoban je djelovati kao vaš kućni pametni zvučnik. Uz komplet dolazi zvučnik, Grove - osjetnik temperature i vlažnosti (SHT31), relej Grove - a i ploča za vješanje na zid ili stvaranje elegantnog postolja.

Ali to nije sve! Satelitski komplet glasovne interakcije proširit će vašu baznu stanicu do svake prostorije vaše kuće i omogućiti vam interakciju s hardverom ovisno o tome gdje izdajete svoje naredbe!

Ovaj komplet sadrži ploču Raspberry Pi3 B+, ReSpeaker 2 -Mics Pi HAT, Grove - relej, Grove - osjetnik temperature i vlažnosti (SHT31), zvučnik 6 Ohm 2W, MicroSD karticu, adapter za napajanje s mikro USB priključkom, Grove kabel x 2, akrilnu podlogu ploča.

Koraci montaže: (Sadržaj iz SNIPS -a) Sljedeća slika je pregled dijelova montaže.

Ovdje se dijelovi za montažu montiraju na osnovnu ploču.

Zatim se svi elektronički dijelovi montiraju na ploču.

Nakon toga montirajte akrilni zaštitni poklopac na vrh Grove -releja.

Ova 2 dijela koriste se za pretvaranje kompleta u stolni stalak.

Konačno, spremni ste za igru sa Snipsima.

Komplet nudi dva načina postavljanja. Može se postaviti na vodoravnu površinu poput postolja ili se može objesiti na zid pomoću žica ili niti. Budite oprezni s relejem kada je komplet uključen jer će radni napon biti visok.

NAPOMENA: Imamo i satelitski komplet glasovne interakcije Snips koji ima nulu Raspberry Pi umjesto Raspberry Pi 3B+

Korak 4: Povezivanje sa Snips AI (osnovni projekt)

• Napajajte komplet pomoću zadanog adaptera za napajanje u kompletu ili upotrijebite 5V-2A istosmjerni adapter s mikro USB priključkom.
• Sljedeći korak je instaliranje pomoćnika Snips u Raspberry Pi. Kako bi vam uštedjeli vrijeme za postavljanje, MicroSD kartica u kompletu zamijenjena je potpuno funkcionalnom slikom sustava, što znači da je pomoćnik Snips spreman za vaše riječi okidača.
• Predlažemo vam da proučite korak po korak vodič za instalaciju posjetom: https://docs.snips.ai/getting-started/quick-start… i naučite sam alat u naredbenom retku.
• Pokrenite pomoćnika izgovarajući "Hey-snips" i slijedite naredbu:

Videozapis primjera koji je unaprijed instaliran možete pronaći u osnovnom kompletu Snips Voice Interaction ispod.

Korak 5: Povezivanje sa Snips AI (Project AI)

Dakle, ovako to funkcionira. Prvo, koristimo vruću riječ za pokretanje prepoznavanja isječaka. Razumije rečenicu koristeći Snips NLU i određuje namjeru. Zatim pomoću namjere izvucite utore. Pomoću akcijskog koda programiramo AI odgovor s odgovarajućim utorima.

Korak 6: Izrada aplikacije i namjera

• Izradite pomoćnika. U mom slučaju, stvorio sam asistenta s imenom JARVIS i aktualnom riječju JARVIS.
• Izradite prilagođenu aplikaciju ili za početnike koristite aplikaciju iz biblioteke.
• Napravio sam aplikaciju s imenom Words
• Napravite namjeru i počnite trenirati AI. Ovo igra važnu ulogu u jačanju vaše umjetne inteligencije. Obučite ga sa svim mogućim ulazima.
• Napravite utor za prepoznavanje riječi. Postavite mjesto na očekivani izraz rečenice. Za moj primjer, zadana riječ je naziv utora i označena je plavom bojom.
• Kad to učini, vaš prilagođeni ASR bit će spreman. Pokušajte s ulazima. Odgovor možemo pronaći s vaše desne strane, ispod pomoćnika. To vam daje ekstrakciju sirove vrijednosti, naziva namjere i utora.
• Definirajte utore s više primjera kako je dolje navedeno
• Konačno, rasporedite svog pomoćnika kako biste iskusili svoju personaliziranu AI.

Korak 7: Snimite Raspbian na SD karticu

Raspbian je Linux distribucija po izboru koja radi na Raspberry Pi. U ovom vodiču koristit ćemo Lite verziju, ali se može koristiti i verzija za računala (koja dolazi s grafičkim okruženjem).

• Preuzmite Etcher i instalirajte ga.
• Spojite čitač SD kartica sa SD karticom unutra.
• Otvorite Etcher i s tvrdog diska odaberite Raspberry Pi.img ili.zip datoteku koju želite zapisati na SD karticu
• Odaberite SD karticu na koju želite zapisati svoju sliku.
• Pregledajte svoje odabire i kliknite "Flash!" za početak upisivanja podataka na SD karticu

Povežite uređaj s mrežom

• Omogućite SSH pristup dodavanjem prazne datoteke ssh, ponovno postavljene u korijen volumena za pokretanje na SD kartici.
• Umetnite SD karticu u Raspberry Pi. Pokrenut će se za otprilike 20 sekundi. Sada biste trebali imati SSH pristup svom Raspberry Pi. Prema zadanim postavkama, njegovo ime hosta bit će raspberrypi.local. Na računalu otvorite prozor terminala i upišite sljedeće:

ssh [email protected]

Zadana lozinka je malina

Korak 8: Instalirajte platformu Snips

Ako već niste, instalirajte Sam sučelje naredbenog retka na svoje računalo. Otvorite prozor terminala i unesite:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Pronađite svoj Raspberry Pi na mreži pokretanjem:

sam uređaja

Zatim uspostavite vezu s uređajem. Od vas će se tražiti korisničko ime i lozinka za uređaj (zadano je pi i malina):

sam povezati

Sada smo spremni za instaliranje platforme Snips na Raspberry Pi. Unesite naredbu:

sam init

Korak 9: Konfigurirajte hardver

Sam nudi neke naredbe za jednostavno postavljanje i konfiguriranje hardverskih komponenti. U ovom ćemo odjeljku postaviti zvučnik i mikrofon. Ovisno o vašem postavljanju, potrebno je izvršiti određenu prilagođenu konfiguraciju.

sam postavio audio

Testirajte zvučnik

Pokrenite da biste provjerili radi li zvučnik

sam test zvučnik

Ako sve radi u redu, trebali biste čuti na zvučniku glas koji izgovara nekoliko riječi. Konfiguriranje mikrofona Možete provjeriti radi li vaš mikrofon:

sam testni mikrofon

Pod pretpostavkom da imate zvučnik, ako možete jasno čuti ono što ste upravo rekli, možete nastaviti bez daljnje konfiguracije mikrofona.

Nakon što se uvjerite da vaša postavka hardvera radi, spremni ste za prijelaz na sljedeći korak, gdje ćete rasporediti svog prvog pomoćnika.

Korak 10: Uvoz AI modela s konzole

Nakon što ste iz prethodnih koraka stvorili svog pomoćnika, prijavite se na konzolu iz prozora terminala pokretanjem:

sam prijava

Od vas će se tražiti da unesete vjerodajnice za Snips Console.

Zatim instalirajte pomoćnika:

sam pomoćnik za instalaciju

Ako ste na konzoli stvorili nekoliko pomoćnika, od vas će se tražiti da odaberete kojeg ćete instalirati s popisa.

Korak 11: Rukovatelj i akcijski kod

Da bi Raspberry Pi odgovorio, morat ćemo napisati neki kôd rukovatelja. Ovo je kôd koji se izvršava kada se određeni događaj dogodi na platformi Snips, na primjer kada je otkrivena namjera.

Ovisno o funkcioniranju, imate različite metode za izradu Handlera.

Na svom računalu stvorite mapu u koju želite pohraniti kôd rukovatelja. Iz prozora terminala promijenite se u taj direktorij i unesite:

npm init

Ovo će stvoriti datoteku pod nazivom package.json koja sadrži opis vašeg projekta, ovisnosti i još mnogo toga. Zatim dodajte ovisnost o paketu mqtt:

npm install mqtt --save

Sada stvorite datoteku pod nazivom index.js i zalijepite sljedeći kôd, zamijenivši varijablu imena hosta imenom hosta vašeg Raspberry Pi -a (ako se razlikuje od zadane raspberrypi):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (ime hosta); client.on ('connect', function () {console.log ("[Dnevnik isječaka] Povezano s posrednikom MQTT" + naziv hosta); client.subscribe ('hermes/#');}); client.on ('poruka', funkcija (tema, poruka) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} else if (topic.match (/hermes \/hotword / /.+ \/detection/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (poruka));}}); funkcija onIntentDetected (namjera) {console.log ("[Dnevnik isječaka] Otkrivena namjera:" + JSON.stringify (namjera)); } funkcija onHotwordDetected () {console.log ("[Dnevnik isječaka] Otkrivena je vruća riječ"); } funkcija onListeningStateChanged (slušanje) {console.log ("[Snips Log]" + (slušanje? "Start": "Stop") + "slušanje"); }

Pokrenite ovaj kod pomoću Node:

čvor index.js

Trebali biste vidjeti poruku uspješne veze sa Snips MQTT posrednikom. Kao i do sada, izvedite glasovnu interakciju sa svojim Raspberry Pi:

Hej Snips, kakvo je vrijeme u Chennaiju

Trebali biste vidjeti ažuriranje dnevnika:

[Snips Log] Povezano s posrednikom MQTT mqtt: //raspberrypi.local

[Dnevnik isječaka] Otkrivena je vruća riječ [Dnevnik isječaka] Počnite slušati [Dnevnik isječaka] Prestanite slušati [Dnevnik isječaka] Otkrivena namjera: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" kakvo je vrijeme u chennaiju "," intent ": {" intentName ":" searchWeatherForecast "," vjerojatnost ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "weather_locality"}]}

Korak 12: Rješavanje problema

Izbrišite prethodnog pomoćnika ako ga ima

$ sudo rm -rf/usr/share/snips/assistant/

Za promjenu imenika u pomoćnik

cd/var/lib/snips/skills/

Kloniranje sadržaja repo -a na lokalno

git klon

Za pokretanje setup.sh skripte

./setup.sh

Aktivirajte virtualno okruženje

izvor venv/bin/aktiviraj

Pokrenite akcijski kod

./action-.py

Dati dopuštenje za Python Script

chmod +x akcija-.py

Korak 13: Ograđivanje

• Za ovaj projekt koristio sam kućište s IP ocjenom
• Prvo sam napravio potrebne rupe za postavljanje sklopova i utora za kabel za napajanje i HDMI kabel.
• Zatim sam stavio svu Raspberry Pi unutar kućišta i čvrsto ga zašrafio.
• Napravio sam mali otvor za zvučnik i mikrofon i pokrio ga malim komadom akrilnog lima.
• Čvrsto spojite zvučnik s kapom ReSpeaker.
• Konačno, svi su vijci čvrsto pričvršćeni i kabel za napajanje umetnut je kroz utor.
• Ovako AI konačno izgleda: D

Korak 14: Rad AI -a

Možete pronaći podatke koji se prate pomoću Snips-watch-a

Sada je vrijeme za predstavu. Počeo sam izrađivati s AI s jednostavnim pozdravom. Pogledajte kako funkcionira.

AI vježbača programiran je za ograničene riječi. Ovo se može proširiti uz male izmjene. To pomaže učenicima da zapamte značenje brže od tradicionalne metode.

Ljubazna pozornost: Ovaj je projekt osposobljen za približno 25 riječi. Može se dodatno proširiti malim izmjenama u radnom kodu.

Skripte radnji možete pronaći u mom Github spremištu u privitku.

Repo projekta za AI za pozdrav-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo za AI trenera-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Veza do Moje aplikacije:

Cijelo postavljanje košta oko 115 USD koje se mogu kupiti u tvrtki SNIPS, a ovo je rješenje vrlo jeftino i učinkovito u usporedbi s tradicionalnim metodama. Otprilike više od 100 000 testova provedeno je u Indiji, a ovaj će proizvod biti najbolji dodatak za korisnike GRE -a.

Palac gore ako vam je stvarno pomoglo i pratite moj kanal za zanimljive projekte.:) Podijelite ovaj video ako vam se sviđa. Drago mi je što ste se pretplatili: https://console.snips.ai/store/en/skill_xBKlxnE5K… Hvala na čitanju!