DEMAC, 3D tiskani modularni Beowulf klaster: 23 koraka (sa slikama)

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:33

Računanje visokih performansi (HPC) je sposobnost obrade podataka i izvođenje složenih izračuna pri velikim brzinama, to je primjena "superračunala" na računske probleme koji su ili preveliki za standardna računala ili bi im trebalo previše vremena da se dovrše. Top500 je popis koji se objavljuje dva puta godišnje i svrstava neka od najbržih, najmoćnijih računala na svijetu. Zemlje i velike organizacije troše milijunske resurse kako bi ovaj sustav pokrenuo i znanstvenik iskoristio najnoviju tehnologiju i riješio složene probleme.

Prije nekoliko godina računala su poboljšavala svoje performanse povećanjem brzine procesora. Nakon što smo se suočili s usporavanjem u ovakvom pristupu, programeri su odlučili da bi za nastavak povećanja performansi računala više jezgri (ili računalnih jedinica) trebalo biti upakirano zajedno. Skup više računalnih resursa i mehanizmi za kontrolu tih resursa ono je što u računalnoj znanosti nazivamo "paralelizam". Imati više jezgri za obavljanje više zadataka zvuči kao dobar pristup poboljšanju performansi računala … ali, ovo otvara veliko pitanje: kako učinkovitije koristiti ove resurse?

Računarski su znanstvenici bili zauzeti ovim pitanjima, postoji više načina na koje računalu možete reći kako da radi stvari, postoji još više načina da više računala kažete kako raditi stvari. Ovaj projekt ima za cilj razviti pristupačnu platformu na kojoj svatko može eksperimentirati s visoko paralelnim strojem, testirati postojeće modele za primjenu u vlastitim projektima, razviti nove i kreativne načine rješavanja računalnih problema ili ga jednostavno koristiti kao način poučavanja drugih o računalima. Nadamo se da ćete uživati u radu s DEMAC -om koliko i mi.

DEMAC

Klaster modularnih sklopova u Delawareu (DEMAC) proširiv je niz ugrađenih sustava (računala veličine kartice) i skup okvira s 3D ispisom koji sadrže ploče i dodatni hardver koji osiguravaju napajanje, hlađenje i pristup mreži.

Svaki uređaj ili ugrađeni sustav je malo računalo, Parallella ploča koja kombinira resurse dvojezgrenog ARM procesora, 16-jezgrenog koprocesora nazvanog Epiphany i ugrađenog FPGA-a s fleksibilnošću cjelovitog steka otvorenog koda. Nosač je kućni okvir s 3D ispisom koji omogućuje nisku cijenu implementacije i strukturu koja se može eskalirati. Dizajniran je tako da stane u 4 jedinice stalka standardne veličine (poput onih koje nalazite u prostorijama računalnih poslužitelja).

Ova instrukcija uključuje:

- Popis potrebnih materijala

- Upute za 3D ispis okvira

- Upute za sastavljanje i spajanje dijelova

- Vodič za preuzimanje i instaliranje potrebnog softvera

- Opis načina povezivanja i interakcije s klasterom

- "Zašto to radimo?" odjeljak

Tko smo mi?

Mi smo CAPSL (Computer Architecture and Parallel Laboratory) sa Sveučilišta Delaware. Vjerujemo da bi budućnost računanja trebala imati snažnu osnovu u teoriji protoka podataka (što ćemo objasniti kasnije u ovom uputstvu ako vas zanima).

Pribor

Ovaj popis opisuje materijale potrebne za izgradnju klastera s 4 ploče

- 4 Parallella ploče (možete ih nabaviti od DigiKeya ili drugih dobavljača, više informacija možete pronaći na njihovoj web stranici

-4 micro-SD kartice s najmanje 16 Gb (ovdje je vrlo jeftino 10-pakno ili nešto poput ovih fleksibilnijih kombinacija)

- 4 mikro-USB kabela minimalne duljine 30 cm (1 stopa) (preporučujem ove)

- USB punjač [s najmanje 4 priključka tipa A] (preporučujem ovaj sa 6 priključaka ili jedan s istim faktorom, jer je kućište napajanja za to dizajnirano)

- Ventilator za hlađenje [maksimalna veličina 100 mm x 100 mm x 15 mm] (preporučujem ovaj jer je jeftin i radi, ali drugi sa sličnom veličinom i konfiguracijom kabela rade)

- Napajanje za ventilator za hlađenje (ako je vaša konfiguracija za više od 8 ploča, preporučujem ovu ili nešto slično [AC 100 V/ 240 V do DC 12 V 10 A 120 W] koje ima lijepo metalno kućište i koje se također može pričvrstiti na prekidač) (Ako ćete priključiti samo dva ventilatora ili manje, možete koristiti bilo koji 12 V s izlazom od najmanje 1 A koje možda imate u blizini)

- 5 Ethernet kabela (4 mogu biti kratki poput ovih, ovisno o udaljenosti od sklopke do ploča, a jedan bi trebao biti dovoljno dugačak za povezivanje prekidača s računalom ili modemom za pristup mreži klastera)

>> Važna napomena: Potreban je sustav hlađenja, u protivnom se ploče mogu pregrijati! <<<

3D ispisani dijelovi

- 4 ladice za daske (Frame_01)

- 1 kućište ploče (okvir_02)

- 1 kućište ventilatora (Frame_03_B & Frame_03_T)

- 1 kućište za napajanje (okvir_04)

Korak 1: O DEMAC -u

DEMAC je dio šire slike, fleksibilna platforma koja se može eskalirati i omogućuje nam razvoj i testiranje novih modela izvođenja programiranja (PXM) za paralelno računanje. PXM je više od načina za opisivanje računanja, on predstavlja okosnicu koja osigurava dogovor između načina na koji je program izražen i kako je preveden na zajednički jezik koji stroj može izvesti. Opisujemo skup elemenata koji korisniku omogućuje generiranje programa i način organizacije izvršenja programa. Program se može optimizirati za ciljanje određene arhitekture od strane korisnika ili automatiziranog alata na temelju ove zajedničke pozadine.

Možete saznati više o ovom projektu na kraju ovog uputstva, također možete kliknuti ovdje za više informacija o DEMAC -u ili ovdje za više informacija o CAPSL -u)

Korak 2: 3D ispis DEMAC

U ovom odjeljku možete pronaći vodič za 3D ispis okvira koji obuhvataju ostale komponente i pružaju strukturnu podršku. Čak i ako ste majstor za 3D ispis, evo nekoliko savjeta koje možete uzeti u obzir prilikom ispisa ovih okvira. Svi okviri mogu se ispisati pomoću mlaznice od 0,4 mm s visinom sloja 0,3 ili 0,2 (također možete koristiti prilagodljive). Ispisao sam sve pomoću PLA -e, ali nije važno hoće li se koristiti drugi materijali (sve dok pružaju strukturnu stabilnost i mogu podnijeti veće ili jednake temperature od PLA -a).

STL datoteke:

www.thingiverse.com/thing:4493780

cults3d.com/en/3d-model/various/demac-a-mo…

www.myminifactory.com/object/3d-print-dema…

Ladica za ploču (Frame_01)

Nisu potrebne dodatne potpore. Ovaj je prilično jednostavan, samo ga postavite s ravnom površinom okrenutom prema površini za ispis.

Kućište ploče (okvir_02)

Ovo može zahtijevati podršku u srednjim gredama. Možete tvrditi da dobro podešen stroj/rezač može ispisati te mostove bez dodatne podrške. Molimo vas da prvo isprobate neke testove naprezanja mostom ako želite ispisivati bez nosača jer je ideja bila da ih to ne zahtijeva. S druge strane, bočni stupovi i zidovi pružaju dovoljnu podršku za ispis bez dodatnih potpornih struktura.

Kućište ventilatora (Frame_03_B & Frame_03_T)

Nisu potrebne dodatne potpore. Samo postavite oba dijela s ravnom površinom okrenutom prema površini za ispis.

Kućište za napajanje (okvir_04)

Slično Frame_02, ovaj može zahtijevati podršku u srednjim gredama. Također možete pokušati ispisati ovaj materijal bez dodatnog materijala za podršku (kako je bilo predviđeno). Bočni i stupovi stupova pružaju dovoljnu podršku za ispis bez dodatnih potpornih struktura.

Kućište izlaznog hlađenja (Frame_05_B & Frame_05_T)

Nisu potrebne dodatne potpore. Samo postavite oba dijela s ravnom površinom okrenutom prema površini za ispis.

Korak 3: Sastavite DEMAC

Sada kada imate sve potrebne dijelove, vrijeme je za početak sastavljanja klastera.

Ne zaboravite ukloniti materijal za podršku koji možete imati na okvirima.

Korak 4: Postavite ventilator na kućište

Jednostavno gurnite ventilator unutar Frame_03_B (s kabelom u donjem desnom kutu), donji dio trebao bi stati unutar malih zakrivljenih zidova koji drže ventilator na mjestu.

Postavite Frame_03_T s malim zakrivljenim zidovima prema dolje na Frame_03_B (s ventilatorom već na mjestu). Pazite da postavite najširi poklopac Frame_03_T prema široj (stražnjoj) strani Frame_03_B. Okviri bi trebali kliknuti, a poklopci ih trebaju držati na mjestu.

Korak 5: Spojite kućište ploče s kućištem za napajanje

Postavite Frame_02 na Frame_04, ova dva su dizajnirana tako da se spoje. Na donjem dijelu Frame_02 nalazi se mala udubina koja odgovara konektorima na vrhu Frame_04. Primijenite nježnu silu kako biste ih spojili.

Korak 6: Instalirajte rashladnu jedinicu

Frame_03 (B&T) su dizajnirani tako da se spoje s Frame_02, postavite ventilator okrenut prema pločama (protok zraka trebao bi ići prema unutra Frame_02). Na stupcima Frame_02 postoje mala udubljenja koja bi se trebala podudarati s oznakama u Frame_03_B. Lagano pritisnite bočne strane konstrukcije dok okviri ne kliknu.

Korak 7: Postavite ploče na ladice za ploče

Frame_01 ima 4 igle koje odgovaraju rupama na Parallella ploči. Ploča bi se trebala lako uklopiti u ladicu. Ovisno o kalibraciji vašeg 3D pisača, one mogu biti prevelike ili premale, možete upotrijebiti malo tekućeg silikonskog ljepila da ih držite na mjestu ili ih malo pritisnuti kliještima kako biste smanjili promjer.

>> Važna napomena: Ne zaboravite postaviti hladnjake na ploču <<<

Korak 8: Gurnite ladice ploče u kućište ploče

Frame_01 pruža utore koji se uklapaju u Frame_02 vodilice za svaku razinu. Imajte na umu da je otvorena samo jedna strana za primanje ladice za ploču. Tu je i mali udarac koji pomaže u održavanju Frame_01 (iskreno, ovo bi moglo koristiti neko poboljšanje u budućoj verziji).

Gurnite sve 4 ladice za ploče s već postavljenim pločama, po 1 po svakoj razini.

Korak 9: Postavite izvor napajanja unutar kućišta za napajanje

Postavite USB napajanje unutar Frame_04 s USB priključcima prema van. S druge strane postoji mali otvor za kabel za napajanje koji napaja čvorište.

Korak 10: Spojite ventilator na izvor napajanja za hlađenje

Ventilator bi sada trebao biti spojen na 12 V napajanje koje daje energiju rashladnoj jedinici.

>> Važna napomena: Neka sustav hlađenja radi sve vrijeme dok su ploče spojene na napajanje <<<

Korak 11: Konfigurirajte OS

1. Ovdje preuzmite preporučeni OS (Parabuntu)

Postoje dvije revizije čipova (z7010 [P1600/P1601] i z7020 [P1602/A101040]) koje zahtijevaju različite datoteke.

Za obje revizije postoji verzija bez glave (bez grafičkog korisničkog sučelja) i verzija koja pruža HDMI podršku i grafičko korisničko sučelje)

Ako želite koristiti HDMI izlaz, ne zaboravite nabaviti mini-HDMI kabel.

Možete se povezati s verzijom bez glave putem mreže.

Više informacija i detaljno objašnjenje možete pronaći ovdje na službenoj web stranici.

Evo koraka za instaliranje operacijskog sustava pomoću distribucije temeljene na Linuxu. Možete koristiti naredbe na terminalu (bez simbola $) za sljedeće korake ili provjeriti druge postupke na web stranici.

2. Instalirajte

- Umetnite micro-SD karticu u svoje uobičajeno računalo- Raspakirajte sliku Ubuntu. Promijenite [release release] za naziv slike.

$ gunzip -d [releasename].img.gz

3. Provjerite putanju vaše SD kartice do uređaja

Točan put uređaja do vaše SD kartice ovisi o distribuciji Linuxa i postavkama računala. Koristeći naredbu ispod da biste dobili pravi put. Ako iz izlaza nije jasno koja je staza prava, pokušajte naredbu sa i bez umetnute SD kartice. U Ubuntuu bi vraćeni put mogao biti nešto poput '/dev/mmcblk0p1'.

$ df -h

4. Demontirajte SD karticu Prije nego što narežete karticu, morate demontirati sve particije na SD karticama. [Sd-partition-path] dolazi iz naredbe 'df' u koraku 3.

$ umount [sd-partition-path]

5. Snimite sliku diska Ubuntu na micro-SD karticu

Snimite sliku na SD karticu pomoću uslužnog programa 'dd' prikazanog u donjem primjeru naredbe. Budite oprezni i provjerite jeste li točno naveli put jer je ova naredba nepovratna i prebrisat će sve na putu! Primjer naredbe u Ubuntuu bio bi: 'sudo dd bs = 4M if = my_release.img of =/dev/mmcblk0'. Budite strpljivi, ovo može potrajati (mnogo minuta) ovisno o računalu i SD kartici koja se koristi.

$ sudo dd bs = 4M if = [releasename].img od = [sd-partition-path]

6. Provjerite jesu li svi zapisi na SD karticu dovršeni

$ sync

7. Umetnite SD karticu u utor za SD karticu na ploči

Korak 12: Priključite ploču na izvor napajanja

Upotrijebite kabel miniUSB-USB-A za spajanje jedne od ploča na USB čvorište. Možete označiti portove i kabele ili definirati redoslijed veza u slučaju da kasnije morate odspojiti ploču.

Korak 13: Postavljanje usmjerivača

Ako instalirate OS bez glave dok ste na velikoj mreži, morat ćete upotrijebiti usmjerivač i spojiti ga na internet, ploče Parallella i svoje osobno računalo.

Ako se ne možete spojiti na usmjerivač, ploču možete povezati i izravno s računalom pomoću Ethernet kabela, ovaj postupak može biti malo složeniji i neće biti opisan u ovom uputstvu.

Nakon što je sve spojeno, otvorite sučelje usmjerivača kako biste saznali koja IP adresa prema zadanim postavkama dobiva vaša Parallella. Potražite karticu na kojoj piše Mreža. Zatim pronađite odjeljak s oznakom DHCP popis klijenata. Tamo biste trebali vidjeti svoju Parallella ploču i njezinu IP adresu.

S ovom IP adresom možete SSH unijeti u Parallellu i postaviti statičku IP adresu.

Korak 14: Spajanje na Parallella Board pomoću SSH -a

Napomena: Za ovaj odjeljak [default_IP] je dinamička IP adresa koju ste pronašli na popisu DHCP klijenata.

Provjerite vezu s pločom

$ ping [default_IP]

SSH na ploču po prvi put (zadana lozinka je paralelna)

$ ssh paralela@[default_IP]

Korak 15: Postavljanje mreže

- Promijenite naziv hosta: uredite /etc /hostname

Ovdje možete dodijeliti bilo koje ime, preporučujemo upotrebu NOPA ##

Gdje ## identificira broj ploče (tj. 01, 02,…)

- Postavite IP adrese drugih ploča: uredite /etc /hosts

Postavi statičku IP adresu: dodajte donji tekst za /etc/network/interfaces.d/eth0

#Primarno mrežno sučeljeauto eth0

iface eth0 inet statički

adresa 192.168.10.101 #IP bi trebala biti u dometu usmjerivača

maska mreže 255.255.255.0

gateway 192.168.10.1 #Ovo bi trebala biti adresa usmjerivača

poslužitelj imena 8.8.8.8

poslužitelj imena 8.8.4.4

Nakon što dodijelite IP ploči, možete ponovno pokrenuti vezu naredbom

$ ifdown eth0; ifup eth0

ili ponovno pokrenite ploču

Korak 16: Postavljanje Keygen-a i pristupa bez lozinke na pločama

Postavite privatni par javnih ključeva na svakom čvoru (uključujući i glavni čvor). Napravite privremenu mapu, generirajte novi ključ i učinite ga ovlaštenim ključem te dodajte sve NOPA -e poznatim hostovima kao što je prikazano u nastavku.

mkdir tmp_sshcd tmp_ssh ssh -keygen -f./id_rsa

#Dvaput pritisnite enter za postavljanje i potvrdu prazne lozinke

cp id_rsa.pub ovlašteni_ključevi

za i u `seq 0 24`; do j = $ (echo $ i | awk '{printf "%02d / n", $ 0}');

ssh-keyscan NOPA $ J >> Poznati_hostovi; učinjeno

Korak 17: Instaliranje Sshfs -a

- Korištenje sshfs omogućuje dijeljenje datoteka među pločama u klasteru. Pokrenite sljedeću naredbu:

$ sudo apt -get install -y sshfs

- Provjeravanje / stvaranje grupe osigurača

Provjerite postoji li grupa osigurača:

$ cat /etc /group | grep 'osigurač'

Ako grupa postoji, izvedite sljedeću naredbu

$ bash sudo usermod -a -G osigurač paralela

- Ako grupa ne postoji, stvorite je i dodajte joj korisnika

$ sudo groupadd osigurač

$ sudo usermod -a -G osigurač paralela

- Raskomentirajte redak user_allow_other u datoteci fuse.config

$ sudo vim /etc/fuse.conf

Korak 18: Konfigurirajte NFS mapu

- Izmijenite datoteku /etc /fstab

$ sudo vim /etc /fstab

- Zamijenite sadržaj dolje prikazanim tekstom

# [datotečni sustav] [točka montiranja] [vrsta] [opcije]

sshfs#parallella@NOPA01:/home/parallella/DEMAC_nfs/home/parallella/DEMAC_nfs komentar osigurača = sshfs, noauto, korisnici, exec, rw, uid = 1000, gid = 1000, allow_other, ponovno povezivanje, transform_symlinks, BatchMode = da, neprazno, _netdev, identityfile =/home/parallella/.ssh/id_rsa, default_permissions 0 0

Korak 19: Priključite ploču na prekidač

Postavite prekidač ispod klastera ili negdje u blizini, pomoću Ethernet kabela povežite ploču koju ste već konfigurirali s prekidačem. Također možete spojiti prekidač i vaše računalo na usmjerivač kako biste dobili pristup klasteru.

Trebali biste imati mogućnost pinganja i ssh -a na ploču koja je sada spojena na prekidač sa statičkim IP -om.

Također možete dodati IP i ime hosta u svoju /etc /hosts datoteku. Moći ćete koristiti ime računala za povezivanje umjesto upisivanja cijele IP adrese.

Korak 20: Ponovite korake 11 do 19 za svaku ploču

Slijedite postupak za konfiguriranje OS -a i mreže za svaku ploču.

>> Važna napomena: Koristite različite hostome i IP za svaku ploču! Oni bi trebali biti jedinstveni kroz mrežu! <<<

Korak 21: Povežite periferne uređaje

Provjerite radi li ventilator:

Provjerite dobiva li ventilator napajanje i protok zraka ide prema unutra u kućište ploče. Veza bi trebala biti stabilna i neovisna o drugim elementima. Zapamtite da se ploče mogu pregrijati ako se ne ohlade pravilno.

Provjerite jesu li ploče spojene na prekidač:

U ovom trenutku trebali ste zasebno konfigurirati svaku ploču. Ploče također treba spojiti na prekidač. Upute o prekidaču trebaju sadržavati informacije koje se mogu koristiti za provjeru je li postupak pokretanja ispravno završen, možda postoje neke LED diode koje ukazuju na status.

Priključite ploče na izvor napajanja:

Upotrijebite kabel micro-USB na USB-A za povezivanje svake ploče na USB čvorište. Možete označiti portove ili definirati redoslijed u slučaju da morate odspojiti jednu ploču.

Korak 22: Primijenite napajanje

1. Ventilator bi trebao raditi.

2. Ploče trebaju biti spojene na Ethernet prekidač.

3. Provjerite jesu li ploče spojene na USB koncentrator.

4. Omogućite napajanje USB čvorištu.

5. Omogućite DEMAC!

6. Dobit!

Korak 23: Softverski resursi

MPI (sučelje za prenošenje poruka)

MPI je komunikacijski protokol za programiranje paralelnih računala. Podržani su i point-to-point i kolektivna komunikacija.

www.open-mpi.org/

OpenMP (Otvorena višestruka obrada)

Sučelje aplikacijskog programiranja (API) OpenMP (Open Multi-Processing) podržava multiprocesorsko programiranje s više platformi sa zajedničkom memorijom u C, C ++ i Fortran, na mnogim platformama. Sastoji se od skupa direktiva prevoditelja, knjižničnih rutina i varijabli okruženja koje utječu na ponašanje tijekom izvođenja.

www.openmp.org/

Parallella softver

Programeri pružaju hrpu softvera otvorenog koda, uključujući SDK za povezivanje s akceleratorom.

www.parallella.org/software/

Također možete pronaći Priručnike i detaljnije informacije.

Također imaju spremišta GitHub:

github.com/parallella

Slobodno preuzmite i pokrenite neke od primjera, jedan od mojih omiljenih je igra života temeljena na čuvenoj Conwayovoj igri života.

Odricanje od odgovornosti: Definicije se mogu kopirati s wikipedije