Korištenje fotogrametrije za stvaranje modela: 9 koraka

2024 Autor: John Day | [email protected]. Zadnja promjena: 2024-01-30 09:33

Tko sam ja?

Ja sam Samuel Conklin i student sam druge godine u E. L. Srednja škola Meyers. Posljednjih nekoliko mjeseci eksperimentirao sam s fotogrametrijom i nadam se da ću vam pomoći ako se odlučite ponovno stvoriti ovaj proizvod. Zanima me vidjeti kako drugi ljudi mogu koristiti ovu novu tehnologiju koja se stalno razvija.

Što je virtualna stvarnost i SteamVR?

Virtualna stvarnost novi je oblik umjetničkog izražavanja i doživljaja. To je još uvijek nova granica tehnologije jer bezbroj tvrtki i ljudi radi na poboljšanju medija. Činite si veliku medvjeđu uslugu ako nikada niste probali VR, jer u potpunosti obuhvaća osjećaj vida i zvuka korisnika. Jedna od glavnih platformi za virtualnu stvarnost je Valveov SteamVR. SteamVR omogućuje korisnicima da slobodno dijele okruženja i međusobno postavljaju komade bez ikakvih troškova. Uglavnom je otvorenog koda i omogućuje bezbroj slušalica. To uključuje, ali nije ograničeno na, seriju HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality itd. SteamVR je platforma koju koristimo za stvaranje našeg okruženja.

Što je fotogrametrija i kako se može koristiti?

Fotogrametrija je postupak snimanja fotografija ili videozapisa i pretvaranja slika u 3D model. Najpoznatiji primjer korištenja ove tehnologije je Google Earth. Google koristi satelitske snimke i prikaze ulica za rekonstrukciju krajolika i zgrada. Gledajući Google Earth, jasno je da su imali nekoliko slika za rad, pa će neke zgrade izgledati deformirano. Kada se pravilno koristi, fotogrametrija je iznimno uvjerljiv način stvaranja 3D modela. Ovaj projekt koristi ovu tehnologiju za očuvanje povijesnih znamenitosti. Erozija i izloženost elementima znači da će povijesne znamenitosti na kraju propasti i ljudi će ih zaboraviti. Pomoću fotogrametrije možemo digitalno sačuvati sve pa će buduće generacije moći iskusiti i cijeniti te strukture. To također znači da bi više ljudi širom svijeta moglo doživjeti druge kulture bez troškova ili rizika putovanja.

Koje zalihe mi trebaju?

Za ovaj projekt koristio sam Reality Capture, SteamVR i Krita. Postoje programi Autodesk, Agisoft i Zephyr koji se mogu koristiti umjesto Reality Capture ako nemate potreban Nvidia GPU za njegovo pokretanje. Umjesto Krite može se koristiti Photoshop ili neki drugi program za uređivanje fotografija, ali budući da je besplatan i javan za korištenje, odlučio sam ga koristiti za ovaj projekt. Trebat će vam i stolne VR slušalice koje se mogu priključiti izravno na vaše računalo. Konačno, potrebna je visokokvalitetna kamera. Mobilna kamera je pristojna, ali ja sam koristio Nikon D7000 jer Reality Capture može automatski otkriti otvor blende fotoaparata, što dovodi do kvalitetnijih modela.

Korak 1: Snimanje fotografija

Ovo je najvažniji dio ovog projekta jer ga morate ispraviti u jednom kadru. Ako to ne učinite, morat ćete se vratiti na mjesto i sve ponovno snimiti.

Prvo ćete morati pronaći odgovarajuće mjesto i strukturu. Struktura bi trebala biti velika i lako se prepoznati. Što to znači da će softver za fotogrametriju moći otkriti razlike između strukture i pozadine.

Obično je najbolji način za fotografiranje po oblačnom danu. To je zato što sunčan dan ima mogućnost preeksponiranja nekih fotografija i nedovoljne ekspozicije drugih. Također bi moglo stvoriti neželjene sjene. Model sa malo ili bez sjena olakšat će osvjetljenje u odjeljku razvoja razine. Dodatno, softveru je potrebno da ravnoteža boja ostane ista sa svakom fotografijom jer koristi boje za izračun veličine objekta. Snimanje fotografija po oblačnom danu poboljšat će kvalitetu strukture. Oblaci na nebu djelovat će kao prirodni difuzor za kameru. Ravnomjernije će raspodijeliti svjetlost i znači da će model postati precizan tijekom procesa iscrtavanja.

Posljednji savjet je napraviti što više fotografija. Većina programa bira fotografije koje će koristiti za konačni proizvod. Snimanjem više fotografija sve će biti točnije i dati programu malo prostora za disanje. Za svaki sam model imao oko 150-300 fotografija.

Korak 2: Početak rada sa softverom za fotogrametriju

Sada ćemo uvesti fotografije u softver. Imajte na umu da Reality Capture zahtijeva grafičku karticu Nvidia. Bez nje ne možete proći odjeljak Poravnanje slika.

Ako imate mapu sa svim slikama koje želite koristiti, odaberite opciju Mapa u gornjem lijevom kutu. Ovo će vas odvesti u Upravitelj datoteka i možete odabrati mapu. Unosi će vam omogućiti odabir pojedinačnih fotografija pomoću Upravitelja datoteka.

Zatim ćemo započeti proces izgradnje modela. Pri vrhu zaslona, u odjeljku Tijek rada, nalazi se odjeljak Proces. Želimo pritisnuti veće dugme Start. Ovo će početi poravnavati slike. Četvrta fotografija ukratko prikazuje što se događa tijekom ovog procesa. Prepoznat će lijevo oko jelena i usporediti udaljenost s drugim fotografijama. Nastavit će uspoređivati različite fotografije dok ne prođe kroz sve moguće kombinacije. Ovaj korak je dovršen ako vidite male točkice koje nalikuju strukturi.

Korak 3: Izračunajte i pojednostavite

Sljedeći korak je izračun modela. Da bismo to učinili, kliknite odjeljak Izračunaj model u odjeljku Proces. Ovo će izravno prevesti sve što pronađe na fotografijama u 3D oblik. Rezultati su pristojno bliski onome kako želimo da model izgleda, ali postoje tri problema s ovom verzijom modela. Prvo, u modelu postoje rupe koje nisu u strukturi stvarnog života. Drugo, površina je previše neravna. Budući da program približava svoje izračune, neke će glatke površine pogrešno učiniti neravnima. Treće, previše je trokuta. Svaki model u programu Reality Capture izrađen je s malim trokutima. Svaki trokut predstavlja malu površinu modela. Želimo što manje trokuta za optimizaciju modela. Ako ima previše trokuta, to može uzrokovati probleme u izvedbi.

Ti se problemi mogu riješiti alatom Pojednostavljivanje. Svi će modeli imati 3 000 000 trokuta nakon faze Izračunaj model, a mi možemo izabrati da taj broj bude veći ili manji. Za sve modele poput onih pronađenih u ovom projektu, smanjio sam broj trokuta na 1 000 000. Rezultat se može pronaći na drugoj slici, gdje su sve neravne površine glatkije i ima manje rupa. Osim toga, s manje trokuta za iscrtavanje, performanse će biti bolje kada uđemo u VR.

Korak 4: Boja i tekstura

Sada će modelu trebati boja i tekstura kako bi bio još stvarniji u životu. Ova su dva dijela slična u onome što postižu, ali su različiti u načinu rada. Koristeći Color, koji se nalazi u odjeljku Process, program će obojiti model. Alat će snimiti slike koje je koristio za izradu modela i omotati vaše slike po različitim površinama vašeg modela. Tekstura će, pak, obojiti pojednostavljene dijelove modela. Gledajući prvu sliku, jasno je vidljivo kako je program omotao slike oko modela, no na drugoj slici nakon procesa teksturiranja oštre strane slika sada su izglađene.

Korak 5: Izvoz i SteamVR

U programu Reality Capture modele ćemo prenijeti na SteamVR. Pri vrhu zaslona u odjeljku Izvoz odaberite Mreža koja se nalazi pored odjeljka Procesi. Trebali biste vidjeti ovaj skočni prozor koji vam omogućuje promjenu postavki i parametara modela. Najbolje je da sve postavke budu zadane, osim promjene formata teksture JPEG. Program će sada izvesti datoteku u OBJ formatu, koji je mesh datoteka, i JPEG, koji je teksturirana datoteka za model. Radi referenci, JPEG bi trebao izgledati kao druga slika u ovom koraku.

Sada moramo uvesti naše modele u SteamVR. Prvo otvorite SteamVR, a zatim idite na Stvaranje/mijenjanje okruženja koje se nalazi na kartici Radionica. Alati radionice SteamVR sada će se otvoriti. Odaberite Create Empty Addon i kliknite Launch Tools.

Preglednik imovine sada će se otvoriti s različitim materijalima i modelima koji su već uključeni. U gornjem lijevom kutu nalazi se ikona sa simbolom Čekića. Ovo je ugrađeni SteamVR Hammer editor, koji vam daje mogućnost stvaranja karata. Karte su okruženje u kojem će boraviti VR korisnik tijekom igranja.

Korak 6: Izrada vaše SteamVR karte

S uređivačem Hammer otvoren u SteamVR -u, sada možemo stvoriti kocku. Želimo stvoriti kocku kako bismo počeli graditi okoliš. Program vam omogućuje promjenu veličine kocke prije nego što se učvrsti na mjestu. Trenutno su vidljive samo vanjske površine kocke. Pritiskom na CTRL+F sve će se površine obrnuti i pretvorit će kocku u sobu. Osim toga, morat ćete dodati objekt pod nazivom info_player_start, koji će Hammeru reći gdje da izrodi korisnika nakon učitavanja programa.

Kako bismo sobu učinili realnijom, moramo dodati i teksture. Pomoću uređivača materijala možemo dodati neke prilagođene slike. Ovo je kružna ikona desno od tipke Hammer u pregledniku imovine. Odabirom uređivača materijala odvest ćete se u novi prozor koji će vam omogućiti da uvezete sliku koja će se pretvoriti u teksturu. Možete upotrijebiti vlastite slike ili ih nabaviti sa web stranica za teksturu dionica, poput textures.com. Kliknite gumb Datoteka ispod Odabira boje za odabir slike koju želite koristiti. Nakon odabira slike, svakako je spremite pritiskom na ikonu diskete u gornjem lijevom kutu prozora Uređivača materijala. Sada zatvorite Uređivač materijala i vratite se do preglednika materijala. Ovdje potražite datoteku teksture koju želite koristiti, a zatim je kliknite i povucite u Hammer Editor. U ovom prozoru možete primijeniti teksturu na različita lica kocke.

Također moramo dodati rasvjetu u sobu. Da bismo to učinili, stavljamo light_omni ili light_spot na našu kartu, koja se nalazi u odjeljku entiteta lijevo od prikaza karte. Light_omni će zasjati svjetlom u svim smjerovima, dok light_omni svijetli svjetlošću u jednom određenom smjeru. Za ovaj projekt upotrijebio sam najmanje dvije svjetlosne točke za svaki objekt i jednu svjetlosnu lučicu kako bih osvijetlio sobu.

Korak 7: Dodavanje naših objekata na kartu

Sada je vrijeme da počnemo premještati naše objekte na našu kartu. U pregledniku imovine desno od ikone Uređivač materijala nalazi se Uređivač modela koji podsjeća na ikonu humanoida. Nakon otvaranja uređivača modela, dobit ćete mogućnost pregledavanja ili izrade novog VDML -a, koji je verzija OBJ datoteke uređivača Hammer. Odaberite opciju za izradu novog VDML -a i bit će potrebno da napravite mapu. Ova će mapa pohraniti VDML datoteku. Provjerite je li u mapi Dodaj na i pritisnite nastavi.

To će vas odvesti na zaslon s vašim modelom koji ima bijelu teksturu. Da biste dodali teksturu za ovaj model, odaberite Materijali na alatnoj traci s lijeve strane. Ovo će vas odvesti u Uređivač materijala i možete odabrati JPEG iz izvoza Reality Capture. Spremite teksturu i model klikom na ikonu diskete. Povratak u Hammer Editor.

U Hammer -u možete povući i ispustiti model iz preglednika imovine na kartu. Model će najvjerojatnije biti malen i morat ćete mu promijeniti veličinu. Pritiskom na T na tipkovnici možete promijeniti njen položaj na karti. Pritiskom na E promijenit ćete proporcije modela, dok će ga R okretati.

Korak 8: Izrada oznaka objekata

Oznake objekata vidljive uz svaki orijentir pružaju kontekst i povijest za poboljšanje korisničkog iskustva. Za svoje oznake objekata jednostavno sam fotografirao informativne ploče na svakom mjestu kako bih lako snimio važne podatke koje sam kasnije želio upotrijebiti. Zatim sam upotrijebio Krita, besplatni softver za uređivanje fotografija, za izradu oznaka objekata s dodatnim slikama i tekstom.

Za Miner Park i Anchor stranu prostorije nije bilo problema s dodavanjem oznaka kao tekstura. Jednostavno ih dodajte u svoj preglednik materijala putem uređivača materijala i dodajte sliku u blok koji se može stvoriti u uređivaču čekića. Problemi su nastali kada sam stvorio ploče za drugu stranu prostorije. Sav tekst i slike bili su unatrag i nije postojao jasan način za preokretanje tekstura unutar uređivača. Da bih to riješio, vratio sam se u Kritu i promijenio ploče za jelene i medvjeda i na sreću ovo je riješilo problem.

Osim toga, dodao sam razne slike Wilkes-Barrea, jer sam želio stvoriti sobu koja je imala osjećaj i ambijent muzeja butika.

Korak 9: Zaključak

Zaključno, i virtualna stvarnost i fotogrametrija imaju moć uvelike poboljšati bezbroj industrija, uključujući, ali ne ograničavajući se na sport, nekretnine i forenziku. Danas sam fotogrametrijom sačuvao neke male, ali važne dijelove lokalne povijesti svog rodnog grada. VR i fotogrametrija su još uvijek eksperimentalne tehnologije koje vas ponekad mogu izazvati. Unatoč nekim nedostacima, količina inovativne uporabe oba procesa uzbudljiva je i neograničena. Zahvaljujem vam na čitanju o ovom projektu i nadam se da vas je ovo inspiriralo da isprobate nešto novo s virtualnom stvarnošću.

Link za preuzimanje projekta možete pronaći ovdje.