Kvantimetrijska obrada slike: 5 koraka

2025 Autor: John Day | [email protected]. Zadnja promjena: 2025-01-13 06:57

(Gornja slika prikazuje usporedbu postojeće metode obrade slike s kvantimetrijskom obradom slike. Obratite pažnju na poboljšani rezultat. Gornja desna slika prikazuje čudne artefakte koji proizlaze iz pogrešne pretpostavke da slike mjere nešto poput svjetlosti. Donja desna slika pokazuje bolje rezultate radeći istu stvar kvantimetrijski.)

U ovom Instructableu naučit ćete kako uvelike poboljšati performanse postojećih sustava za snimanje ili prepoznavanje vida koristeći vrlo jednostavan koncept: Kvantimetrijsko prepoznavanje slike

Kvantimetrijska obrada slike uvelike se poboljšava na bilo što od sljedećeg:

• Postojeća obrada slike, poput zamućivanja slike;
• Strojno učenje, računalni vid i prepoznavanje uzoraka;
• Nosivi prepoznavač lica (vidi https://wearcam.org/vmp.pdf), vid temeljen na AI i HI itd.

Osnovna ideja je kvantimetrijski predraditi i naknadno obraditi slike, kako slijedi:

1. Proširite dinamički raspon slike ili slika;
2. Obradite sliku ili slike na uobičajen način;
3. Sažmite dinamički raspon slike ili slika (tj. Poništite korak 1).

U prethodnim Instructables -ima podučavao sam neke aspekte HDR (High Dynamic Range) sensinga i kvantimetrijskog sensinga, npr. linearnost, superpozicija itd.

Ajmo sada upotrijebiti ovo znanje.

Poduzmite bilo koji postojeći proces koji želite koristiti. Primjer koji ću prikazati je zamagljivanje slike, ali možete ga koristiti i za bilo što drugo.

Korak 1: Proširite dinamički raspon svoje slike ili slika

(Slike prilagođene iz "Inteligentne obrade slika", John Wiley i Sons Interscience Series, Steve Mann, studeni 2001.)

Prvi korak je proširenje dinamičkog raspona ulazne slike.

Idealno bi bilo da prvo odredite funkciju odziva fotoaparata, f, a zatim primijenite obrnuti odziv, f inverzan, na sliku.

Tipične kamere su kompresivne dinamičkog raspona, pa obično želimo primijeniti ekspanzivnu funkciju.

Ako ne znate funkciju odgovora, počnite s isprobavanjem nečeg jednostavnog, kao što je učitavanje slike u niz slika, lijevanje varijabli u tip podataka poput (float) ili (double) i podizanje vrijednosti svakog piksela na eksponent., kao što je, na primjer, kvadratura vrijednosti svakog piksela.

Obrazloženje:

Zašto to radimo?

Odgovor je da većina kamera komprimira njihov dinamički raspon. Razlog zašto to čine je taj što većina multimedijskih medija proširuje dinamički raspon. To je sasvim slučajno: količina svjetlosti koju emitira televizijski zaslon s katodnom cijevi približno je jednaka naponu podignutom na eksponent od 2,22, tako da je, kad je ulazni video napon na pola puta, količina emitirane svjetlosti velika manje od polovice.

Fotografski mediji također su ekspanzivni u dinamičkom rasponu. Na primjer, fotografska "neutralna" siva kartica emitira 18% upadnog svjetla (ne 50% upadnog svjetla). Smatra se da je ovoliko svjetla (18%) usred odgovora. Dakle, kao što vidite, ako grafikon izlaza promatramo kao funkciju ulaza, mediji za prikaz ponašaju se kao da su idealni linearni zasloni koji sadrže proširivač dinamičkog raspona prije idealnog linearnog odziva.

Na gornjoj slici iznad možete vidjeti zaslon uokviren točkastom linijom, što je ekvivalentno proširenju prije idealnog linearnog prikaza.

Budući da su zasloni sami po sebi ekspanzivni, kamere moraju biti oblikovane tako da budu kompresivne kako bi slike izgledale dobro na postojećim zaslonima.

U stara vremena, kada je bilo na tisuće ekrana televizijskih prijemnika i samo jedna ili dvije postaje za emitiranje (npr. Samo jedna ili dvije televizijske kamere), bilo je lakše popraviti u kameru komprimirajuću nelinearnost nego prisjetiti se svih televizora i stavite po jedan u svaki televizijski prijemnik.

Slučajno je to također pomoglo u smanjenju buke. U zvuku to nazivamo "Dolby" ("uspoređivanje") i za to izdajemo patent. U videu se to dogodilo sasvim slučajno. Stockham je predložio da bismo trebali uzeti logaritam slika prije njihove obrade, a zatim uzeti antilog. Ono što nije shvatio je da većina kamera i zaslona to već radi sasvim slučajno. Umjesto toga, ono što sam predložio je da radimo upravo suprotno od onoga što je Stockham predložio. (Pogledajte "Inteligentna obrada slika", John Wiley i Sons Interscience Series, str. 109-111.)

Na donjoj slici vidite predloženu anti-homomorfnu (kvantimetrijsku) obradu slike, gdje smo dodali korak proširenja i kompresije dinamičkog raspona.

Korak 2: Obradite slike ili izvedite računalni vid, strojno učenje ili slično

Drugi korak, nakon proširenja dinamičkog raspona, je obrada slika.

U mom slučaju, jednostavno sam izveo dekonvoluciju slike, s funkcijom zamućenja, tj. Zamućivanjem slike, kao što je općenito poznato u stanju tehnike.

Postoje dvije široke kategorije kvantimetrijskog očitavanja slike:

• Pomaganje ljudima da vide;
• Strojevi za pomoć vidjeti.

Ako pokušavamo pomoći ljudima da vide (što je primjer koji ovdje prikazujem), još nismo gotovi: moramo obraditi rezultat natrag u prostor slika.

Ako pomažemo strojevima da vide (npr. Prepoznavanje lica), sada smo gotovi (nema potrebe za prelaskom na korak 3).

Korak 3: Ponovo komprimirajte dinamički raspon rezultata

Kad radimo u proširenom dinamičkom rasponu, kaže se da smo u "svjetlosnom prostoru" (kvantimetrijski prostor slike).

Na kraju drugog koraka nalazimo se u svjetlosnom prostoru i moramo se vratiti u prostor slika.

Dakle, ovaj korak 3 govori o povratku u prostor slika.

Da biste izveli korak 3, jednostavno komprimirajte dinamički raspon izlaza iz koraka 2.

Ako znate funkciju odziva fotoaparata, jednostavno je primijenite da biste dobili rezultat, f (p (q)).

Ako ne znate funkciju odziva kamere, jednostavno dobro pretpostavite.

Ako ste kvadratne piksele slike izokvirili u prvom koraku, sada je vrijeme da uzmete kvadratni korijen svakog slikovnog piksela kako biste se vratili na svoju pretpostavku o prostoru slike.

Korak 4: Možda biste htjeli isprobati neke druge varijacije

Odmagljivanje je samo jedan od mnogih mogućih primjera. Razmotrimo, na primjer, kombiniranje više ekspozicija.

Snimite bilo koje dvije slike, poput onih koje imam gore. Jedan se uzimao danju, a drugi noću.

Kombinirajte ih da napravite sliku sličnu sumraku.

Ako ih samo usporedite zajedno, to izgleda kao smeće. Isprobajte ovo sami!

No ako prvo proširite dinamički raspon svake slike, zatim ih dodate, a zatim komprimirate dinamički raspon zbroja, izgleda sjajno.

Usporedite obradu slike (dodavanje slika) s kvantimetrijskom obradom slike (proširenje, dodavanje, a zatim sažimanje).

Moj kod i još primjera materijala možete preuzeti ovdje:

Korak 5: Idite dalje: Sada isprobajte sa HDR kompozitima slika

(Gornja slika: HDR kaciga za zavarivanje koristi kvantimetrijsku obradu slike za slojeve proširene stvarnosti. Pogledajte Slashgear 2012., 12. rujna.)

U sažetku:

snimite sliku i primijenite sljedeće korake:

1. proširiti dinamički raspon slike;
2. obraditi sliku;
3. komprimirati dinamički raspon rezultata.

A ako želite još bolji rezultat, pokušajte sljedeće:

snimiti mnoštvo različito izloženih slika;

1. proširiti dinamički raspon u svjetlosni prostor, prema mojim prethodnim Instructable na HDR -u;
2. obraditi rezultirajuću kvantimetrijsku sliku, q, u svjetlosnom prostoru;
3. komprimirati dinamički raspon kroz mapiranje tonova.

Zabavite se i kliknite "Uspio sam" i objavite svoje rezultate, a ja ću rado komentirati ili pružiti konstruktivnu pomoć.