Image Based Lighting e HDR

valori di radianza, ma anche come sfondo della scena. Tale procedura è piuttosto laboriosa e può essere semplificata mediante l'utilizzo di una lente ...

0 downloads 142 Views 2MB Size
Image Based Lighting e HDR. Illuminazione realistica nella Virtual Archaeology.

Relazione per il Seminario di Cultura Digitale Sara Pupi

A.A. 2014/2015

Indice 1 Introduzione ..................................................................................................................... 2 2 Image Based Lighting e HDR .......................................................................................... 3 2.1 Environment Map ...................................................................................................... 6 2.1.1 Sfera Rfilettente ................................................................................................ 6 2.1.2 Stitching di fotografie ....................................................................................... 7 2.1.3 Ottica Fisheye ................................................................................................... 8 2.1.4 Scanning Panoramic Camera ............................................................................ 9 2.2 High Dinamic Range Imaging.................................................................................. 10 2.2.1 Debevec HDR ................................................................................................. 12 2.2.2 Shutter Speed Based HDR .............................................................................. 13 2.2.3 Gradient Based HDR ...................................................................................... 15 3 IBL e HDR nell’archeologia .......................................................................................... 17 3.1 Virtual Archaeology................................................................................................. 17 3.2 Dal modello reale al modello 3D ............................................................................. 18 3.3 Casi d’uso di IBL e HDR ......................................................................................... 20 3.3.1 Partenone di Atene .......................................................................................... 20 3.3.2 Fontana di Sagalassos ..................................................................................... 21 3.3.3 Teatro di Aspendo e Pompei ........................................................................... 22 3.3.4 Panagia Angeloktisti ....................................................................................... 23 3.3.5 Statua di Ercolano ........................................................................................... 23 4

Conclusioni .............................................................................................................. 24

5

Bibliografia .............................................................................................................. 25

1

1 INTRODUZIONE Gli sviluppi che negli ultimi anni hanno interessato la grafica 3D e gli ambienti virtuali, hanno aperto le porte ad un vasto panorama di possibili applicazioni. Uno degli ambiti applicativi più interessanti, è quello dei beni culturali e, in particolare, quello dell'archeologia. Le tecnologie sviluppate nel settore della grafica 3D, rendono possibili nuove modalità di esplorazione, diffusione e salvaguardia dei beni. La ricostruzione fedele di un reperto permette agli archeologi di ripristinarne (virtualmente) la sua collocazione fisica e le sue condizioni di illuminazione originarie. Gli archeologi avranno quindi la possibilità di formulare migliori ipotesi di studio, e i visitatori di un ipotetico museo virtuale, avranno una percezione più realistica dell’aspetto originario del reperto. Affinché le ipotesi formulate dagli archeologi possano fondarsi su un aspetto fedele all’originale e affinché l'esperienza dell'osservatore risulti coinvolgente ed efficace, uno dei requisiti fondamentali che tale ricostruzione virtuale deve possedere, è senz'altro un elevato livello di realismo. Perché un oggetto virtuale risulti credibile agli occhi di chi guarda, la computer graphics, oltre che agire sulla moltitudine di aspetti legati alla percezione della tridimensionalità dell’oggetto, deve lavorare sul suo aspetto (visual appearance). Uno degli elementi che più influisce sulla visual appearance di un oggetto, virtuale o meno, è la luce. Illuminare oggetti e ambienti 3D significa determinare le caratteristiche della luce che giunge agli occhi di chi osserva, a partire dalle superfici della scena. Dunque, affinché venga simulata una corretta illuminazione e venga garantita una percezione realistica, durante il processo di ricostruzione 3D è necessario utilizzare degli efficaci algoritmi di illuminazione.

2

2 IMAGE BASED LIGHTING E HDR Un’importante distinzione da fare, è quella tra gli algoritmi di illuminazione locale e algoritmi di illuminazione globale. I primi si limitano a calcolare l’illuminazione dell’oggetto senza simulare come vi si ripercuota l’illuminazione di altre superfici che lo circondano. I secondi hanno un costo computazionale più elevato ma il risultato è estremamente più realistico, in quanto tengono in considerazione anche la luce riflessa o rifratta da altre superfici. In Fig.1.b si può notare come il parallelepipedo grigio, a differenza di quanto accade in Fig.1.a, assuma sul lato sinistro una colorazione rosata data dal riflesso del parallelepipedo rosso che gli sta accanto. Gli oggetti, e l’intera scena, acquistano in questo modo maggior realismo. Fig. Figure1 1 a) Illuminazione locale b) Illuminazione globale. Da www.slideshare.net Real time global illumination techniques (Maggio 205)

Uno degli algoritmi di illuminazione globale che permette di conferire agli oggetti 3D

ulteriore realismo, è l’Image Based Lighting (IBL). Di questa tecnica di illuminazione si parla per la prima volta in un articolo del 1976 pubblicato dai due informatici James F. Blinn and Martin E. Newel [1]. L’IBL ha trovato però larga diffusione solo a partire dalla fine degli anni ’90 per merito degli studi di Paul Debevec, grafico californiano a cui si deve inoltre il merito dell’introduzione della tecnica HDR (Sezione 2.2) nell’ambito dell’IBL. Come suggerisce il nome, questo algoritmo calcola l’illuminazione, basandosi sulle informazioni di luce di una particolare immagine.

3

La fotografia è una forma d'arte che mira alla rappresentazione della realtà. Roland Barthes [2] sosteneva che, grazie ad una fotografia, la realtà che è stata di fronte agli occhi del fotografo, ha la possibilità di rivivere nel presente. Tale principio è parallelo al concetto di ricostruzione di un bene culturale tramite la sua rappresentazione 3D: una ricostruzione virtuale rappresenta una realtà che è stata e che oggi, virtualmente, ha la possibilità di rivivere nel presente. Altresì nell’IBL, anche se in modo concettualmente diverso, la fotografia e la grafica 3D si avvicinano. L’IBL sfrutta infatti le informazioni di una fotografia omnidirezionale (Fig.4) di una scena reale, per illuminare una scena virtuale e gli oggetti inseriti al suo interno. Appositi software di modellazione 3D, mappano la fotografia omnidirezionale su una primitiva sferica o cubica1 che incapsula gli oggetti virtuali creati nello spazio di lavoro. Questa primitiva prende il nome di environment map, i cui punti memorizzano

la

quantità

di

luce

emessa

2 a) Environment map mappata su una primitiva dall’ambiente reale (radianza). In Fig.2.a è mostrata Fig. sferica. b) 3DS Max che utilizza la sfera mappata come un’environment map costruita con una fotografia conteintore degli oggetti virtuali che verranno

illuminati con l'environ ment map mappata sull sfera. omnidirezionale di un cielo soleggiato. In Fig.1.b è Da http://www.pxleyes.com (Maggio 2015)

mostrato il software di modellazione 3D Studio Max che utilizza l’environment map sferica per illuminare gli oggetti creati. L'immagine omnidirezionale utilizzata per realizzare l’environment map può essere acquisita in diversi modi, descritti nella Sezione 2.1. Qualsiasi sia la tecnica di realizzazione, affinché l'illuminazione della scena virtuale risulti effettivamente realistica, è necessario che l'immagine di partenza contenga valori di radianza fedeli alla realtà. Per rispettare questa condizione è ormai sempre più diffuso l’utilizzo di immagini HDR (High Dynamic Range). Questa tecnica verrà trattata nella Sezione 2.2. La visual appearance degli oggetti 3D ricostruiti, illuminati mediante IBL, risulterà essere estremamente simile a quella che avrebbero avuto se si fossero realmente trovati nell'ambiente da cui è stata prelevata

Il software dovrà quindi associare ad ogni coordinata (u, v) dello spazio bidimensionale dell’immagine omnidirezionale, una coordinata (x, y, z) dello spazio tridimensionale 1

4

l’immagine. Gli oggetti virtuali mostrati in Fig.3.a sono realizzati in un ambiente di modellazione 3D e illuminati con sorgenti di luce virtuali. In Fig. 3.b è mostrata una sfera riflettente (di cui si parlerà nella Sezione 2.1.1) che riflette l'immagine omnidirezionale di un ambiente all'aperto e ne Fig. 3 a) Oggetti virtuali illuminati da una sorgente di luce sintetica. b) Light probe utilizzato per costruire la radiance map. c) Gli stessi oggetti virtuali illuminati con la radiance map costruita. Da http://www.fxguide.com (Maggio 2015)

memorizza dunque i valori di luminosità. In Fig.3.c è mostrata la stessa scena 3D in cui le luci

sintetiche sono sostituite dall’illuminazione prelevata della sfera (e come sfondo è stata aggiunta un'immagine dello stesso contesto). Come si può notare, la scena acquista un altissimo livello di realismo. A partire da questo presupposto è possibile pensare di applicare tale tecnica nell'ambito dei beni culturali e, a maggior ragione, nel settore archeologico, al fine di ricostruire in modo fedele l’aspetto di beni rinvenuti. Nel Capitolo 3 verrà approfondito il rapporto tra grafica 3D e archeologia e verranno presentati una serie di esempi di applicazione di IBL e HDR in tale ambito.

5

2.1 Environment Map Poiché l’environment map deve contenere le informazioni di radianza di tutto l'ambiente circostante, è necessario acquisire un’immagine omnidirezionale (Fig.4); per ogni direzione del mondo circostante deve quindi esistere un pixel dell'immagine che corrisponda a quella direzione.

Fig. 4 Esempio di immagine omnidirezionale. Da http://imgbuddy.com (Maggio 2015)

Un’immagine omnidirezionale può essere ottenuta mediante diversi approcci: 

Sfera riflettente



Stitching di fotografie



Ottica fisheye



Scanning Panoramic Camera

2.1.1 Sfera Rfilettente È l’approccio utilizzato nella tecnica di IBL descritta nella pubblicazione del 1998 di Paul Debevec [3] (la prima a trattare l’Image Based Lighting con fotografie HDR). Il procedimento consiste nel fotografare una sfera riflettente, detta anche light probe, posizionata all'interno della scena reale, in grado di riflettere l'intero ambiente che le sta intorno. In Fig.5 è mostrata una litografia del 1935 dell’artista olandese Maurits Cornelis Escher. Il dipinto, chiamato Hand with Reflecting Sphere, è un’eccezionale esempio del concetto di sfera riflettente. Questo approccio presenta però alcuni svantaggi. Il primo problema consiste nel fatto che i riflessi proiettati nelle zone agli estremi della sfera, risultano estremamente distorti. Due ulteriori problematiche di questo metodo sono riscontrabili nel fatto che, scattando una sola fotografia alla sfera otteniamo 6

un’immagine in cui la sfera riflette anche il supporto sul quale è posizionata e la fotocamera con relativo cavalletto o fotografo (tali difetti sono correttamente rappresentati anche nella litografia di Escher). Per ottenere un light probe valido è quindi necessario cercare di risolvere questi tre problemi. Una delle soluzioni proposte [4] è quella di scattare due2 immagini alla sfera ruotandole intorno di 90° e mantenendo, per entrambe le fotografie, la fotocamera e la sfera allineate alla stessa altezza da terra (Fig. 5). Si ricorre dunque ad un software che sia in grado di calcolare i punti di corrispondenza tra le due immagini (è importante acquisire le fotografie ruotando non più di un Fig. 5 Hand with Reflecting

certo angolo, proprio Sphere, litografia di M. C. Escher per garantire che tra i Da

http://en.wikipedia.org/wiki/Hand due punti di ripresa vi _with_Reflecting_Sphere (Maggio 2015) Fig. 6 2 fotografie dello stesso ambiente scattate siano sufficienti aree di ruotando di 90° intorno alla sfera [4].

corrispondenza) e mergiarle in modo che le aree indesiderate della prima immagine (aree distorte, supporto e fotocamera) vengano sostituite dalle corrispondenti aree della seconda immagine, e viceversa. Esistono inoltre diversi light probe realizzati in diversi ambienti, scaricabili dal sito di Debevec3.

2.1.2 Stitching di fotografie Questo metodo consiste nell'incollare (stitching) una serie di fotografie scattate da posizioni differenti, in modo tale da ricostruire l'intero ambiente circostante. Durante la fase di acquisizione delle immagini è importante tenere in considerazione che, non è sufficiente scansionare l'ambiente orizzontalmente, ma anche verticalmente, imitando un po' una Scanning Panoramic Camera (Sezione 2.1.4). Ciò è fondamentale per assicurarsi di catturare le sorgenti di luce provenienti dall'alto che, nella maggior parte dei casi, costituiscono la sorgente di luce principale.

2

In realtà se vogliamo realizzare un environment map HDR sarà necessario scattare più fotografie, come spiegato nella Sezione 2.2, per ogni angolazione. 3 Paul Debevec, http://www.debevec.org/Probes, Maggio 2015

7

Una volta scattate tutte le fotografie necessarie, esse devono essere mergiate mediante appositi software che riescono ad individuare i punti di corrispondenza tra le varie immagini e ad attuare un'adeguata rotazione nello spazio 3D per ognuna di esse. La qualità del risultato in termini di risoluzione è molto alta e per questo è possibile utilizzare l’immagine, non soltanto per leggere i valori di radianza, ma anche come sfondo della scena. Tale procedura è piuttosto laboriosa e può essere semplificata mediante l'utilizzo di

Fig. 7 a) Set di fotografie che ricoprono l'intera scena. b) Il set di una lente fisheye. fotografie mergiate in un'unica immagine panoramica.

2.1.3 Ottica Fisheye Questo metodo può essere considerato una semplificazione dello stitching, in quanto ci consente di acquisire l'intero ambiente scattando soltanto due immagini. A differenza di un qualsiasi obiettivo, che riesce ad imprimere sul sensore un angolo di vista limitato, un’ottica fisheye permette di proiettare sul sensore 180° (sia verticali sia orizzontali) di ambiente circostante,

realizzando

metà

dell’immagine

omnidirezionale. Rispetto all’approccio di stitching dunque, si riducono notevolmente i tempi di acquisizione e per questo motivo tale metodo risulta Fig. 8 a) Set di fotografie che ricoprono l'intera

scena. b) Il set di fotografie mergiate in un'unica

particolarmente adatto per fotografare ambienti esterni immagine panoramica [6]. in cui le condizioni della luce cambiano rapidamente. Per realizzare un’immagine omnidirezionale è comunque necessario l'intervento manuale. Prima di poter mergiare le due fotografie in un'unica immagine panoramica, è necessario infatti compensare l'effetto di distorsione a barile tipico delle lenti fisheye, mediante un qualsiasi programma di fotoritocco. A questo punto è possibile unire le due immagini con un apposito software. La qualità risulterà minore rispetto a quella dello stitching ma maggiore di quella ottenuta utilizzando la sfera e le immagini acquisite possono essere utilizzate anche come background della scena. 8

Un esempio particolare di utilizzo del fisheye viene descritto da Frahm et al. [6]. In questo caso si ha a che fare con l’inserimento di un oggetto virtuale all’interno di una scena con inquadratura fissa di uno studio televisivo. Ci si serve di una fotocamera fisheye come complemento ad una macchina da presa. La fotocamera è utilizzata per scattare una fotografia (offline) alla parte superiore della stanza (Fig.8), da cui Fig. 9 Oggetto virtuale illuminato con l'environment provengono le sorgenti di luce. Il modello viene poi map costruita dalle immagini acquisite con la utilizzato per illuminare in tempo reale l'oggetto virtuale fotocamera fisheye [6].

inserito nella scena (Fig.9). In questo tipo di situazione, in cui il tempo per costruire l'environment map è limitato e non c'è bisogno di costruire un'immagine omnidirezionale, l'utilizzo del fisheye è ottimale, in quanto permette di acquisire l'illuminazione circostante in breve tempo, a differenza di una camera panoramica o di uno stitching.

2.1.4 Scanning Panoramic Camera Una Scanning Panoramic Camera [7] è una particolare fotocamera che scansiona la scena verticalmente di 180° mentre ruota su sé stessa di 360°, acquisendo così l'intero ambiente circostante. Il grande vantaggio sta ovviamente nel fatto che è sufficiente una sola acquisizione per catturare l'immagine omnidirezionale di cui abbiamo bisogno. Questo riduce al minimo l'intervento manuale che è invece particolarmente consistente nei metodi di acquisizione descritti nelle sezioni precedenti. Il tempo dell’acquisizione è generalmente piuttosto lungo (in media 30 minuti) ed è inversamente

Fig. 10 Scanning Panoramic

proporzionale alla quantità di luce presente e direttamente proporzionale alla Camera. Da www.panoscan.com (Maggio

qualità di output che si desidera. I modelli più recenti4 permettono inoltre di 2015)

memorizzare l'informazione di colore su 14 bit per canale (piuttosto che gli standard 8 bit), aumentando il range dinamico (Sezione 2.2) dell'immagine acquisita. Gli elevati costi di tali prodotti sono il maggiore ostacolo al loro impiego.

4

Panoscan, http://www.panoscan.com/HDR.html, (Maggio 2015)

9

2.2 High Dinamic Range Imaging L’ambiente che ci circonda è spesso costituito sia da superfici emissive (il sole), che non (la parete di una stanza), e l'intensità luminosa delle prime è estremamente superiore a quella delle seconde. Se ad esempio ci troviamo in una stanza (senza alcuna fonte di illuminazione artificiale), di fronte ad una parete con una finestra da cui entrano i raggi del sole, la differenza di luminosità che c’è tra la parete e la finestra (range dinamico) è estremamente elevata. In una condizione del genere l'occhio umano riesce a bilanciare l’esposizione dei due diversi tipi di superficie e a leggere correttamente sia i dettagli della parete sia il panorama visibile dalla finestra. I sensori delle macchine fotografiche attualmente in commercio invece, non riescono a simulare lo stesso meccanismo. Una tradizionale immagine LDR (Low Dynamic Range), con i suoi 8 bit per canale (solo 256 valori di intensità registrabili), non è in grado di memorizzare l’intera gamma dinamica della scena reale. Pertanto, se fotografiamo la scena leggendo la luce sulla finestra riusciremo ad imprimere correttamente il panorama esterno, ma la parete risulterà sottoesposta e i suoi dettagli risulteranno illeggibili. Viceversa, leggendo la luce sulla parete, otterremo una corretta esposizione della stessa, ma l’area della finestra risulterà estremamente sovraesposta. In una fotografia quindi si verifica spesso che non tutti i valori dei pixel rappresentino i reali valori di radianza della scena catturata, poiché saturati o desaturati5. Questo significa che al variare della quantità di luce delle aree della scena che si vuole imprimere, può non corrispondere una lineare variazione della luminosità di tali aree nella fotografia. Questo principio è descritto

dalla

cosiddetta

curva

caratteristica6 (Fig.11). La parte iniziale (toe) e finale (shoulder) della curva Fig. 11 Curva caratteristica di Hurter e Driffield. Sull’asse delle rappresentano

rispettivamente

sottoesposte e quelle sovraesposte.

le

ascisse è riportata l’esposizione, su quello delle ordinata è riportata densità impressa nel sensore. Da http://en.wikipedia.org/wiki/Hurter_and_Driffield (Maggio 2015)

aree la

I pixel di un’area sovraesposta vengono saturati al valore di 255, mentre quelli di un’area sottoesposta, a 0. Questa funzione venne descritta per la prima volta alla fine dell’800 da due inglesi studiosi di fotografia, Ferdinand Hurter (1844 - 1898) e Vero Charles Driffield (1848 – 1915). 5 6

10

Questa limitazione può essere superata realizzando un’immagine HDR. La tecnica dell’HDRI (High Dynamic Range Imaging) consiste nello scattare più fotografie LDR della stessa scena, variando il tempo di scatto per ottenere immagini con diversi livelli di esposizione. Più è ampio il range dinamico dell’ambiente, più elevato sarà il numero di esposizioni (e quindi di fotografie) necessarie per imprimere tutti i valori di esposizione. Un’immagine HDR (Fig.12) è il risultato della media pesata delle varie immagini. Ogni pixel di ogni immagine avrà dunque un certo peso assegnato con determinati criteri. Il risultato è dunque un’ immagine che consente di leggere sia i dettagli delle aree più luminose che quelli delle aree più buie. Mentre, come abbiamo visto, in un’immagine LDR il colore del pixel è memorizzato con 8 bit per canale, in un file HDR si utilizzano solitamente 32 bit per canale (~4,3 x 108 valori possibili)7. Esistono dei software [9] grazie ai quali è possibile Fig. 12 Le tre fotografie LDR della prima fila sono state scattate con tempi differenti per ottenere tre fotografie con 2EV di differenza ciascuna. Sotto, l'immagine HDR ottenuta mergiando le tre fotografie.

automatizzare il processo di acquisizione delle immagini: collegando la fotocamera al pc, a seconda del numero di fotografie con diverse esposizioni che

si vogliono acquisire, è possibile settare la minima e la massima velocità di scatto e il numero di stop8 che si desiderano tra uno scatto e l’altro. Nelle sezioni seguenti vengono riportate alcune delle tecniche utilizzate per produrre immagini HDR da utilizzare nel contesto dell’IBL.

I monitor e le stampanti standard hanno comunque un basso range dinamico, pertanto non possono supportare l’ampissima gamma dinamica dell’immagine HDR generata. Per produrre un’immagine interpretabile da questi dispositivi è dunque necessario mappare l’alto range tonale ad uno più basso; questo procedimento è detto tone mapping [7]. 8 Viene definito stop l’intervallo del valore di esposizione; uno stop in più equivale al doppio di luce entrante nell’obiettivo. 7

11

2.2.1 Debevec HDR La tecnica HDR descritta in [10] da Debevec e Malik, si basa sul rapporto di reciprocità, ovvero il rapporto che c’è tra l’apertura del diaframma e il tempo di esposizione della macchina fotografica. La quantità di luce che entra nell’obiettivo (quantità di irradianza) dipende dalla combinazione di questi due fattori. Fig. 13 Apertura del diaframma e relativo tempo di

L’algoritmo prende in input una serie di fotografie esposizione (per un'esposizione corretta). Da scattate con differenti tempi di esposizione, assumendo

www.fotografareindigitale.com (Maggio 2015).

che la scena sia statica e che non ci siano significativi cambiamenti di luce. Sotto queste assunzioni l’irradianza della scena resterà invariata per ogni scatto. Ogni pixel di ogni fotografia scattata9, avrà una certa influenza sull'immagine HDR finale. L'equazione utilizzata per il calcolo della luminosità, come si è detto, è una media pesata. Il peso di ogni pixel in questo caso è assegnato tenendo in considerazione il minimo e il massimo valore di luminosità registrato nelle immagini (molto probabilmente vi sarà almeno un'immagine con un pixel desaturato, cioè con valore 0, e un'immagine con almeno un pixel saturato, quindi con valore 255). Con questi due valori viene calcolata la semidispersione massima10; più il valore del pixel si allontana dalla semidispersione massima, minore sarà il suo peso nel calcolo dell'equazione.

In realtà nell’articolo non viene calcolato il valore di irradianza per tutti i pixel poiché sarebbe computazionalmente troppo oneroso. Viene quindi proposto un numero minimo di pixel che devono essere tenuti in considerazione calcolato come N(P1) > (Zmax - Zmin). I valori dei pixel intermedi vengono calcolati mediante interpolazione. 9

10

La metà della differenza tra il valore massimo e il valore minimo di un range.

12

La Fig.14 mostra il risultato dell’applicazione dell’algoritmo per il calcolo dell’immagine HDR a partire da 16 immagini (Fig.15) in input scattate con uno stop di differenza ciascuna.

Fig. 15 Le 16 immagini prese come input dall'algoritmo [10].

Fig. 14 Immagine HDR ottenuta con l'algoritmo di Debevec ed un algoritmo di tone mapping [10].

2.2.2 Shutter Speed Based HDR In [11] Y. Me e G. Qiu rivisitano il procedimento descritto in [10]. L’algoritmo di Debevec e Malick, come accennato nel loro stesso articolo, a causa di un piccolo difetto nel calcolo dei pesi da utilizzare nella media pesata, non riesce a simulare l’effetto bloom. Questo effetto si verifica quando in una scena abbiamo delle aree tanto luminose al punto che la luce fuoriesce dalla superficie emissiva sovrapponendosi ad una superficie non-emissiva che le sta accanto. In Fig.16 si può notare come la luce proveniente dall’apertura nel Fig. 16 Effetto bloom. Da

https://bassemtodary.wordpress.com/tag/bloom/

tetto crei un alone bluastro sui bordi del legno. La (Maggio 2015) simulazione di tale effetto nell’IBL contribuisce ad un maggiore realismo.

Nel procedimento Shutter Speed Based, si prende come riferimento una fotografia scattata in modalità automatica (reference frame); la macchina fotografica in questo modo stima automaticamente un livello 13

di esposizione medio delle varie aree della scena. Si acquisiscono poi una serie di immagini con diversi tempi di scatto per ottenere fotografie con diverse esposizioni. Per ogni pixel di ogni immagine scattata si calcola poi quello che viene chiamato suitable shutter, ovvero il tempo di esposizione che renderebbe il pixel correttamente esposto. Un pixel con esposizione media (intorno a 128) avrà uno suitable shutter vicino al tempo di scatto del reference frame; dunque, più è bassa la luminosità del pixel più lungo sarà il tempo di scatto dello suitable shutter, e viceversa. Il suitable shutter viene quindi utilizzato per calcolare il peso di ogni pixel da tenere in considerazione nel calcolo della media pesata: più il tempo di scatto del pixel si allontana dal suitable shutter, minore sarà il suo peso.

Questa procedura per il

calcolo del peso permette di non incorrere nel problema riscontrato nella formula di Me e Qiu e l’effetto bloom viene Fig. 17 Confronto tra il metodo di Debevec (sinistra) e Me Qiu (destra) [10].

meglio simulato (Fig.17.a). In Fig.17.b si può vedere un dettaglio di un’immagine HDR in bianco e nero e il grafico 3D

della relativa mappa di radianza. Con il metodo di Me e Qui la variazione di luminosità di punti di luce emissivi è più graduale.

14

2.2.3 Gradient Based HDR L’algoritmo proposto in [12], sfrutta la tecnica dell’HDR non tanto ai fini dell’IBL, quanto per l’object detection11. In un task del genere è fondamentale che i dettagli di tutta l’immagine siano ben visibili. Altrettanto importante è che i colori non vengano alterati, in quanto la componente cromatica è un parametro molto importante per il riconoscimento di oggetti. Affinché i dettagli geometrici Fig. 18 Esempio semplificato della suddivisione di

e cromatici siano visibili, è necessario avere un’immagine un'immagine in regioni [12].

ben esposta in tutte le sue aree; questa, può essere dunque utilizzata anche come environment map. L’algoritmo suddivide le N immagini con diverse esposizioni in piccole zone rettangolari, tutte della stessa dimensione (Fig.18). Per ogni regione si deve stimare un livello di dettaglio. Si calcola quindi quella che viene chiamata mappa gradiente, ovvero una matrice in cui ogni pixel misura la variazione di intensità luminosa che c’è tra pixel adiacenti. Per ogni pixel della regione si deve calcolare la variazione di intensità luminosa sia rispetto al pixel che sta alla sua destra, sia rispetto a quello sottostante. Per ogni pixel avremo dunque due valori di variazione di cui si sceglie il massimo. Si esegue la sommatoria di tali valori per ogni pixel della regione e il risultato rappresenta il livello di dettaglio di tale regione. Si applica il procedimento ad ogni immagine, e per ogni regione si Fig. 19 Risultato dell'applicazione dell'algoritmo HDR e di un algoritmo di tone mapping [12]

seleziona

quella

http://en.wikipedia.org/wiki/Object_detection

15

le

varie

immagini) che ha livello di dettaglio

maggiore; questa verrà quindi utilizzata per la composizione dell’immagine finale.

11

(tra

Il risultato mostrato in Fig.19 è un’immagine i cui dettagli sono ben visibili, sia in corrispondenza di aree luminose che in corrispondenza di aree poco luminose. In questo caso il range dinamico della scena non è elevatissimo pertanto, al fine di catturare correttamente tutte le esposizioni, sono state sufficienti tre foto di input.

16

3 IBL E HDR NELL’ARCHEOLOGIA 3.1 Virtual Archaeology Negli ultimi cinquant’anni la computer grafica ha assunto un ruolo sempre più importante nella ricerca archeologica al punto che, a partire dagli anni '90, si è iniziato a parlare di Virtual Archaeology. Tale ambito di ricerca ha rivoluzionato le tradizionali tecniche di studio archeologico, ricostruendo artefatti, edifici, paesaggi del passato, attraverso modelli tridimensionali [13]. Da una parte consente agli archeologi di documentare il lavoro di esplorazione, trasformando le informazioni raccolte in materiale digitale tridimensionale; dall'altra, consente nuove modalità di fruizione dei beni ad un pubblico sempre più vasto, attraverso ad esempio la realizzazione di musei virtuali, nati grazie alla grande evoluzione delle tecniche di visualizzazione 3D. I musei virtuali, rispetto a quelli tradizionali, permettono di arricchire i contenuti e integrare strategie comunicative al fine di migliorare l'esperienza museale. Il museo virtuale The Museum Of Pure Form12 ad esempio, permette di interagire con le opere virtuali anche tramite il canale aptico: mediante dei feedback aptici, il sistema permette all'utente di toccare l'opera, rendendola dunque più accessibile anche a persone con deficit visivi. Un museo virtuale permette inoltre di allestire una mostra con oggetti 3D provenienti da posti geograficamente distanti: il Museo della Scultura di Pietrasanta, ad esempio, riunisce in una piazza virtuale - costruita sulla base della vera piazza del centro di Pietrasanta – diverse sculture provenienti da varie parti del mondo. Le tecnologie 3D possono inoltre essere sfruttate anche come supporto al restauro. Grazie alle ricostruzioni tridimensionali è possibile infatti rilevare proprietà fisiche di reperti di medie dimensioni (studiando ad esempio volume, massa, superficie, altezza e baricentro di una statua), individuare automaticamente la congiunzione di frammenti di una scultura ridotta in pezzi, elaborare ipotesi di restauro provando ad esempio ad applicare determinati colori sul modello 3D prima di passare al restauro vero e proprio, e così via. Qualsiasi sia lo scopo, le ricostruzioni 3D costituiscono il cuore della VA. Spesso, nella ricostruzione 3D di un certo reperto archeologico, si tende a volgere l'attenzione maggiormente sull'impatto visivo del modello geometrico in se e del materiale scelto, piuttosto che sulla sua illuminazione. Come si è visto nel Capitolo 1 però, una corretta illuminazione è fondamentale per conferire realismo ai modelli 3D, qualsiasi sia l’ambito applicativo. I primi studi sulla ricostruzione virtuale di beni culturali utilizzavano

12

http://www.pureform.org/

17

semplici modelli di luce sintetica. Oggi al contrario, un gran numero di ricercatori fa uso di informazioni di luce reale per re-illuminare la propria ricostruzione; la tecnica dell'IBL con immagini HDR in questo ambito può dunque rivelarsi una scelta strategica. Grazie a questa tecnica sarà possibile re-illuminare gli oggetti con la luce del luogo in cui erano originariamente collocati. Dopo una breve descrizione del procedimento generale che deve essere seguito per ottenere una ricostruzione e re-illuminazione di un reperto (Sezione 3.2), verranno presentati alcuni casi d’uso che prevedono la re-illuminazione di reperti archeologici mediante IBL e HDR (Sezione 3.3).

3.2 Dal modello reale al modello 3D La ricostruzione (e re-illuminazione) fedele di un bene culturale è un’operazione molto complessa che richiede l’utilizzo di diversi strumenti e tecnologie, sia hardware che software. I passaggi che portano all’ottenimento di una ricostruzione 3D ovviamente variano in base alle circostanze e alle scelte progettuali del team di VA. Ad ogni modo è possibile generalizzare individuando quattro fasi essenziali: 

acquisizione: le tecniche di acquisizione di un modello sono numerose e la scelta dipende dalle esigenze del contesto: dimensione del soggetto da ricostruire, livello di invasività e rumorosità concesso, distanza di acquisizione, e così via. Tra le varie tecnologie di acquisizione è possibile distinguere tra scanner a contatto e a distanza. Tra quelli a distanza possiamo individuare gli scanner ottici (che possono essere attivi o passivi) e quelli non ottici, basati su tecniche di fotogrammetria o image-based modeling. Nell’archeologia è necessario che la tecnica utilizzata non sia invasiva; tra le tecniche più utilizzate troviamo infatti i laser ottici attivi [14] [15] [16] e l’image based modeling [17].



modellazione: la modellazione 3D è il processo mediante il quale viene definita nello spazio virtuale la forma tridimensionale del nostro soggetto, attraverso l’utilizzo di appositi software 3D (Autodesk 3DS Max, Maya, Belnder ecc.). Nell’ambito archeologico vi sono alcuni casi in cui risulta essere necessario ricorrere alla modellazione. Il caso più ovvio è quello in cui si voglia ricostruire un bene culturale non preservato o gravemente danneggiato [18]; oppure, è possibile che non vi sia modo di utilizzare alcuna tecnica di acquisizione. Ovviamente in questi casi la documentazione deve essere sufficientemente esaustiva da permettere una fedele ricostruzione. Possono poi esservi casi intermedi in cui si effettuano acquisizioni parziali (Happa et al. [15] ad esempio, mediante un telemetro laser, acquisiscono soltanto le altezze della chiesa da ricostruire). 18

Ad ogni modo, anche se il reperto è stato interamente acquisito in modo automatico (mediante una delle tecniche sovra citate), è molto probabile che, sia a causa dei danni che, in modo più o meno grave, caratterizzano qualsiasi reperto archeologico, sia a causa di imprecisioni che possono verificarsi in fase di acquisizione, un post-processing di modellazione manuale risulti necessario. 

texturing: applicare una texture significa ricoprire un modello tridimensionale con un'immagine bidimensionale. Nel caso della ricostruzione di un bene culturale, la texture con la quale si vorrà ricoprire il modello virtuale è quella del soggetto reale e sarà pertanto generata da fotografie del soggetto stesso. Per poter correttamente simulare l’illuminazione dell’oggetto ricostruito (fase successiva) è necessario rimuovere dalla texture le luci e le ombre impresse nelle fotografie scattate; zone d’ombra e riflessioni speculari possono infatti nascondere i dettagli della superficie. Esistono vari algoritmi che permettono di ricostruire la texture; alcuni necessitano di una sola immagine di input (single image input), altri ne richiedono un numero maggiore (multi-image input).



illuminazione: come si è detto nel Capitolo 2, illuminare un oggetto 3D significa determinare le caratteristiche della luce che parte da un punto della scena e giunge agli occhi di chi osserva. Nel caso dell’illuminazione mediante IBL e HDR i passaggi da effettuare sono quelli descritti nel capitolo precedente.

19

3.3 Casi d’uso di IBL e HDR Sempre più spesso nell’ambito della Virtual Archaeology, si sperimentano tecniche di illuminazione basate sull’IBL e HDR per re-illuminare reperti archeologici. Nelle sezioni seguenti ne vengono presentati alcuni esempi.

3.3.1 Partenone di Atene Debevec et al. [14] presentano un progetto che prevede la ricostruzione e la re-illuminazione del Partenone di Atene. Il modello è stato acquisito mediante uno scanner laser passivo di tipo time-offlight13. Sono state poi scattate al Partenone una serie di fotografie in condizioni di luce variabili (sia in termini di orario della giornata che in termini di condizioni meteo). Per catturare l'illuminazione circostante, vengono utilizzati tre light probe (Fig. 20) di differenti materiali: una sfera

Fig. 20 Le 3 sfere riflettenti utilizzate per ricostruire

completamente l'illuminazione [14].

riflettente (per catturare una corretta illuminazione del cielo e delle nuvole), una lucente di colore nero (che riflette solo la posizione del sole) e una diffusiva di colore grigio (per misurare l'intensità globale dell'illuminazione). Inoltre, per poter catturare correttamente la luce di tutte le aree dell'ambiente circostante (in pieno giorno l'intensità luminosa del sole era 17 volte superiore a quella del cielo) sono state utilizzate immagini HDR. Ad ogni fotografia scattata al Partenone (nelle differenti condizioni di luce), corrispondono quindi tre scatti ai 3 light probes, con 2 stop di distanza ciascuno (Sezione 2.2). L’utilizzo combinato delle tre sfere e delle immagini

HDR permette di

ottenere un'environment map capace di simulare in modo fedele l'illuminazione Fig. 21 Il Partenone illuminato con environment maps acquisite in diverse condizioni di luce [14].

sotto diverse condizioni di luce (Fig. 21). Inoltre, grazie alla combinazione delle

fotografie scattate al Partenone, e quelle scattate ai light probe, è stato possibile, mediante algoritmi di

13

http://en.wikipedia.org/wiki/Time_of_flight

20

riflettometria, risalire alle proprietà di riflettanza dell'opera (ovvero il modo in cui la sua superficie riflette la luce). Questo permette di simulare correttamente l'illuminazione della costruzione in modo dinamico, cioè sotto qualsiasi condizione di luce. Le foto scattate al Partenone sono servite anche per ricostruire la texture con cui ricoprire il modello.

3.3.2 Fontana di Sagalassos Mueller et al. [17] presentano la ricostruzione della fontana ornamentale rinvenuta a Sagalassos, un sito archeologico situato in Turchia vicino al porto turistico di Antalia. La ricostruzione mira a simulare lo stato della fontana intorno al VII secolo a.c. Il modello è stato acquisito

sia

mediante

scanner

attivi

a

luce

Fig. 22 Immagine panoramica dell'ambiente circostante la fontana [17].

14

strutturata , che tramite tecniche di image-based modeling. A causa dei danni subiti dalla fontana e dalle imperfezioni provocate dall'acquisizione mediante image based modeling, una fase di post processing è stata necessaria per ottenere un modello completo e corretto. La geometria del modello è stata dunque modellata manualmente utilizzando il software di modellazione Alias Maya. I danni riportati dalla fontana rappresentano ovviamente un problema anche per la ricostruzione della texture; per ovviare a questa limitazione sono state prelevate parti di immagini di aree non danneggiate. L'illuminazione della fontana è stata simulata prima mediante un comune algoritmo di illuminazione globale, poi mediante la tecnica IBL (in questo caso senza ricorrere a immagini HDR) con l’integrazione di un Fig. 23 a) Dettaglio della fontana illuminata con l'algoritmo di illuminazione globale. b) Dettaglio della fontana illuminata mediante IBL e ambient occlusion [17].

14 15

algoritmo di ambient occlusion15 per aumentare il realismo dell’ambiente

(molto

efficace

in

ambienti

Scanner a luce strutturata, http://it.wikipedia.org/wiki/Scanner_3D_a_luce_strutturata, Maggio 2015 Ambient Occlusion, http://it.wikipedia.org/wiki/Ambient_occlusion, Maggio 2015

21

esterni).

L'environment map necessaria (Fig.22) è stata ottenuta realizzando un'immagine panoramica dell'ambiente circostante la fontana, mediante stitching di fotografie (Sezione 2.1.2). Il primo approccio è decisamente meno oneroso del secondo; il rendering mediante l’algoritmo di illumiazione globale standard impiega infatti appena 7 minuti, in confronto alle due ore dell'IBL. In Fig.23 è possibile confrontare i due tipi di approccio. L’illuminazione mediante IBL (Fig.23.b) dona alla fontana un aspetto più realistico rispetto all’algoritmo di illuminazione globale che, se pur conferisca una piacevole illuminazione, produce un effetto più virtuale.

3.3.3 Teatro di Aspendo e Pompei Magnenat-Thalmann et al. [18] descrivono la ricostruzione, re-illuminazione e la ri-popolazione con virtual humans del teatro romano di Aspendo in Turchia (risalente al I secolo A.C e scoperto dagli archeologi nell'800) e della città di Pompei. I modelli 3D sono stati costruiti a mano, con il software di modellazione 3D Studio Max, a partire da documentazione varia tra cui piani architettonici e sezioni, misurazioni, foto e video. Per conferire realismo alla scena, entrambi gli ambienti sono stati illuminati mediante IBL facendo uso di immagini HDR. L'environment map è stata costruita mediante una sfera riflettente (Sezione 2.1.1) posizionata nel contesto originario. L'algoritmo dell'IBL, anche utilizzando macchine potenti, può essere molto oneroso in termini di risorse e tempo (si è visto nella sezione precedente che il rendering ha impiegato ben 2 ore). Poiché la scena in questo caso comprende elementi dinamici (virtual humans), questi non possono essere illuminati mediante IBL. Per ovviare a questo problema è stato dunque integrato un algoritmo, chiamato fill Fig. 24 Modello di illuminazione fill light realizzato a partire dall'environment map [18].

light, che, mediante un modello di illuminazione (Fig.24) costruito a partire dall'environment map generata, illumina dinamicamente i soggetti virtuali. In questo modo la scena

continua ad apparire realistica e i soggetti possono essere illuminati in tempo reale.

22

3.3.4 Panagia Angeloktisti Happa et al. [15] presentano la ricostruzione virtuale della chiesa bizantina Panagia Angeloktisti, situata a sud est di Cipro. Il principio che sta alla base di questo progetto è quello di ampliare la conoscenza dell’illuminazione di ambienti chiusi e bui, come l'interno di questa chiesa. La ricostruzione è stata realizzata rilevando le altezze mediante un telemetro laser e modellando, a partire da queste, l’intero edificio con il software di modellazione Autodesk Maya 8.5. L'illuminazione dell'interno e dell’esterno della chiesa sono state simulate

Fig. 25 a) 3 environment map acquisite in tre diversi momenti della giorata: alba, mezzogiorno e tramonto. b) 3 enviroment map di tre diverse aree dell'interno della chiesa [15].

mediante IBL e HDR. Sono state utilizzate più environment map acquisite in diversi momenti della giornata sia all’interno che all’esterno della chiesa (Fig.25). Tali environment map sono costruite a partire da immagini omnidirezionali acquisite mediante una Scanning Panoramic Camera SpheronVR (Sezione 2.1.4) che cattura un’immagine omnidirezionale direttamente in HDR.

3.3.5 Statua di Ercolano Ancora

Happa

[16]

presenta

la

ricostruzione e la re-illuminazione di un reperto romano rinvenuto negli scavi archeologici di Ercolano nel 2006. Si

Fig. 26 Environment map dell'ambiente circostante la statua [16].

tratta della testa di una statua, una volta completa, raffigurante una giovane guerriera amazone. Il modello è stato acquisito con uno scanner laser e una serie di fotografie sono state scattate per ricostruirne la texture. Utilizzando una Scanning Panoramic Camera SpheronVR

(Sezione

2.1.4)

è

stata

acquisita

un'environment map dalla cima al Monte Vesuvio Fig. 27 a) La testa della statua illuminata con luci sintetiche. b) La testa della statua illuminata con l'environment map [16].

(Fig.26). Questa è stata quindi utilizzata per reilluminare la testa della statua mediante IBL. 23

Non essendo a conoscenza dell'originario orientamento della statua, gli autori di questo articolo hanno preferito acquisire la fotografia omnidirezionale in un giorno nuvoloso così da rendere l'illuminazione più omogenea, qualsiasi fosse la posizione del sole rispetto alla statua. In Fig.27 è possibile confrontare il modello illuminato con luci sintetiche simulandone la collocazione in un interno (Fig.27.a) con quello illuminato dall’environment map catturata dal Monte Vesuvio. L’illuminazione nel secondo caso risulta essere piatta proprio a causa della mancanza di sole, e dunque probabilmente molto fedele al suo aspetto originario in tali condizioni di luce.

4 CONCLUSIONI In questo studio si è visto come la fotografia possa accrescere il suo ruolo standard di rappresentazione della realtà. Se infatti il classico scopo di un’immagine è quello di ritrarre un soggetto appartenente alla realtà, nell’Image Base Lighting ciò che della realtà si vuole catturare, è la luce, affidando la rappresentazione del soggetto alla grafica 3D. La realizzazione e l’utilizzo di immagini HDR aumentano le potenzialità dell’IBL, conferendo al soggetto virtuale un’illuminazione realistica, irrinunciabile requisito per una fedele rappresentazione della realtà. La Virtual Arechaeology, il cui scopo è proprio quello di riportare in vita un bene più o meno danneggiato o non più esistente, può trarre grande beneficio da questa tecnologia. Applicando l’Image Based Lighting e l’HDR alla Virtual Archaeology, computer grafica 3D, fotografia e archeologia entrano in collaborazione per raggiungere l’obiettivo di riportare in vita ciò che è stato, nel modo in cui è stato.

24

5 BIBLIOGRAFIA [1] Blinn, James F., and Martin E. Newell. "Texture and reflection in computer generated images." Communications of the ACM 19.10 (1976): 542-547.

[2] Barthes, Roland, and Renzo Guidieri. La camera chiara: nota sulla fotografia. Einaudi, 1980. [3] P. Debevec. Rendering synthetic objects into real scenes: bridging traditional and image-based graphics with global illumination and high dynamic range photography. In SIGGRAPH, 1998.

[4]

Paul

Debevec,

http://ict.debevec.org/~debevec/HDRShop/tutorial/tutorial5.html#part1tutorial

(Maggio 2015)

[5] P.Debevec, P.Graham, J.Busch, M.Bolas. 2012. A Single-Shot Light Probe. In SIGGRAPH Talks.

[6] M. Frahm, K. Koeser, D. Grest, and R. Koch. Markerless augmented reality with light source estimation for direct illumination. In Conference on Visual Media Production CVMP, London, December . [7] Pashà Kuliyev. High Dynamic Range Imaging for Computer Generated Imagery applications – a comparison of acquisition techniques. 2009.

[8] WARD, G.J.,RUSHMEIER,H.,PIATKO,C. A visibility matching tone reproduction operator for high dynamic range scenes. Tech. Rep. LBNL-39882, Lawrence Berkeley. National Laboratory, March 1997 [9] O’Malley, S. M. A simple, Effective System for Automated Capture of High Dynamic Range Images. In IEEE Computer Vision Systems, 2006 25

[10] Erik Reinhard, Wolfgang Heidrich, Paul Debevec, Sumanta Pattanaik, Greg Ward, Karol Myszkowski. High Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting. 1997.

[11] Yujie Me, Guoping Qiu. Recovering High Dynamic Range Radiance maps from Photographs Revisited: A Simple and Important Fix.

[12] Annamária R., Várkonyi-Kóczy, András Rövid, Takeshi Hashimoto. Gradient-Based Synthesized Multiple Exposure Time Color HDR Image.

[13] Happa, Jassim, et al. "Illuminating the past: state of the art." Virtual reality 14.3 (2010): 155-182.

[14] Debevec, Paul, et al. "Estimating surface reflectance properties of a complex scene under captured natural illumination." Conditionally Accepted to ACM Transactions on Graphics 19 (2004).

[15] Happa, Jassim, et al. "The Virtual Reconstruction and Daylight Illumination of the Panagia Angeloktisti." VAST. 2009.

[16] Happa, Jassim, et al. "Virtual relighting of a roman statue head from herculaneum: a case study." Proceedings of the 6th International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction in Africa. ACM, 2009.

[17] Mueller, P., et al. "Photo-realistic and detailed 3D modeling: the Antonine Nymphaeum at Sagalassos (Turkey)." Computer Applications and Quantitative Methods in Archaeology (CAA): beyond the

artifact—digital

interpretation

of

the

past.[http://www.

vision.

ee.

ethz.

ch/~

pmueller/documents/caa04_pmueller. pdf (2004).

[18] Magnenat-Thalmann, Nadia, et al. "Real Time Animation and Illumination in Ancient Roman Sites." IJVR 6.1 (2007): 11-24.

26