tutorial

Terminata la fase di allineamento e aggiunta marker, possiamo finalmente passare alla generazione del modello 3D vero e proprio. Per limitare il calcolo alla sola area di nostro interesse, al fine di ottimizzare tempi e risorse, dobbiamo per prima cosa ridimensionare l'area di lavoro: di default, l'area viene impostata dal software selezionando sulla nuvola di punti sparsa quella che contiene il maggior numero di punti vicini, lasciando fuori soltanto quelli sparsi ai bordi della nuvola. Premiamo il tasto 7 sul pad numerico per impostare la vista top, il tasto 5 sul pad numerico per impostare la vista ortografica, e selezioniamo il comando Ridimensiona area. Oppure da menu Modello --> Trasforma area --> Ridimensiona area: questo comando attiva agli angoli del nostro box dei pallini blu, che è possibile trascinare dove vogliamo limitare il calcolo. Siccome il box è tridimensionale, gli spigoli sono 8 pertanto anche i pallini blu saranno 8: clicchiamo sul pallino blu con il tasto sinistro e teniamo premuto per trascinarlo dove vogliamo. Poiché il box di selezione dovrà sempre mantenere un aspetto parallelepipedo, selezionare un angolo vuol dire selezionare anche quello equivalente allo spigolo soprastante/sottostante, e spostarlo vuol dire spostare anche gli spigoli ortogonali alla direzione di spostamento. Ripetiamo la stessa operazione premendo il tasto 1 sul pad numerico per attivare la vista frontale.

Poiché il GPS del nostro UAV ha salvato negli EXIF delle immagini le proprietà di latitudine e longitudine, il nostro modello è scalato e orientato con buona approssimazione: non è pertanto necessario agire sulla rotazione e sullo spostamento dell'area, che sono comunque gli altri due comandi che si possono usare per "piegare" le dimensioni dell'area di lavoro alle nostre necessità.

Impostata correttamente l'area di lavoro, siamo finalmente pronti per il processo di ricostruzione 3D. Attiviamo il comando da menu Processi --> Genera nuvola densa: si apre una finestra dove selezionare i parametri di calcolo.

La Qualità Generale serve per determinare quanto densa dovrà essere la nuvola di punti finale: i parametri, come per l'image matching, vanno da minima ad altissima. Si tenga presente che questo parametro è limitato dalla qualità con cui è stata prodotta la nuvola di punti sparsa, quindi quanti punti il software ha effettivamente individuato su ogni singola immagine: è impossibile pensare di ottenere una qualità altissima da un image matching di livello basso. Si può però saltare uno step, ad esempio con un image matching medio ottenere una dense cloud alta. Si tenga presente che più si alza questo parametro più aumentano esponenzialmente i tempi di calcolo. Va considerato inoltre che a detta degli stessi tecnici di Agisoft, maggiore è l'overlap tra le immagini (ovvero la porzione di fotografie che inquadra la stessa area) più lungo sarà il processo di filtraggio della profondità che è alla base della generazione della nuvola densa.

Come in precedenza, la scelta tra qualità media e qualità alta va fatta in base alla scena, ovvero quanti piccoli particolari che dunque richiedono un'analisi fine sono da ricostruire. In genere nell'aerofotogrammetria da drone non ci sono molti piccoli particolari, in quanto il rilievo è "affetto" da un GSD relativamente alto, tendenzialmente superiore al cm. Se vogliamo ricostruire la statua sulla guglia di una chiesa, potremo aumentare a qualità altissima il calcolo, ma se abbiamo volato a 50 metri di distanza ci sarà poco da fare: meglio pianificare un volo intorno alla statua a distanza ravvicinata (10 metri) e poi impostare una qualità media: il risultato sarà comunque superiore.

La seconda opzione riguarda i parametri avanzati del filtro di profondità: ne troviamo quattro, da disabilitato ad aggressivo. Non dobbiamo mai disabilitare il filtro, mentre le altre 3 opzioni agiranno sullo smussamento degli spigoli, quindi uno smussamento aggressivo tenderà ad appiattire molto le curve, uno leggero sarà più gentile. Tale impostazione va scelta in base a quanti particolari vanno ricostruiti e alla loro dimensione: per una semplice architettura, un filtro aggressivo aiuterà a ricostruire facciate non bozzate, mentre nel caso della modellazione organica (ad es. statue o decorazioni architettoniche) sarà più indicato un filtro leggero per conservare i particolari.

Infine selezioniamo anche calcola colore dei punti se non vogliamo vedere una dense cloud in B/N.

Una mesh poligonale è una "maglia" composta da vertici, spigoli e facce che materializzano delle celle poligonali. Le tipologie di mesh più usate in computer grafica sono le mesh triangolari e le mesh quadrilaterali, ovvero mesh in cui le celle sono rispettivamente di 3 lati o di 4 lati. Nello specifico tecnico ognuno di questi elementi, sia esso triangolo o quadrilatero, non è una semplice forma geometrica, ma quello che in gergo si chiama tupla, ovvero un elemento che contiene un database relazionale che associa ad ogni elemento una serie di attributi: ogni quadrato per farla breve si compone di 4 vertici, 4 spigoli e 1 faccia, e il database della tupla contiene le informazioni che spiegano come questi elementi sono connessi tra loro per formare il quadrilatero. Ogni faccia è poi individuata da un vettore che ne imposta la normale, ovvero il lato della faccia che determina cosa è dentro e cosa è fuori la mesh. Per nostra fortuna, non dobbiamo mettere in pratica questa teoria, perché un software come Photoscan nel generare la mesh si occupa già di tutte le questioni topologiche e algoritmiche per determinare la struttura dati della mesh.

Dunque, da menu Processi --> Genera maglia 3D: si aprirà la finestra con le opzioni che andiamo a vedere.

• Tipo di superficie: nel primo appuntamento abbiamo visto che la selezione è tra Arbitraria (per ricostruire modelli 3D, o solo altezze (heighfield, per modelli 2.5D, ovvero i terreni). Sceglieremo la prima.
• Dati in ingresso: sceglieremo naturalmente la nuvola densa, ovvero la nuvola che contiene più informazioni
• Conteggio facce: possiamo dire a Photoscan di discretizzare il modello risultante secondo parametri predefiniti, oppure decidere noi quanti poligoni dovrà avere il nostro modello. Naturalmente il numero di poligoni ricostruibili dipende dalla quantità di punti che il software ha processato durante la costruzione della nuvola densa. La discretizzazione può anche essere compiuta a posteriori, o con un comando apposito di Photoscan, o nei software terzi già citati
• Interpolazione (in avanzate): determina il modo nel quale il software deve trattare i "buchi": Disabilitata, i buchi rimarranno tali (saranno ricostruite le facce solo dove esistono punti nella dense cloud); con Abilitata le aree vuote verranno interpolate facendo si che ad ogni punto della cloud corrisponda un cerchio di un certo raggio, se tale cerchio interseca altri punti viene ricostruito il poligono altrimenti rimane il "buco"; con Estrapolata il software chiude tutti i buchi presenti nella cloud potremmo dire in maniera indiscriminata: questo parametro va usato con attenzione e a patto di rimuovere successivamente la geometria extra che verrà generata
• Calcola i colori dei vertici: come sopra

Scelte le nostre opzioni, premiamo su ok e lanciamo il calcolo, attendendone la fine. I tempi saranno più o meno lunghi a seconda delle performance della vostra workstation.

La maglia 3D colorata non sempre è un prodotto finale bello da vedere: evidenzia particolari indesiderati, e non mostra quelli desiderati. Per ovviare a questo problema, alla mesh poligonale è possibile associare una texture che aumenta esponenzialmente la quantità di particolari visibili su ogni faccia.

Questa operazione si porta a termine con il comando menu Processi --> Genera texture: le sue impostazioni di default sono sufficienti nella stragrande maggioranza dei casi. Una modalità di mappatura generica ben si adatta a modelli 3D, la modalità di fusione a mosaico va preferita per la generazione di ortofoto e la dimensione e il numero di texture dipendono dalla quantità di poligoni del modello (4096 o 8192 x1 sono le scelte più comuni). Se abbiamo detto al software di interpolare i buchi, selezioneremo in avanzate il riempimento buchi anche per la texture, mentre possiamo soprassedere sul filtro rimozione artefatti luminosi, in quanto questo filtro è comodo solo per set di immagini che presentano una varietà estrema di luminosità tra loro.

Va specificato che a volte la modalità di fusione a mosaico potrebbe fallire, ma va comunque sempre processata per prima in quanto rispetto alla modalità media non va a generare un mix di dettagli tra foto adiacenti, ma per ogni overlap sceglierà la fotografia più appropriata, ovvero quella che presenta il pixel collocato alla distanza minima del centro dell'immagine (cosa che si traduce in una potenziale migliore nitidezza).

Lanciamo il comando premendo ok e attendiamo la fine del calcolo.

Completata la generazione della texture, abbiamo terminato il nostro lavoro. Non ci resta che esportarlo, per renderlo disponibile in visualizzatori esterni e consegnarlo al cliente o caricarlo online.

Questa operazione è molto semplice e si attiva da menu File --> Esporta --> Esporta modello: il software vi consente di scegliere tra numerosi formati disponibili, compreso il PDF3D, o un'esportazione diretta verso tool online come Sketchfab. Il formato più comune per l'esportazione di mesh 3D con texture è sicuramente il formato OBJ, e anche qui i parametri di default si prestano ad essere sufficienti nella maggior parte delle situazioni.

Eccoci giunti al secondo appuntamento con il nostro tutorial tecnico sull'aerofotogrammetria da drone. In questi primi appuntamenti stiamo trattando il software Agisoft Photoscan.

Nella precedente puntata abbiamo visto come pianificare la missione, acquisire le informazioni metriche, scattare le immagini, elaborarle in post-produzione e abbiamo infine visto come importarle nel software. Proseguiamo ora il nostro percorso dando avvio alla pipeline di elaborazione vera e propria.

Il primo step di elaborazione è l'allineamento di immagini, ovvero quell'image matching che abbiamo descritto nel precedente appuntamento. Il programma individua una serie di feature per ogni immagine, risolvendo le equazioni di collinearità: questa operazione consente di orientare le camere nello spazio individuando i punti omologhi tra le immagini. Tali punti verranno inoltre sfruttati per accoppiare le immagini tra loro. Il risultato sarà una nuvola di punti sparsa nella quale ogni punto corrisponde alle coordinate 3D dei punti di legame individuati.

Per prima cosa importiamo le fotografie (stiamo utilizzando la versione demo che non consente il salvataggio del progetto) nel nostro progetto: questo creerà automaticamente un chunk o parte di progetto. Poiché le nostre fotografie sono state scattate da un drone, ad ogni immagine vengono associati dei dati EXIF che contengono informazioni di latitudine e longitudine. Queste informazioni vengono riconosciute dal software che infatti nello spazio modello visualizzerà una serie di punti: ad ogni punto è naturalmente associata un'immagine.

Affinché queste informazioni, oltre che presenti, siano anche visibili, dovrete verificare che sia attiva l'icona camera (indicata dalla freccia rossa), che nella versione italiana corrisponde al comando Mostra Immagini:

Prima di arrivare alla generazione definitiva del modello, è conveniente introdurre una fase intermedia di avanzamento per poi tornare indietro e proseguire più speditamente.

Andiamo in Processi --> Generazione maglia 3D. Poiché il processo sarà basato su una nuvola di punti di tipo sparso ottenuta con parametri medi, la poligonalizzazione della medesima produrrà un modello in pochi secondi ma molto piatto. Questa fase a noi serve per individuare sul modello i marker: per fare questo, il colore dei poligoni non è sufficiente, pertanto attiviamo subito dopo il comando Processi --> Genera texture. Questi comandi li spiegheremo con più puntualità nei prossimi step.

Ecco che "magicamente" vediamo apparire nello spazio modello il nostro edificio, a bassa risoluzione, ma con particolari ben evidenti, ad esempio strade, finestre e altro ancora, che potremo aver misurato e preso come riferimento. Ora ruotando il modello portiamoci nei nostri punti-marker, ad esempio gli spigoli di una finestra: facciamo clic con il tasto destro e poi sul comando Aggiungi marcatore. Nello spazio modello ora appare un punto con una bandierina blu e relativa etichetta con nome.

Attiviamo il pannello inferiore Foto e noteremo che anche accanto alle immagini sono apparse delle bandierine blu e/o bianche: le bandierine blu indicano i marker visibili in foto, quelle bianche i marker presenti in foto ma nascosti.

Ciò di cui ci accingiamo a parlare è quel settore della tecnica fotogrammetrica che si occupa della correlazione automatica delle immagini (image matching): lo sviluppo degli algoritmi per la correlazione di immagini ha visto nel Least Squares Matching (Gruen 1985) il metodo più efficace per gli algoritmi area-based, esteso poi a più immagini simultaneamente e chiamato Multi-Photo Geometrical Constraints (MPGC) Least Squares Matching (Gruen e Baltsavias 1988), poi ripreso e ulteriormente sviluppato anche per le immagini terrestri convergenti (Remondino 2008).

Tra gli algoritmi features-based il più noto è lo Scale-invariant feature transform (SIFT, Brevetto US 6,711,293) sviluppato da David Lowe nel 1999. Lo stesso software che stiamo per descrivere, ovvero Agisoft Photoscan, si basa su un principio simile al SIFT, ma utilizzando differenti algoritmi di processamento rispetto alla pipeline di SIFT (Bundler+PMVS2+CMVS).

Bisogna sottolineare come in ogni caso, la correlazione automatica delle immagini presenti ancora alcuni aspetti problematici e irrisolti come la presenza di aree monocolore o pattern geometrici, oggetti in movimento (ad es. pedoni e macchine), gli artefatti radiometrici (ad es. purple fringing e aberrazioni cromatiche), la presenza di oggetti trasparenti o a specchio o riflettenti (ad es. l'acqua), l'occlusione di alcuni punti. Tali problemi sono maggiormente evidenti nella fotogrammetria terrestre, laddove nell'aerofotogrammetria si presentano più limitati.

Abbiamo detto in precedenza che la differenza tra fotogrammetria e Computer Vision non consiste nel software usato o nel set di immagini processate, ma se il nostro progetto ha finalità di precisione metrica o meno.

Poiché la fotogrammetria è una tecnica a luce passiva, la dimensione della scena ripresa non può essere stabilita a priori, come avviene con le tecniche a luce attiva (stazione totale, laser scanner, etc.), ma viene solo approssimata.

Affinché il nostro progetto rientri nei parametri di precisione e accuratezza metrica, dobbiamo introdurre una fase di rilievo di coordinate sul campo. Perché questa fase precede l'acquisizione delle immagini? Perché tutti i punti che decideremo di usare per la correzione metrica, che siano marker a terra o spigoli notabili di un edificio, dovranno poi essere perfettamente visibili e riconoscibili nelle fotografie.

L'utilizzo di strumentazione professionale, sotto questo profilo, risulta decisivo: tanto migliore sarà la precisione strumentale, tanto migliore sarà la precisione metrica del progetto, anche al netto degli errori di posizionamento dei marker all'interno del software. Generalmente i due strumenti che conviene utilizzare sono la stazione totale e il GNSS (Global Navigation Satellite System) di tipo differenziale, lo strumento in grado di geolocalizzare un punto attraverso i satelliti. Nel primo caso, si può stimare una precisione anche entro i 5 mm, sia orizzontale che verticale, nel secondo una precisione in modalità solo rover di 1-3 cm in orizzontale, 3-5 cm in verticale, a meno che non venga usata la modalità statica, che migliora la precisione. Senza entrare troppo nel dettaglio, aggiungiamo anche che la prima tecnologia restituisce coordinate in un sistema locale, la seconda fornisce coordinate geografiche, che oltre a fornire adeguate informazioni metriche, aggiunge al progetto anche le informazioni geografiche necessarie alla generazione di una immagine di tipo GeoTIFF.

La materializzazione sul terreno dei punti da convertire in marker, anche chiamati GCP (Ground Control Point) avviene generalmente con dei semplici quadrati in B/N  o B/R a triangoli contrapposti, che individuano un punto al centro del quadrato stesso. La dimensione di queste tavole deve essere calcolata in funzione della risoluzione del sensore e della distanza del medesimo dal soggetto: tendenzialmente, riprese aerofotogrammetriche richiedono la materializzazione a terra di tavole di almeno 40 cm, se non anche 50 cm di lato.

La disposizione dei GCP attorno al modello deve perseguire un criterio di intelligenza: se sto rilevando un quadrato, disporrò 4 punti agli angoli e un paio di punti al centro. Se sto rilevando un fabbricato, disporrò una serie di punti attorno all'edificio. È importante in questa fase avere un numero sufficiente di GCP (dipendente dalla dimensione del modello) disposti randomicamente all'interno dell'intera area di rilievo, quindi come scritto non tutti in un angolo o in un lato del modello, ma in tutti gli angoli e in tutti i lati. Vedremo nella fase di correzione metrica che effetti determina una corretta disposizione dei GCP sulla precisione metrica del nostro rilievo aerofotogrammetrico.

Finalmente il nostro set di dati è pronto per l'analisi fotogrammetrica. Ai fini di questa serie di tutorial, utilizzeremo il software Agisoft Photoscan, di tipo commerciale.

Scarichiamo la versione demo dal sito: essa consente l'uso illimitato del software in tutte le sue funzionalità, tranne quelle di esportazione e salvataggio. Esiste anche la versione trial, che dura 30 giorni ma che consente la modalità full, ideale per grandi progetti che richiedono molte ore di elaborazione, in vista del potenziale acquisto del software. Ricordiamo che per l'elaborazione di progetto aerofotogrammetrici è necessario lavorare con la versione Professional.

• Agisoft Photoscan Downloads Installer

Photoscan, come ogni altro software di elaborazione, richiede un PC performante, o meglio una Workstation per funzionare al meglio: i requisiti minimi per completare correttamente progetti che possono arrivare a richiedere anche 1000 immagini sono 32-64GB di RAM, una CPU Intel almeno quad-core (la serie Kaby Lake prevede oltre 4Ghz di base di potenza), e una GPU OpenCL o CUDA compatibile, consigliata almeno una nVidia GeForce GTX 1060.