RePAIR: Si conclude il progetto di ricerca per la ricomposizione di affreschi in frammenti attraverso un “robot intelligente”
Volge al termine il progetto di ricerca RePAIR”, acronimo di Reconstructing the Past: Artificial Intelligence and Robotics Meet Cultural Heritage, finanziato dall’Unione Europea, che ha inteso sperimentare la realizzazione di una infrastruttura robotica, guidata dall’intelligenza artificiale e l’uso di algoritmi per la ricomposizione di affreschi di Pompei in frammenti, come in un “puzzle”. Il prototipo è stato validato con prime prove sperimentali sul campo presso il Parco Archeologico di Pompei, dimostrando che la robotica e l’intelligenza artificiale potranno in futuro facilitare il lavoro degli archeologi.
La ricerca ha avuto per oggetto due esempi iconici di grandi affreschi del patrimonio culturale mondiale che si trovano in stato frammentario e sono conservati nei depositi del Parco Archeologico di Pompei. Si tratta degli affreschi del soffitto di ambienti della Casa dei Pittori al Lavoro nell’Insula dei Casti Amanti, danneggiati nel corso della eruzione del 79 d.C. e poi ridotti in frantumi in seguito ai bombardamenti della Seconda Guerra Mondiale e degli affreschi della Schola Armaturarum, determinati dal crollo dell’edificio nel 2010 e in parte ancora non ricollocati.
Nel primo caso sul contesto già lavoravano a partire dal 2018 un gruppo di esperti di pitture murali dell’Università di Losanna, guidato dal professor Michel E. Fuchs, con un programma di studio e di ricomposizione manuale, con cui i ricercatori del progetto RePair hanno avuto confronto.
Partito a settembre 2021, il progetto è stato coordinato dall’Università Ca’ Foscari di Venezia e ha coinvolto università e istituti di ricerca in Europa e in Italia, tra cui l’Istituto Italiano di Tecnologia (IIT) e il Parco Archeologico di Pompei sede d’eccezione e campo sperimentale di applicazione del progetto. Tra i partner stranieri la Ben-Gurion University of the Negev di Israele, l’Associacao do Instituto Superior Tecnico Para a Investigacao e Desenvolvimento del Portogallo, la Rheinische Friedrich Wilhelms Universitat di Bonn in Germania. Il progetto ha ricevuto finanziamenti dal programma di ricerca e innovazione Horizon 2020 dell’Unione Europea, nell’ambito della Grant agreement n. 964854. https://www.repairproject.eu/
“Dopo quattro anni di lavoro si è concluso il progetto europeo RePAIR, una cooperazione internazionale che ha messo insieme mondi apparentemente lontani, le più avanzate tecniche di intelligenza artificiale e la robotica, con l’archeologia e la preservazione dei beni culturali, patrimonio dell’umanità. Ha rappresentato un primo, pionieristico passo verso un traguardo ambizioso: eliminare una delle attività più laboriose e frustranti della ricerca archeologica, consentendo così di convogliare energie e competenze preziose verso attività più propriamente scientifiche e creative”— commenta Marcello Pelillo, Professore all’Università Ca’ Foscari di Venezia e coordinatore di progetto.
L’infrastruttura robotica è stata posizionata presso Casina Rustica, edificio demaniale all’interno del Parco Archeologico di Pompei, ristrutturato e rifunzionalizzato per ospitare le attrezzature tecnologiche necessarie. Mentre i team di robotica si sono occupati dellaprogettazione e realizzazione del sistema, gli esperti in intelligenza artificiale e machine learning hanno elaborato e definito gli algoritmi per la ricomposizione degli affreschi. Per potere studiare i reperti e preservarli ulteriormente, il gruppo di ricerca ha realizzato, in seguito alla digitalizzazione dei frammenti, delle repliche artificiali, in modo che il sistema robotico potesse manipolare pezzi non autentici nelle fasi di test.
“Dopo aver acquisito e digitalizzato le immagini dei singoli frammenti il sistema cerca di risolvere il “puzzle” e la soluzione trovata viene inviata alla piattaforma hardware che, utilizzando due bracci robotici dotati di “soft hand”, colloca automaticamente i frammenti nella posizione desiderata. Si tratta di un puzzle estremamente complesso, formato da centinaia o migliaia di frammenti spesso logorati o gravemente danneggiati, senza conoscere in anticipo quale dovrebbe essere il risultato finale. – Spiega il Prof. Pelillo – Manca, per così dire, l’immagine sulla scatola che possa guidare il lavoro. Inoltre, i pezzi recuperati rappresentano frequentemente solo una porzione dell’opera originaria, rendendo inevitabili ampie o numerose lacune nella ricostruzione. A complicare ulteriormente il processo, vi è la difficoltà di stabilirne l’effettiva provenienza, poiché non di rado i frammenti, pur appartenendo a opere differenti, risultano mescolati tra loro. Per affrontare questo formidabile problema abbiamo impiegato sofisticate tecniche di Intelligenza Artificiale e realizzato un’interfaccia che consente agli archeologi di dialogare con il sistema.”
“Il Futuro dell’archeologia presuppone un uso eticamente corretto dell’intelligenza artificiale. È una grande sfida – spiega il direttore del Parco Archeologico, Gabriel Zuchtriegel – affrontare la ricomposizione di una immensa mole di frammenti, come ad esempio quelli danneggiati durante i bombardamenti di Pompei nel 1943, e che dovrebbe essere possibile grazie alla forma e alla decorazione singolare di ogni elemento. Ma nessun essere umano ci riuscirebbe da solo. È qui che entra in gioco l’intelligenza artificiale, che ci aiuta ad affrontare la complessità dei materiali archeologici, e che in futuro avrà un ruolo centrale nell’archeologia, se pensiamo anche alle quantità di dati che emergono negli scavi di archeologia preventiva su cantieri in tutta Italia. Ci vogliono, tuttavia, competenze e valori condivisi per utilizzare l’intelligenza artificiale in modo scientificamente ed eticamente corretto e Pompei sta partecipando a questo sviluppo globale.”
LA PIATTAFORMA ROBOTICA E IL SISTEMA DI DIGITALIZZAZIONE
L’Istituto Italiano di Tecnologia (IIT) è stato autore del prototipo di piattaforma robotica e del sistema di digitalizzazione, con la partecipazione al progetto di quattro gruppi di ricerca che lavorano nei Centri di Genova e Venezia, guidati da Antonio Bicchi, Alessio Del Bue, Arianna Traviglia e Nikolaos Tsagarakis.
Il sistema si compone di due bracci robotici identici, collegati tra loro da un torso munito di sensori di visione, e da due mani dalla struttura cedevole e capaci di una presa delicata. Il sistema è installato su un banco da lavoro in alluminio, dotato di una guida lineare lungo cui il robot può muoversi orizzontalmente, scivolando nelle posizioni più vicine al frammento da manipolare. Le mani robotiche sono due SoftHand – mano robotiche cedevoli e facilmente adattabili a diverse forme e oggetti – presenti in due dimensioni differenti, così da potere manipolare frammenti di diversa taglia. Per gli oggetti pesanti e di grandi dimensioni, inoltre, il sistema può operare in modo bimanuale, coordinando gli spostamenti delle due mani e garantendo una presa stabile. Al fine di avere una presa stabile e delicata, che non danneggi la superfice degli affreschi, i polpastrelli delle mani robotiche sono stati dotati di cuscinetti morbidi ad alto attrito. A livello del polso, sono state integrate delle telecamere per il riconoscimento degli oggetti e la pianificazione del percorso dell’intero sistema robotico. Il sistema, inoltre, è in grado di capire se la presa degli oggetti è andata a buon fine o è fallita, riposizionandosi per ritentare immediatamente.
Al fine di aiutare gli archeologi nelle operazioni di classificazione dei reperti, che nel caso specifico degli affreschi può risultare un lavoro laborioso e lento, i ricercatori dell’IIT hanno realizzato un dispositivo portatile per la scansione 3D, in modo che la digitalizzazione possa essere eseguita sul campo in modo semplice ed economico. Il dispositivo è composto da una scatola di illuminazione, un piatto rotante, una telecamera RGB ad alta risoluzione e un sensore di scansione 3D. Grazie a tale dispositivo, il team di ricerca ha potuto acquisire l’immagine digitale di circa 2000 frammenti, raggruppati in 117 gruppi differenti, e caratterizzati da diversi decori identificati dagli archeologi, come per esempio in stucco o erosi. Oltre alla digitalizzazione 3D, il gruppo di ricerca dell’IIT ha anche realizzato un’analisi iperspettrale della pittura muraria. I dati acquisiti possono essere utilizzati per supportare gli algoritmi di Intelligenza Artificiale nella ricostruzione dei “puzzle” dei frammenti, per facilitare l’assemblaggio dei pezzi. L’approccio iperspettrale permette infatti di identificare i pigmenti utilizzati, fornendo informazioni aggiuntive e dettagliate anche su caratteristiche non più visibili a occhio nudo, contribuendo così a una migliore comprensione della decorazione originaria.
LE ATTIVITÀ DEI PARTNER
L’Università Ca’ Foscari e gli altri partner europei hanno affrontato lo sviluppo delle tecniche di intelligenza artificiale. Dopo aver acquisito e digitalizzato le immagini dei singoli frammenti, il sistema cerca di risolvere il “puzzle” e la soluzione trovata viene inviata alla piattaforma hardware che, utilizzando i due bracci robotici, colloca automaticamente i frammenti nella posizione desiderata.
Il Parco Archeologico di Pompei, oltre a essere sede e campo sperimentale di applicazione del progetto, ha contribuito con il trasferimento di know-how nell’ambito delle scienze archeologiche e del restauro e ha contestualmente realizzato un esteso dataset di immagini di affreschi, che costituisce la base di conoscenza dell’Intelligenza artificiale per il riconoscimento iconografico, elemento utile alla ricomposizione degli affreschi contenuti nei depositi del Parco.
