Search
Close this search box.

From remote tourism to metaverse, the new robotic avatar is made in Italy

Un gruppo di ricercatori IIT ha teleoperato iCub3: dai laboratori di Genova alla Mostra Internazionale di Architettura – La Biennale di Venezia.

Il team di ricercatori e ricercatrici del laboratorio Artificial and Mechanical Intelligence coordinato da Daniele Pucci dell’Istituto Italiano di Tecnologia – IIT ha testato per la prima volta l’utilizzo di una nuova versione del robot umanoide iCub come avatar fisico di un essere umano, mettendo alla prova il controllo virtuale in remoto delle sue capacità di muoversi nello spazio, manipolare oggetti, percepire stimoli e interagire verbalmente e fisicamente con persone e ambiente.

L’esperimento è stato realizzato in collaborazione con il Padiglione Italia “Comunità Resilienti” alla 17. Mostra Internazionale di Architettura – La Biennale di Venezia, promosso dalla Direzione Generale Creatività Contemporanea del Ministero della Cultura e curato dall’Architetto Alessandro Melis.

Durante l’esperimento iCub 3 visita gli spazi e ammira le opere del Padiglione Italia a Venezia, riproducendo i comandi che l’operatore gli impartisce da Genova, consentendo a quest’ultimo di essere trasportato in maniera immersiva in un’altra realtà senza muoversi dal laboratorio. Tutto questo è possibile grazie al sistema definito di tele – esistenza sviluppato da IIT che permette di sincronizzare l’utente a Genova con il proprio avatar remoto, il robot iCub 3 a Venezia, con un ritardo di comunicazione di circa 25 millisecondi e utilizzando una comune fibra ottica.

In particolare, affinché il controllo del robot sia quanto più possibile accurato, il teleoperatore indossa una tuta sensorizzata ideata e realizzata da IIT nell’ambito del progetto europeo AnDy e applicata con INAIL all’interno del progetto ergoCub. La tuta, chiamata “iFeel”, ha due obiettivi principali: da una parte tracciare il movimento corporeo dell’operatore e trasmetterlo al robot, dall’altra fornire il feedback aptico – sensazioni di tipo tattile – all’operatore che la indossa in modo che possa percepire quando e dove il robot viene toccato.

L’utente nella sede IIT di Genova cammina sul posto all’interno di una piattaforma di realtà virtuale che rileva la direzione e la velocità della camminata e gli permette di muovere liberamente la parte inferiore (gambe e piedi) e superiore del corpo (braccia e mani): la sensoristica indossabile iFeel monitora questi movimenti e li trasferisce all’avatar robotico a Venezia che muove braccia e gambe come l’utente a Genova.

Inoltre, il team IIT è responsabile dello sviluppo degli algoritmi che permettono l’integrazione di diverse tecnologie già esistenti. L’operatore infatti indossa un visore che traccia la sua mimica facciale e i movimenti della testa che vengono poi trasferiti all’avatar e riprodotti con un alto livello di precisione. Così per esempio quando l’operatore annuisce anche il robot annuisce e quando l’operatore chiude gli occhi o muove le sopracciglia, il robot replica le sue azioni facendo apparire dei led che simulano le diverse espressioni del viso –  stupita, felice o triste – per una migliore interazione con gli esseri umani.

Gli occhi di iCub 3 sono in realtà delle telecamere che acquisiscono immagini a Venezia poi trasferite al visore dell’operatore a Genova, che vede e sente quello che il robot vede e sente. Il robot, inoltre, è in grado anche di relazionarsi verbalmente con chi incontra durante la visita. La conversazione tra l’utente dal centro di IIT e la guida a Venezia, infatti, è possibile grazie a sistemi che registrano la voce dell’operatore, la trasmettono all’avatar a Venezia e, quindi, la riproducono fedelmente.

L’utente, infine, indossa guanti con sensori che tracciano i movimenti della mano e restituiscono il feedback aptico, in questo modo l’operatore può controllare le dita del robot e sentire come il robot manipola gli oggetti a Venezia.

In questo test, quindi, è la realtà virtuale che favorisce l’interazione reale in remoto. Il buon esito dell’esperimento della tele – esistenza condotto a Venezia concretizza  la strategia del team coordinato da Daniele Pucci che mira a sviluppare in futuro robot umanoidi che possano fungere da avatar degli esseri umani consentendo ad esempio di lavorare in remoto in luoghi potenzialmente pericolosi per la salute umana o particolarmente inaccessibili, ma anche di abilitare al lavoro o dare nuove prospettive di presenza a distanza a persone con disabilità e proporre un nuovo modello di fruizione del nostro immenso capitale culturale.

Vogliamo creare avatar robotici per esseri umani utilizzando robot umanoidi per favorire l’interazione con il mondo reale da remoto” – spiega Daniele Pucci, ricercatore IIT – “Utilizziamo metodi simili a quelli di accesso al metaverso per accedere a distanza ad un mondo fisico e non digitale e crediamo che questa direzione di ricerca abbia un potenziale enorme. Da un lato, emergenze come la recente pandemia, ci insegnano che i sistemi avanzati di telepresenza possono diventare necessari in poco tempo e fare la differenza in diversi campi, come la sanità e la logistica; dall’altro, immaginiamo che gli avatar umanoidi potranno consentire alle persone con disabilità di lavorare e compiere azioni nel mondo reale attraverso un corpo robotico col fine ultimo di contrastare l’emarginazione di persone con gravi disabilità confinate nel proprio domicilio”.

La dimostrazione delle tecnologie di tele – esistenza al Padiglione Italia alla 17. Mostra Internazionale di Architettura della Biennale di Venezia è stata possibile grazie alla collaborazione tra IIT e il Ministero della Cultura, che hanno voluto combinare il potenziale della tecnologia italiana nell’ambito della robotica umanoide rappresentato da iCub con l’incredibile patrimonio artistico italiano rappresentato, in questo caso, dalla Biennale di Venezia.

Così il Direttore Generale Creatività Contemporanea del Ministero della Cultura e Commissario del Padiglione Italia Onofrio Cutaia: “Abbiamo accolto con grande piacere la proposta di collaborare con l’Istituto Italiano di Tecnologia di Genova per questo progetto e ringraziamo ancora l’Arch. Alessandro Melis, curatore del Padiglione Italia alla 17. Mostra Internazionale di Architettura della Biennale di Venezia, per aver condiviso il nostro entusiasmo e aver interagito con iCub 3 in un sorprendente dialogo tra uomo e robot. Un’opportunità unica per promuovere il patrimonio culturale contemporaneo attraverso nuove forme di comunicazione. Siamo convinti che l’interdisciplinarità e l’interazione tra i linguaggi sia la vera sfida da affrontare e su questo punteremo nei prossimi anni“.

Il progetto ergoCub dove è stata usata la tuta sensorizzata per la prima volta – spiega Stefano Signorini, direttore del Dipartimento di medicina, epidemiologia, igiene del lavoro e ambientale  (Dimeila) dell’Inail – nasce dalla volontà di mettere le nuove tecnologie al servizio della prevenzione e della salute e sicurezza nei luoghi di lavoro, attraverso la realizzazione di nuovi umanoidi e tecnologie indossabili in grado di valutare, gestire, ridurre e prevenire il rischio biomeccanico dei lavoratori, analizzando allo stesso tempo gli effetti psicosociali di breve e lungo termine derivanti dall’interazione tra uomini e robot nei contesti produttivi dell’Industria 4.0” .


Per approfondimenti: https://arxiv.org/abs/2203.06972


Caratteristiche iCub 3:

  • robot umanoide, ha le fattezze di un adolescente
  • mano attuate e sensorizzate
  • pelle artificiale sulle braccia
  • faccia con led per segnalare le espressioni del volto
  • telecamere mobili al posto degli occhi
  • microfoni nelle orecchie e altoparlanti dietro la bocca
  • batteria garantisce circa un’ora di autonomia
  • altezza 1.25, peso 52kg
  • 54 gradi di libertà

 

 

Share