Il sistema di avatar iCub3 completamente immersivo è stato sviluppato dai ricercatori dell’Istituto Italiano di Tecnologia affrontando le sfide poste dagli scenari del mondo reale
Nel corso degli ultimi quattro anni, il team di ricerca dell’Artificial and Mechanical Intelligence (AMI) labdell’Istituto Italiano di Tecnologia a Genova si è dedicato allo sviluppo di tecnologie avatar avanzate, il sistema iCub3, validandolo in ripetute interazioni con il mondo reale. Il sistema è stato utilizzato per consentire a un operatore umano di visitare a distanza luoghi lontani 300 km, per intrattenere il pubblico in eventi e apparizioni televisive, e per partecipare alla sfida internazionale ANA Avatar XPrize. In un articolo pubblicato oggi su Science Robotics, il gruppo di ricerca evidenzia le sfide che hanno dovuto affrontare e le soluzioni individuate per arrivare ad ottenere un sistema di avatar robotico robusto. Un approccio che ha evidenziato quanto sia cruciale nella ricerca in robotica andare oltre i confini del laboratorio e di affrontare le difficoltà del mondo reale, caratterizzato da una forte variabilità di ambienti e situazioni, così da ottenere una piattaforma robotica umanoide che possa presto far parte del sistema economico e produttivo. Il sistema iCub3 si è evoluto di recente nel nuovo robot ergoCub, progettato per massimizzare l’accettabilità negli ambienti di lavoro.
Il gruppo di ricerca dell’Artificial and Mechanical Intelligence (AMI) lab presso l’IIT a Genova è coordinato dal ricercatore Daniele Pucci e comprende circa cinquanta ricercatori. Il sistema di avatar iCub3 è composto dal robot umanoide iCub3 – una delle ultime versioni del robot iCub nato all’IIT 20 anni fa – e dalle tecnologie indossabili chiamate iFeel che monitorano i movimenti del corpo umano. Il sistema di avatar è stato progettato per facilitare la connessione fisica di un operatore umano con robot umanoidi, comprendendo aspetti come la locomozione, la manipolazione, la voce e le espressioni facciali, e con un ritorno sensoriale completo composto da vista, udito, tatto, senso del peso e del contatto. Il sistema è stato sviluppato dall’IIT in collaborazione con INAIL.
Il gruppo di ricerca dell’IIT ha testato e adattato il sistema di avatar iCub3 in tre diversi scenari reali.
Nel novembre 2021, durante il primo test, un operatore umano situato a Genova ha controllato l’avatar alla Biennale di Venezia a Venezia (a circa 300 chilometri di distanza), visitando così a distanza la mostra d’arte italiana. Le sfide affrontate dal tema riguardavano la presenza di una comunicazione internet stabile tra i due siti e la realizzazione del tutto entro un limite di tempo limitato. Inoltre, i movimenti del robot e l’interazione con l’ambiente circostante dovevano essere cauti e sicuri, data la natura delicata delle mostre d’arte. Il gruppo di Pucci ha utilizzato la tuta indossabile iFeel dell’IIT per monitorare i movimenti del corpo dell’operatore, e il sistema di avatar ha trasferito questi movimenti sul robot iCub3 a Venezia, consentendogli di replicare le azioni dell’utente a Genova. L’operatore ha esercitato un controllo preciso sulle parti del corpo del robot, compresi le dita e le palpebre. Inoltre, sono stati impiegati dispositivi tattili personalizzati per consentire all’operatore di percepire l’abbraccio di una persona presente a Venezia. La trasmissione dei dati è avvenuta tramite una connessione internet in fibra ottica standard, con soli circa cento millisecondi di ritardo.
Nel giugno 2022, il secondo test si è svolto al festival italiano di innovazione digitale, We Make Future Show, affrontando sfide aggiuntive. L’operatore a Genova ha controllato nuovamente un robot posizionato a grande distanza, a Rimini (circa 300 km). Il compito del robot consisteva nel ricevere e trasportare un pacco da una persona mentre stava percorrendo il palco del teatro di fronte a un pubblico di circa 2000 spettatori. La performance è stata condotta dal vivo e con numerose interferenze elettromagnetiche. Le soluzioni introdotte sono state: dei dispositivi tattili specializzati per consentire all’operatore di percepire il peso trasportato dal robot e il potenziamento delle abilità espressive del robot per intrattenere il pubblico.
Nel novembre 2022, l’intera architettura è stata presentata alla competizione internazionale All Nippon Airways (ANA) Avatar XPrize a Los Angeles. L’arena della gara assomigliava a un panorama preso da Marte o un altro pianeta, suggerendo l’esplorazione spaziale come una futura possibile applicazione degli avatar. Ciascun avatar era operato da individui che non facevano parte del team di ricerca e che potevano essere addestrati solo poco tempo prima della gara; inoltre, avevano solo 25 minuti per completare 10 compiti diversi. Il robot iCub3 si era trovato a dovere svolgere compiti gravosi in un tempo limitato, situazione che ha fatto spingere il robot ai suoi limiti massimi. Il team dell’IIT ha dotato le mani del robot di pelle sensorizzata per consentirgli di percepire la consistenza degli oggetti manipolati. Il controllo del robot è stato progettato per essere il più intuitivo possibile, consentendo all’operatore di avere un controllo diretto su tutte le parti del corpo e tutte le capacità del robot. Ad esempio, l’operatore poteva controllare la locomozione del robot camminando al suo posto, creando un senso più elevato di connessione fisica.
L’esperienza acquisita dal team di Daniele Pucci è stata fondamentale per trasformare il sistema di avatar iCub3 in un nuovo robot, l’ergoCub, progettato per massimizzare l’accettabilità nell’ambiente lavorativo. Il nuovo umanoide ergoCub, attualmente in fase di sviluppo all’IIT di Genova, è progettato per minimizzare il rischio fisico e la fatica nelle attività collaborative dei lavoratori in ambito industriale e sanitario.
Link to publication: “iCub3 Avatar System: Enabling Remote Fully-Immersive Embodiment of Humanoid Robots” 10.1126/scirobotics.adh3834
