Paolo Baldini

Mitigazione del calo di prestazioni di robot nel passaggio da simulazione a realtà tramite fine-tuning e adattamento online

Difficoltà: media

Impatto scientifico: medio-basso

La presente proposta di tesi ha l'obiettivo di affrontare il problema del degrado delle prestazioni che si verifica tipicamente nel passaggio da un ambiente simulato a un robot reale (fenomeno noto come reality gap), attraverso tecniche di fine-tuning e adattamento online. La metodologia prevede l'addestramento di una rete neurale per l'esecuzione di una missione specifica in simulazione, seguito da una fase di correzione e ottimizzazione del comportamento direttamente sul sistema reale, sulla base di una valutazione interna delle prestazioni. L'aspetto più critico del lavoro consisterà nell'identificazione di una missione in cui sia il degrado prestazionale sia il conseguente margine di recupero ottenibile tramite adattamento risultino sufficientemente significativi da consentire una validazione robusta dell'approccio proposto.

Generazione automatica di funzioni di valutazione per l'adattamento online

Difficoltà: medio-alta

Impatto scientifico: medio-alto

Questa proposta di tesi si propone di sviluppare un metodo per la generazione automatica di funzioni di valutazione (reward function) da impiegare in contesti di apprendimento online, ispirandosi ai principi dell'apprendimento per rinforzo inverso (Inverse Reinforcement Learning). L'approccio prevede l'addestramento di una rete neurale in grado di valutare lo stato percepito dal robot e, potenzialmente, le azioni da esso intraprese nell'ambiente, sulla base del feedback fornito da un sistema con conoscenza completa dello stato (oracolo). L'idea alla base del lavoro consiste nel definire un insieme di situazioni desiderabili e non desiderabili da utilizzare come riferimento per la generazione di un sistema in grado di fornire un feedback al robot in funzione del suo comportamento. Si prevede che il lavoro richieda anche una fase di raccolta dati tramite simulazioni. La difficoltà principale di questa proposta risiede nella scarsa prevedibilità delle criticità che potranno emergere nel corso dello sviluppo, motivo per cui si richiede allo studente un impegno superiore rispetto ad altri temi.

Adattamento comportamentale in sistemi multi-robot tramite comunicazione e condivisione di informazioni sulla performance collettiva

Difficoltà: medio-alta

Impatto scientifico: medio-alto

La presente proposta di tesi ha l'obiettivo di sviluppare un meccanismo di comunicazione tra i membri di un gruppo di robot, finalizzato alla condivisione di informazioni relative alla performance collettiva del sistema, al fine di consentire un adattamento comportamentale anche nei casi in cui tale performance globale non sia stimabile localmente da ciascun singolo agente. In numerosi scenari di robotica collettiva, infatti, un singolo robot dispone unicamente di una percezione parziale e locale dell'ambiente e del compito svolto, il che gli impedisce di valutare autonomamente l'efficacia complessiva della missione. La metodologia proposta prevede la progettazione di un protocollo di comunicazione che permetta ai singoli agenti di scambiarsi informazioni rilevanti (ad esempio stime locali di performance, stato percepito, azioni intraprese) al fine di ricostruire, in maniera distribuita o tramite consenso, una stima approssimata della performance globale del gruppo, da utilizzare come segnale per l'adattamento online del comportamento individuale e/o collettivo. Le principali difficoltà del lavoro risiedono nella progettazione di un meccanismo di comunicazione efficace e scalabile al variare del numero di robot, nella gestione di informazioni parziali, rumorose o eventualmente in conflitto tra loro, e nella definizione di una strategia di adattamento che sia efficace pur basandosi su una stima indiretta e distribuita della performance globale, anziché su una valutazione centralizzata o direttamente osservabile.