Cerchiamo di spiegare, anche attraverso esempi pratici, in cosa consiste il Reinforcement Learning. Un particolare metodo di apprendimento automatico focalizzato all’obiettivo che, facendo leva sull’Intelligenza Artificiale, porta il Machine Learning a un livello superiore

Nel Machine Learning “tradizionale”, alla macchina vengono forniti due tipi di dati. Da un lato abbiamo i dati già “etichettati” (il cosiddetto apprendimento supervisionato), da cui vengono estratte le regole per “riconoscere” informazioni simili. Dall’altro i dati “grezzi” (apprendimento non supervisionato), da cui si possono ricavare le caratteristiche in comune per procedere poi a un raggruppamento più ordinato.

In entrambi i casi, però, la macchina impara solo ed esclusivamente dai dati che le vengono sottoposti.

Nel Reinforcement Learning, al contrario, la macchina impara attraverso l’interazione con l’ambiente, secondo il modello per prove ed errori. Non riceve istruzioni su come muoversi, dunque, ma è costretta a trovare da sé le mosse che, a seconda del contesto in cui opera, portano all’ottenimento della massima ricompensa possibile. Il Reinforcement Learning, in poche parole, sposta l’attenzione della programmazione dell’Intelligenza Artificiale dalle istruzioni all’obiettivo.

Reinforcement Learning, apprendere grazie a un rinforzo

Ma come è possibile apprendere senza alcun tipo di supervisione esterna, una mappatura precisa dell’ambiente, un elenco di istruzioni che comprenda tutte le circostanze probabili?

Attraverso un rinforzo (da qui il termine “apprendimento per rinforzo”), ovvero un segnale numerico di ricompensa che si attiva nel momento in cui l’obiettivo è stato raggiunto.

Il rinforzo viene inserito nell’algoritmo di addestramento senza istruzioni dirette, ma solo dopo una serie ripetuta di interazioni con l’ambiente esterno. Una catena di azioni e ricompense, dove le azioni influenzano non solo la ricompensa immediata, ma anche le azioni e le ricompense successive. Non a caso, il Reinforcement Learning viene applicato sulle reti neurali artificiali, capaci di memorizzare le esperienze e migliorare l’esecuzione del compito (Deep Reinforcement Learning).

Come funziona il processo del Reinforcement Learning

Interessante notare come, anche nell’ambito dell’Intelligenza Artificiale, si ricorra ad assunti cari a materie di studio lontane, ma comunque di costante ispirazione ed esempio. Il concetto di “rinforzo” è infatti storicamente legato al comportamentismo, un approccio psicologico nato ai primi del 1900 che considera il comportamento come il risultato di stimoli e condizionamenti ambientali (tramite un sistema, per l’appunto, di ricompensa/punizione).

Il comportamentismo riteneva che, proprio attraverso la gestione degli stimoli ambientali, fosse possibile prevedere e controllare il comportamento umano. Si tratta di concetti che, dopo tanti anni, ritornano nell’Intelligenza Artificiale proprio con il Reinforcement Learning e lo sviluppo delle reti neurali artificiali. Il Reinforcement Learning si basa infatti sulla massimizzazione delle ricompense per obiettivi specifici: invece di istruzioni lunghe e verbose, l’agente di apprendimento viene preparato con rinforzi, positivi o negativi, attraverso un sistema di ricompense e penalità.

I campi di applicazione del Reinforcement Learning

L’apprendimento per rinforzo viene impiegato in tutte quelle situazioni in cui si renda necessario raggiungere un obiettivo in un ambiente incerto, quando cioè non è possibile prevedere tutte le variabili. È inoltre utile nel caso in cui non ci sia un unico modo per eseguire un compito, ma occorra osservare delle regole (per esempio, la guida autonoma con il codice stradale). La cosa fondamentale per finalizzare il risultato è che ci sia un alto numero di interazioni tra agente e ambiente.

Vediamo alcuni esempi di Reinforcement Learning che sono già realtà in diversi settori.

Gaming – Uno degli esempi più famosi è AlphaGo, il software per il gioco cinese del Go realizzato da DeepMind, la controllata di Google sull’Intelligenza Artificiale. L’obiettivo – raggiunto dopo un addestramento tramite apprendimento supervisionato prima e con rinforzo poi – è strabiliante: nel 2016 AlphaGo ha battuto per 4 a 1 uno dei migliori giocatori al mondo, il sudcoreano Lee Sedol.

Guida autonoma – Il Reinforcement Learning viene utilizzato per addestrare gli ADAS – Advanced Driver Assistance Systems, i sistemi avanzati di assistenza alla guida. Le azioni di guida autonoma realizzate sono il parcheggio automatico, il cambio corsia, il sorpasso e il cruise control automatico.

Trading e finanza – Gli algoritmi di Reinforcement Learning sono preziosi consulenti nell’ambito delle scelte di investimento di capitali e possono essere messi in campo per sfruttare il momento migliore in cui agire sul mercato azionario.

Robotica – Il Reinforcement Learning può essere usato per l’addestramento dei robot nei diversi compiti assegnati. Particolarmente diffusa è in tal senso una variante dell’algoritmo QLearning, il QT-Opt.