Interpretabilità nel Machine Learning: cos’è e perché è importante?

Chi sta leggendo questo articolo possiede forse già una certa familiarità con i termini “Intelligenza Artificiale” o “Machine Learning” essendo tecnologie sempre più diffuse nella vita di tutti i giorni. Tale familiarità, per i non addetti ai lavori si ferma spesso alla consapevolezza che questi algoritmi sono in grado, non senza margine d’errore, di replicare la capacità di Decision Making e di identificazione di pattern della mente umana, senza tuttavia poter sempre spiegare i vari processi e calcoli che portano ad un determinato output. Ma se vi dicessi che in realtà anche i massimi esperti di AI non sempre sono in grado di spiegare come un modello è in grado di prendere decisioni?

Is può infatti  essere perfettamente a conoscenza di come funziona un particolare modello basato su Neural Network, ma se quest’ultima è abbastanza complessa e strutturata, non è scontato essere in grado di spiegare perché il modello preferisce un output piuttosto che un altro.

Questo tema, ossia l’interpretabilità dei modelli, è stato recentemente molto discusso ed è estremamente rilevante nella comunità dell’Intelligenza Artificiale. Vi è infatti una classe di modelli, i cosiddetti “Black-box”, il cui processo di decisione interno non è di immediata interpretazione.

Cosa si intende per modelli interpretabili

Può sembrare assurdo affermare che i processi interni di un modello di Machine Learning non siano sempre interpretabili da un esperto, considerato che tale modello è un prodotto della mente umana e che si conosce perfettamente che tipo di operazioni l’algoritmo effettua al suo interno.

Mentre si costruisce un modello i data scientist hanno una elevata capacità di controllo su questo potendo scegliere le variabili da inserire, gli algoritmi di calcolo per l’errore, il numero di nodi etc. Analizzando però la il range di output fornito da alcuni algoritmi di Machine Learning si può intuire la motivazione dietro al concetto di “black box”.

Per esempio ChatGPT, il chatbot intelligente più in voga del momento, ha alla sua base una Deep Neural Network con la bellezza di 175 miliardi di parametri, un numero che rende praticamente impossibile un’analisi interpretativa da parte di un essere umano.

Occorre forse precisare che l’algoritmo che sta dietro a GPT-3.5 (il motore dietro ChatGPT) è probabilmente tra le Neural Network più complesse della storia, ma anche se i parametri fossero “solo” 1 miliardo il discorso non cambierebbe.

Una Neural Network funziona infatti accoppiando pesi e bias a dei parametri (o nodi), passandoli attraverso una funzione di attivazione per poi determinare un output ed aggiusta tali misure a seconda delle performance dell’algoritmo su un training set.

Finché il numero di nodi rimane relativamente basso, è possibile capire perché l’algoritmo ha scelto un determinato output piuttosto che un altro: ma nel momento in cui i nodi diventano milioni, se non addirittura miliardi, e la rete neurale si espande su decine e decine di layers, a quel punto diventa impossibile per una mente umana interpretare le miriadi di interazioni e di calcoli che sono avvenuti nell’algoritmo.

In altre parole, la questione di fondo di questa tematica è: se ci è impossibile determinare regole certe, bisogna fidarsi delle valutazioni della macchina?

Il problema degli algoritmi “black-box” è estremamente rilevante per diversi motivi. Ci sono casi in cui possiamo limitarci a conoscere l’input, l’output e sorvolare allegramente su tutto quello che c’è in mezzo.

Molto spesso nel business (anche se non sempre è così) quello che importa è il risultato, e che sia il più possibile preciso e coerente, mentre i vari passaggi decisionali intermedi possono essere ignorati in quanto superflui.

Se invece volessimo impiegare algoritmi complessi in ambiti diversi come il policy making o la ricerca e diagnosi medica, il discorso cambia drasticamente.

Nel primo caso, è stato notato come gli algoritmi possano prendere decisioni con intrinsechi bias razziali o di genere. Ciò non significa che un algoritmo possa essere razzista, ma che può dare conferma a dei bias cognitivi a sfondo razziale esistenti nei dati di training sottostanti e portare potenzialmente a delle discriminazioni. Ad esempio, da oltre un decennio negli Stati Uniti viene utilizzato un algoritmo chiamato COMPAS per calcolare la probabilità di recidività dei criminali, ovvero quant’è probabile che venga reiterato un certo reato. È da sottolineare che in questo caso il verdetto finale viene sempre preso da un giudice ed il modello ha solo una funzione consultiva. Tuttavia, le modalità di utilizzo di questo algoritmo sono state a dir poco discutibili. Infatti, è risultato che nella grande maggioranza dei casi la popolazione afroamericana aveva il doppio delle probabilità di essere etichettata come potenzialmente recidiva rispetto a quella bianca. Considerando che il sistema COMPAS utilizza un algoritmo Black Blox, quindi di difficile interpretazione per un umano, e che influenza delle decisioni che hanno un forte impatto sulla vita di molte persone, è abbastanza evidente come ciò sia molto problematico, soprattutto in un’ottica futura. Se infatti in un futuro neanche troppo distante volessimo utilizzare le intelligenze artificiali anche a livello di policy making, diventa di fondamentale importanza riuscire a interpretare queste black box in modo da renderle leggibili e quindi dare ulteriore legittimità a questi algoritmi.

Tecniche di interpretazione dei modelli

Ci sono principalmente due approcci al tema dell’interpretabilità delle Black Box: il primo è l’utilizzo di determinati tool che possano renderli più leggibili, il secondo è l’utilizzo di algoritmi “White Box”. Un esempio del primo approccio è SHAP (SHapley Additive exPlanations), un metodo teorico basato sulla teoria dei giochi che ha come scopo quello appunto di spiegare l’output di un modello di Machine Learning. Il primo approccio sembra essere quello più solido, anche se a volte l’interpretabilità resta comunque piuttosto limitata, mentre secondo approccio propone di utilizzare algoritmi più semplici e facilmente interpretabili, che hanno tuttavia la tendenza ad essere meno performanti in termini di accuratezza.

Non c’è una soluzione semplice e chiara a questo problema. Sicuramente può essere d’aiuto utilizzare in modo più considerato algoritmi black o white box a seconda del tipo di problema e di dati che bisogna analizzare. Ci sono molte situazioni in cui un algoritmo semplice può portare ad ottimi risultati anche se leggermente inferiori a quelli di una rete neurale estremamente complessa: in un caso del genere, si dovrebbe quantomeno considerare di sacrificare parte dell’accuratezza del modello in favore di una maggiore interpretabilità. Ci sono situazioni invece dove l’uso di un algoritmo black box è una necessità, come nella Image Analysis, ed in tal caso sarebbe buona prassi in primo luogo mantenere al minimo possibile il numero di variabili, parametri, nodi e layers, ed in secondo luogo utilizzare algoritmi esplicativi (come il sopracitato SHAP) per indagare il processo decisionale del modello.

Conclusioni

Il tema delle Black Box dei modelli di Machine Learning è molto rilevante nella comunità dell’AI e non solo: come abbiamo visto l’output dei modelli di Machine Learning influenza già la vita di molte persone, ed in futuro potrebbe avere un impatto ancora maggiore. Immaginiamo che tra una decina d’anni alcune sentenze vengano emesse autonomamente da un algoritmo ma non fossimo in grado di dargli una valida interpretazione. Se come società abbiamo intenzione di utilizzare le potenzialità delle intelligenze artificiali in campi cruciali come il decision making, la diagnosi medica e l’economia, l’interpretabilità dei modelli si rivelerà essere molto probabilmente una tematica decisiva. Anche se al momento non c’è una soluzione univoca a questo problema, con una maggiore consapevolezza della scelta dei modelli e l’utilizzo di algoritmi interpretativi di supporto si può sicuramente limitare gli effetti negativi ed avere una maggior interpretabilità dei processi decisionali sottostanti ai modelli.

A cura di Francesco Capuani, Data Scientist di Dataskills