L’algoritmo che fa suonare le opere d’arte

Arriva dall’Università degli Studi dell’Insubria di Varese RISMapp, un’applicazione in grado di tradurre (per così dire) i colori, le pennellate e le geometrie di un artista in note musicali. Alle spalle di questa progettualità innovativa, un team di matematici impegnati in una sperimentazione che, in futuro, potrebbe avere sviluppi anche in altri ambiti

Una suggestione casuale: quella di un musicista che, davanti ad un’opera d’arte raffigurativa, si chiede che tipo di musica potrebbero suggerire quei segni e quei colori impressi sulla tela. Ma anche senza essere artisti, a chi non è capitato, davanti alle tinte piene delle geometrie di un Kandiskij o alle pennellate soffuse di un Monet, di immaginare quale fosse la musica che meglio interpretasse quell’opera? Da qui è nata l’idea di provare a dare una risposta suggestiva ma non casuale, che utilizzasse strumenti e modelli matematici in grado di restituire una risposta. Il prodotto finale si è concretizzato grazie all’impegno di alcuni matematici ed ha portato a una “prototipazione” tutta made in Varese, con il coinvolgimento della Fondazione Morandini e delle sue opere e alla creazione di un’app gratuita e scaricabile per IOS e Android denominata RISMapp, sviluppata appunto attraverso la Rism (Riemann International School of Mathematics) dell’Università degli Studi dell’Insubria di Varese. Gli sviluppi potrebbero essere anche altri, visto l’interesse che la sperimentazione sta riscuotendo a livello imprenditoriale e da parte di gallerie d’arte e musei. 

Tutto parte da codici e algoritmi

Nella pratica, semplificando al massimo, il risultato è che i quadri possono suonare. Ovvero ciascun quadro può essere accostato a un determinato brano musicale con una approssimazione molto alta grazie a un indicatore di “similarità” che può assumere, appunto, valori percentuali molto elevati. La prototipazione è avvenuta partendo dalle opere di Marcello Morandini, che con la sua arte concreta fatta di forme geometriche in bianco e nero ha rappresentato un modello ideale per poter cominciare questo tipo di lavoro. Nello specifico caso di studio si sono riscontrati elementi di coincidenza inaspettati, in grado di unire forme di arte e periodi storici molto diversi. Dalle prime prove è emerso, infatti, che alcune opere di Morandini hanno un grado di somiglianza di oltre il 70% con Mozart, altre con le musiche di Morricone e quelle di George Gershwin. Per il visitatore dell’esposizione la fruizione è molto semplice: scaricando l’app e inquadrando il QR Code esposto vicino all’opera, sarà possibile ascoltare le note del brano individuato come più similare all’opera stessa. Non solo, il contenuto in comune tra immagine e musica produce esso stesso una musica che RISMapp ci fa ascoltare. Ma facciamo un passo indietro per capire come ciò possa accadere. Tutto parte dalla creazione di due codici, uno che deriva dall’opera d’arte e uno dalla musica. “Nel primo caso – racconta Daniele Cassani, docente dell’Università dell’Insubria e Direttore della Rism – si è studiato un algoritmo che digitalizza attraverso un campionamento sull’opera d’arte. Allo stesso tempo è stato eseguito un secondo campionamento su un determinato registro musicale, su una compilation di brani scelti tra generi differenti, dalla musica classica al jazz, tutti, per il momento, non coperti da diritto d’autore che sono stati a loro volta codificati e digitalizzati. Il risultato finale sono due diversi insiemi di codici, quelli generati dai quadri e quelli dei brani musicali”. Dal confronto dei codici è possibile poi andare a chiedere all’app di selezionare, per ciascuna opera, il brano musicale il cui codice sia il più possibile similare all’opera stessa. Nelle diverse fasi del lavoro il professor Cassani non era solo, con lui ci sono stati fin dall’inizio due colleghi esperti di matematica applicata, Alfio Quarteroni del Politecnico di Milano e Paola Gervasio dell’Università di Brescia. 

Sviluppi e nuove suggestioni 

“Da quando abbiamo presentato pubblicamente il progetto – dice ancora Cassani – abbiamo riscontrato grande interesse da parte di diversi soggetti e indubbiamente si tratta di una sperimentazione che è ancora solo all’inizio e che può aprire nuove strade”. Si potrebbe pensare ad un ulteriore sviluppo che permetta al visitatore di “indagare” la somiglianza dell’opera che sta osservando rispetto ad un preferito registro musicale, che sia musica classica oppure pop o jazz, permettendo così una fruizione personalizzata rispetto ai gusti di ciascuno. Grazie a questa app, l’esperienza di fruizione viene decisamente ampliata e potrebbe portare anche un effetto per così dire “collaterale” per le persone non vedenti, che avrebbero modo di ascoltare la melodia suggerita da un determinato quadro. Sempre a proposito di sviluppi possibili, c’è anche da ragionare sulla reversibilità di questo procedimento. “Grazie all’algoritmo – spiega ancora Cassani – è anche possibile sovrapporre una nuova melodia frutto della prima e ottenuta dal rimando del quadro stesso, una sorta di gioco infinito di rimandi tra le diverse codificazioni”. Insomma, il costante dialogo tra arte raffigurativa, musica e matematica, fin dall’antichità riconosciute come discipline fortemente affini, trova in questa sperimentazione una nuova forma che utilizza le tecnologie digitali per mettere al centro la scoperta e la fruizione del bello in tutte le sue forme.