Fuse* Works © Digital Artworks
Fuse* Interactive © New Media for Communication
and Entertainment
Fuse* Architecture © Creating Narrative Environments
Project cover

Tutto ciò che ci circonda non è che un insieme di atomi, particelle e campi elettromagnetici in vibrazione senza alcun significato apparente. Quando questi impulsi vengono interpretati dalla nostra mente diventano colori, sapori, musica, ricordi ed emozioni; le fondamenta di ciò che ognuno di noi percepisce come realtà.

Dökk è un viaggio nell’inconscio, dove la realtà viene rappresentata da mondi ed universi che si disegnano e si dissolvono nella mente, alla costante ricerca di un equilibrio tra luce e buio.

CONCEPT
Dökk è una parola islandese che significa buio. In alcune culture l’assenza di luce può essere interpretata come una metafora della vita terrena e della percezione della realtà rappresentata come l’ombra di una luce che non si può vedere ma di cui si può solo intuire l’esistenza. Partendo da questo concetto è stata sviluppata la narrazione attraverso la creazione di dieci stanze che formano un percorso circolare in cui la fine coincide con un nuovo inizio.

Il termine stanza può assumere diversi significati: è uno spazio fisico ben definito che isola dal mondo esterno, ma può anche essere immaginata come uno spazio mentale all’interno del quale costruire la propria visione della realtà, o, in ambito letterario, una porzione di una grande poema.
Le stanze di Dökk sono il risultato dell’unione di questi significati in un’unica simbologia che accompagna l’intera narrazione. All’interno di questi luoghi della mente sono costruiti universi che evocano diverse fasi della vita.
Il palcoscenico diventa uno spazio in cui è possibile perdere la percezione dello spazio e del tempo, un luogo della mente in cui viene ricostruita la realtà come il risultato delle proprie stesse azioni ed in cui ogni gesto ha una conseguenza precisa.

MAKING OF – SET UP
La necessità di creare una profonda connessione tra performer e paesaggi digitali ha stimolato la sperimentazione in Dökk di nuove modalità di allestimento e di progettazione dello spazio performativo. Il risultato è un setup composto da una doppia proiezione incrociata frontale su uno schermo olografico ed una retroproiezione nella parte posteriore del palco. I paesaggi generati in tempo reale dal software vengono quindi mappati su due superfici di proiezione aumentando così la profondità e dinamicità delle soluzioni visive utilizzate. La schermo frontale è semitrasparente con caratteristiche tali da permettere una buona visione del contenuto digitale senza nascondere la figura della ballerina.
Le scene sono state quindi costruite sfruttando questo sistema tecnologico per raggiungere un grande livello di immersività.

setup_proiezioni_ita_orizzontale_B

TEMPO REALE
Dökk è il frutto di tre anni di lavoro mirati alla creazione di un’opera capace di stimolare un senso di profonda empatia trasmettendo due concetti fondamentali: la sincronicità e l’imprevedibilità dell’esistenza umana.
Per ottenere questo risultato è stato sviluppato un sistema capace di elaborare sul palcoscenico il risultato della stretta interazione tra diversi dati generati in tempo reale: l’analisi del suono, il movimento della performer, il suo battito cardiaco e l’analisi sentimentale dei contenuti condivisi sui social network. La combinazione di questi dati fa così in modo che ogni messa in scena assuma forme sempre diverse ed uniche perché frutto della casualità e dell’imprevedibilità delle informazioni che vengono analizzate.

SENTIMENT ANALYSIS
Ogni volta che inizia lo spettacolo viene analizzato uno stream di tweet filtrati sui trending topic di quel preciso istante. Per ogni tweet viene ricavata la composizione sentimentale attraverso un algoritmo basato sulla libreria open source sviluppata da Krcadinac U et al[1]. Accade così che mentre Dökk va in scena, se nel mondo sta accadendo un evento particolarmente rilevante, i paesaggi visivi e sonori cambiano assumendo diverse sfumature. In questo modo il pubblico è stimolato ad un coinvolgimento che va oltre lo spazio fisico all’interno del quale si svolge l’opera grazie a migliaia di connessioni invisibili con il resto del mondo. L’elemento che indica questo tipo di variazioni nelle diverse ambientazioni è il colore rosso che a sua volta rappresenta l’intensità del calore umano. Come dimostrato dallo studio Bodily maps of emotions[2], a diversi stati emotivi corrispondono determinati spettri termici delle singole parti del corpo.

I dati che ricaviamo dall’analisi sentimentale dei tweet agiscono sul “calore” delle scene modulando la tonalità del rosso in ogni singolo momento oltre ad altri dettagli grafici che modificano l’atmosfera delle singole stanze.

Senza-titolo-1

Anche l’ambientazione sonora viene influenzata da questi dati: esistono sei tracce “fantasma”, una per ogni emozione base, che vengono mixate con la colonna sonora principale. Il mixaggio di queste tracce cambia in base alla distribuzione percentuale delle emozioni analizzate da cui dipende anche la diffusione dei singoli suoni nel sistema 4.2 surround che avvolge il pubblico.

RILEVAMENTO MOVIMENTI E FREQUENZA CARDIACA
L’interazione tra la coreografia e gli elementi scenici rappresenta uno dei punti focali del progetto. L’obiettivo prefissato sin dall’inizio era quello di trasmettere un senso di unione e sincronicità tra la componente digitale e quella corporea.
Per farlo ci siamo avvalsi del Perception Neuron, un sistema di motion capture caratterizzato da diciotto accelerometri posizionati direttamente sul corpo della performer che permettono il tracking in tempo reale di ogni singolo movimento. Questi dati vengono poi incrociati con due kinect posizionati sul palco per ottenere il posizionamento in scena ed un’interazione ancora più profonda.

Screen Shot 2017-09-27 at 18.23.56

Un’altro elemento fondamentale che caratterizza questa esperienza dall’inizio alla fine è il battito cardiaco. Il cuore è il primo organo che si forma quando nasce una nuova vita ed è l’ultimo a fermarsi quando questa finisce. Allo stesso modo l’inizio e la fine di Dökk sono scanditi dal battito cardiaco reale della performer acquisito tramite il BLE heart rate sensor che trasmette informazioni tramite bluetooth ad un software ad hoc che a sua volta elabora ed invia i dati necessari tramite messaggi di rete.

COREOGRAFIA
Lo schema di lavoro corporeo è nato dalla consapevolezza dell’esistenza di alcune strutture fisse da seguire, rispettare e modificare come ad esempio il mutamento di uno specifico paesaggio digitale o l’assenza di gravità all’interno di una stanza. Fondamentale in questo percorso è stato l’ascolto della tecnologia intesa come un vero e proprio partner di lavoro. Il suono, i paesaggi digitali sono vivi e reagiscono ai movimenti proprio come farebbe un altro danzatore in scena. L’interazione portata a livelli così profondi porta a far si che il corpo rivendichi il suo spazio per diventare l’unico e vero artefice di ogni cambiamento che viene messo in atto. Si tratta di una danza che affina la percezione e più la conoscenza di questi elementi è profonda e più è possibile eluderli e sfruttarli per amplificare il gesto. Questo metodo ricerca l’essenziale, il necessario, e ha richiesto un grande rigore nella selezione e nella riduzione del movimento. Allo stesso tempo, a tratti, la danza è improvvisata, senza codice apparente, irripetibile.

dokk21_by_michal_babincak

Il lavoro di ricerca sviluppato ha permesso di immaginare nuove possibilità ed ampliare i confini del contesto espressivo e tecnologico all’interno del quale avviene la narrazione del corpo. Nella prima parte l’azione si sviluppa principalmente a terra. Proseguendo, la percezione della gravità cambia gradualmente in modo sempre più evidente diventando assente per poi ritornare a riportare al contatto con la terra. La mancanza di gravità simboleggia la perdita di una connessione con il proprio io che porta ad una totale sospensione nel vuoto. Nel momento in cui viene ritrovata questa connessione, si riscopre il suono del cuore e si ristabilisce gradualmente il contatto con il terreno che porta alla chiusura del cerchio che segna la fine dello spettacolo.
Per ottenere l’effetto di assenza graduale di gravità è stato utilizzato un sistema di contrappesi che permette ad Elena di essere sospesa nel vuoto e di muoversi a gravità ridotta. In questo modo la realtà fisica del corpo si divide, si estende, si altera.

VISUAL DESIGN
I paesaggi digitali attraverso cui si svolge la narrazione sono metafore visive disegnate nel tentativo di raffigurare la percezione della realtà nell’inconscio. Questa rappresentazione avviene sul palcoscenico, uno spazio fisico definito da confini ben precisi che, in fase di sviluppo, abbiamo sentito la necessità di dover superare per poter esprimere la vastità del pensiero. Da qui la necessità di mettere in scena l’universo come simbolo dello spirito umano.
In Dökk si alternano visualizzazioni di quello che è il nostro universo derivate da diverse sorgenti di dati, in alcuni casi frutto di osservazioni reali dello spazio, in altri ottenute da simulazioni. Ogni stanza è caratterizzata da comportamenti peculiari definiti da specifiche leggi fisiche che ne determinano l’interazione con i vari dati analizzati in tempo reale.

Nella prima parte del viaggio la visualizzazione dell’universo è stata costruita attraverso dati provenienti da studi frutto di osservazioni dello spostamento verso il rosso (in inglese redshift) mediante l’analisi dello spettro della luce emessa dai corpi celesti[3][4]. In base alla composizione del corpo celeste si riesce a trovare la differenza tra la luce misurata e quella prevista, andando a valutare lo spostamento della frequenza di alcune sue componenti per effetto Doppler. ln caso di redshift il valore trovato ci indica che il corpo celeste si sta allontanando da noi; in caso di blueshift, invece, si sta avvicinando a noi. Dal valore del redshift è possibile misurare la velocità con la quale il corpo si muove rispetto alla nostra posizione, allontanandosi o avvicinandosi alla terra. La raffigurazione dell’universo che apre lo spettacolo è stata ottenuta posizionando le particelle nei punti reali di right ascension e declination delle galassie presenti nei database, sfruttando il parametro del redshift per attribuire alle particelle una distanza rispetto al centro (cioè la terra – noi) in base alla costante di Hubble. Questa forma molto caratteristica, costituita da due settori quasi simmetrici, in realtà è frutto di un problema di osservazione dello spazio a causa del quale l’uomo può osservare solo al di fuori della distribuzione delle stelle della nostra Via Lattea che appunto crea due grossi coni d’ombra dove non abbiamo messo nessuna particella (o le pochissime visibili).

dokk01_by_enrico_maria_bertani

IL BATTITO CARDIACO E LA STELLA PULSANTE
Dall’inizio del viaggio fino all’ultima stanza, l’analisi in tempo reale della frequenza cardiaca è connessa al lampeggìo di una delle stelle che compongono l’universo visualizzato in scena. La pulsazione di questa stella rimane connessa a quella del cuore dall’inizio alla fine dello spettacolo. Questa idea è stata suggerita dalla scoperta dell’esistenza di un gruppo di stelle binarie la cui luminosità è realmente descritta da un grafico del tutto simile ad un elettrocardiogramma[5]. Il posizionamento di questa stella nella rappresentazione dell’universo in Dökk rispetta le coordinate reali di questo sistema binario.

IL GRANDE ATTRATTORE
Nella terza stanza l’universo inizia a deformarsi in una spirale che solo a prima vista sembra essere centrata sulla posizione della terra e della protagonista (al centro dei 2 settori); in realtà, la distorsione avviene attorno alla galassia 16154609-6055071 (ESO_137-_G_008) che si trova all’incirca in corrispondenza di quello che viene definito Grande Attrattore, il punto dove è stata identificata un’anomalia gravitazionale tale da deviare tutte le galassie all’interno di Laniakea, il Superammasso di cui fa parte la terra (punto rosso quadrato nei test seguenti). A causa dell’espansione dell’universo in accordo con l’Hubble Flow, i redshift delle galassie (osservate in diverse ricerche) trovano corrispondenza, ma hanno delle variazioni che dimostrano questa anomalia del Grande Attrattore, causa di una peculiar velocity.

LA RETE
Nella stanza sei la scala cambia e i filamenti che inizialmente descrivevano un universo si trasformano in assoni e dendriti attraverso una costruzione di derivazione stigmergica dove le particelle vanno a descrivere tracce che dipendono dai percorsi compiuti da altre particelle. Il risultato è una struttura cui parametri vengono modificati dai gesti, i quali, a loro volta, diventano tracce stigmergiche all’interno di un network.

 

room8_test002

Nella stanza sette le connessioni si stringono intorno ad una sfera che avvolge la performer. La rotazione di tutto ciò che la circonda segue i suoi movimenti che vanno simultaneamente a controllare e modificare la musica.

EVOLUZIONE ED AGGREGAZIONE DELLE GALASSIE
Dalla stanza otto il paesaggio torna gradualmente ad essere visualizzato come un universo che, però non è più frutto di una corrispondenza con le osservazioni del redshift ma, bensì, diventa una accurata rappresentazione dell’universo che ci circonda.
La simulazione dalla quale si è partiti per il posizionamento delle particelle è quella intitolata “EAGLE” (Evolution and Assembly of GaLaxies and their Environments)[6][7][8] del Virgo Consortium. I dati rappresentano vari stati dell’evoluzione dell’universo partendo da un tempo zero nel quale l’universo era completamente uniforme, fino all’attuale età dell’universo nella quale si vedono e riconoscono filamenti, vuoti e galassie del tutto simili a quelli che possiamo osservare. L’incredibile corrispondenza tra osservato e reale è la conferma dell’esattezza delle più recenti scoperte scientifiche.

eagle_simulation_01

dokk08_by_enrico_maria_bertani

Nella stanza dieci, che chiude lo spettacolo, è stato sfruttato lo stesso motore di simulazione di EAGLE ma applicato ad un invisibile sistema di particelle che vanno ad influenzare un campo gravitazionale.
La simulazione che è stata realizzata attraverso il software di calcolo GADGET-2 ha lavorato sui server fuse* per quasi una settimana generando cinquecento “fotografie” degli stati della materia di un universo uniforme formato da 276498 particelle. Questi elementi rappresentano il contributo alla formazione di un campo vettoriale di velocità, risultato finale del nostro studio rappresentato da un cubo di lato 100 milioni di anni luce. Sfruttando questo campo è stato possibile far muovere le particelle precedentemente in scena per generare un vortice intorno alla protagonista come a voler tracciare l’evoluzione della Laniakea.

SOUND DESIGN
Le musiche di Dökk sono state pensate per essere la voce narrante che accompagna tutto lo spettacolo permettendo di raccontare, attraverso il suono, una serie di emozioni e stati d’animo che difficilmente possono essere descritti a parole. Secondo la teoria della sincronicità, il caso, inteso come sequenza di eventi non-lineari, non esiste, ma al contrario può dare un senso che aiuta a definire una direzione agli eventi. Anche l’approccio alla produzione di Dökk, e in particolare della colonna sonora, è stata influenzata da un approccio non-lineare, registrando ed editando all’interno delle composizioni sequenze musicali generative in grado di creare eventi sonori unici e successioni casuali di note e rumori. Un contributo importante per la direzione creativa del suono e della struttura di alcuni brani è stata la possibilità di partecipare e registrare presso il Centro Armonico Terapeutico di Campogalliano una sessione di espressività musicale con bambini e ragazzi con abilità speciali e una età mentale pre-scolare. Partire da queste registrazioni è stata la base di partenza per creare le sonorità delle prime stanze che rappresentano l’infanzia e la meraviglia della scoperta.

DSCF2633

Durante la produzione e l’editing dei suoni, sono stati usati diversi strumenti e processi di sintesi audio, dall’utilizzo di synth semimodulari, a tecniche di sound-design e field recording, fino alla programmazione audio con l’utilizzo di Max MSP (ambiente di sviluppo grafico), creando catene di effetti per l’elaborazione del suono e patches di sintesi audio in tempo reale per le parti interattive dello spettacolo. Una di queste patch utilizza un sistema che comprende quattro moduli di sintesi granulare, dove ogni parametro è controllato dalla posizione nello spazio dei sensori di perception Neuron, presenti nelle mani e nei piedi della performer. Ogni spostamento permette di esplorare e manipolare diversi campioni audio ricavati da registrazioni ambientali, innescando piccoli frammenti sonori definiti grani che hanno volumi, dimensioni e frequenze differenti.
Le musiche di Dökk sono state pensate, composte e mixate per essere diffuse attraverso un sistema surround 4.2 in modo tale da poter avvolgere il pubblico e creare un’esperienza multisensoriale il più immersiva possibile.

Le musiche originali di Dökk sono disponibili in doppio vinile 12″ gatefold su BANDCAMP.
I formati digitali sono disponibili anche su iTunes, Spotify, Deezer, Tidal, Amazon e Pandora.

“In ancient cultures, dance has represented a major instrument for contact, dialogue, knowledge of the sacred”Creative Applications
“Those who seek the true origins of dance would tell that it was born at the same time as the Universe” — Digicult
“It’s difficult to summarize such a massive piece”Cycling ’74
“Una sinestesia inattesa per 60 minuti di pura evasione cognitiva”Exibart

Awards: Digital Design Awards – Sound Design

Produzione: fuse*
Direzione Artistica, Produzione Esecutiva: Mattia Carretti, Luca Camellini
Concept: Mattia Carretti
Composizione Coreografica, Performer: Elena Annovi
Supervisione Software: Luca Camellini
Software: Paolo Bonacini, Matteo Mestucci, Samuel Pietri
Sound Design: Riccardo Bazzoni
Hardware Engineering: Matteo Mestucci
Direttore di Produzione: Filippo Aldovini
Supporto allo sviluppo del Concept: Giulia Caselli
Consulente Scientifico: Margherita Carretti
Collaboratori: Mark van de Korput, Clizia Welker, Enrico Viola
Disegno luci: Marcello Marchi
Video Report: Matteo Torsani
Photo Report: Enrico Maria Bertani, Emmanuele Coltellacci

Dökk è sviluppato su piattaforma openFrameworks e utilizza il sistema MOCAP Perception Neuron di NOITOM.
Si ringrazia il Virgo Consortium per aver reso disponibili i dati della simulazione EAGLE ed il CAT Centro Armonico Terapeutico per averci permesso di registrare una sessione di espressività musicale con i ragazzi del gruppo Spazio Me.
In collaborazione con La Corte Ospitale – Progetto residenziale 2016.

Un ringraziamento speciale alle famiglie, gli amici e tutti i colleghi in FUSE*FACTORY per il loro supporto.

Prossime date:

Archivio date:

Scheda Tecnica / Booking Information: info@fuseworks.it

RIFERIMENTI
[1] Krcadinac, Uros, et al. “Synesketch: An open source library for sentence-based emotion recognition.” IEEE Transactions on Affective Computing 4.3 (2013): 312-325.
[2] Nummenmaa, Lauri, et al. “Bodily maps of emotions.” Proceedings of the National Academy of Sciences 111.2 (2014): 646-651.
[3] Huchra, John P., et al. “The 2MASS Redshift Survey—description and data release.” The Astrophysical Journal Supplement Series 199.2 (2012): 26.
[4] Colless, Matthew. “The 2df galaxy redshift survey.” Looking Deep in the Southern Sky. Springer, Berlin, Heidelberg, 1999. 9-15.
[5] http://chandra.harvard.edu/photo/2011/g1915/
[6] Crain, Robert A., et al. “The EAGLE simulations of galaxy formation: calibration of subgrid physics and model variations.” Monthly Notices of the Royal Astronomical Society 450.2 (2015): 1937-1961.
[7] Furlong, M., et al. “Evolution of galaxy stellar masses and star formation rates in the EAGLE simulations.” Monthly Notices of the Royal Astronomical Society 450.4 (2015): 4486-4504.
[8] McAlpine, Stuart, et al. “The EAGLE simulations of galaxy formation: public release of halo and galaxy catalogues.” Astronomy and Computing 15 (2016): 72-89.

RELATED PROJECTS: