Extended Reality alza il livello

“Extended reality” porta a un altro livello il più familiare concetto della realtà aumentata per offrire interessantissimi vantaggi e possibilità, in particolare per le applicazioni in trasmissioni in diretta – che siano tramite internet o sulle più convenzionali emittenti televisive. Alla fine di maggio è stato condotto un webinar – parte della serie LiveLab prodotto da Mo-Sys – durante il quale i tecnici coinvolti hanno relazionato le loro esperienze e hanno risposto a domande relative all’allestimento di un tale sistema.

Il lavoro di creare ambienti o scenografie virtuali e integrarli in produzioni in diretta si basa tradizionalmente sull’utilizzo di green screen e chroma key. Questa pratica presenta ovviamente delle problematiche molto importanti, tra cui i limitati movimenti e inquadrature delle macchine di ripresa a causa dei limiti fisici del green screen, oltre alle difficoltà dei soggetti umani nelle riprese che devono interagire con elementi virtuali senza il beneficio di alcun feedback visivo nel mondo reale.
Ci sono stati enormi salti in avanti degli ultimi anni in termini della potenza dei media server e la conseguente capacità di rendere realtà virtuali in tempo reale tramite software aggiuntivo, per esempio Notch, o con macchine indipendenti dedicate al rendering in tempo reale, come i sistemi Unity o Unreal. Questi si possono ora combinare con i più avanzati sistemi di tracking per telecamere, con output live dai media server ai display LED ad elevata risoluzione per creare scene video visibili in realtà nello studio, ma che si integrano perfettamente con ambienti virtuali più estesi.

da sx: Fabio Bompani, Nicholas di Fonzo, Paolo Poletti, Tazio Simoncioni.

Sfruttando il periodo di lockdown, l’azienda di Assago Netick Group ha collaborato con i costruttori britannici Mo-Sys e Disguise – oltre ad Aries Film e M2L lighting design – per creare il primo sistema di questo tipo in Italia, ora proposto come Nevo xR Stage. Questo sistema combina media server Disguise gx2c – sia come play-out per i display a LED sia come piattaforma per un ambiente virtuale creato in Notch – con il sistema StarTracker di Mo-Sys per il coordinamento dei movimenti della telecamera con l’ambiente virtuale.
Il progetto è stato ideato e coordinato da Tazio Simoncioni, direttore tecnico per Netick, e la programmazione del sistema Disguise è stata realizzata da Nicholas Di Fonzo, specialista media server, produzione e sistemi di controllo Disguise. Gli ambienti virtuali sono stati creati dal Notch artist Fabio Bompani. A gestire le riprese e il sistema Mo-Sys è stato Paolo Poletti.
Presso la sede operativa di Netick è stato allestito un “palco”  a LED e tutta la matrice di punti di tracking necessaria per il sistema StarTracker. Il palco è composto di pannelli LED con passo da 2,6 mm, configurati con un LED floor 4 m × 4 m e due display 4 m × 3 m che convergono in un angolo per formare la metà di un parallelepipedo.

Tutto il soffitto del locale è stato coperto con una matrice regolare di “Stars”, ovvero adesivi riflettenti che servono come punti di riferimento utilizzati dall’unità sensore accoppiata alla telecamera (in questo caso una Panasonic PX800 con obbiettivo Canon, montata su un jimmy jib). L’unità sensore illumina le “stelle” e rileva informazioni sulla posizione nello spazio tridimensionale basato sulle riflessioni dagli adesivi, inviando quest’informazione all’unità di elaborazione Mo-Sys, insieme alle impostazione di zoom e focus dell’obiettivo. Dall’unità d’elaborazione queste informazioni vengono poi codificate e mandate al Disguise. Il media server utilizza questi dati per manipolare l’ambiente virtuale secondo la posizione, la rotazione, l’inclinazione, l’inquadratura e la messa a fuoco della camera. È anche possibile monitorare il segnale HDMI pre-elaborazione direttamente da questo punto nella catena, e sono ovviamente disponibili tutte le possibilità di visualizzazione della workstation Disguise. L’intero sistema utilizza sincronizzazione standard GenLock.

Le "Stars" di riferimento per il sistema StarTracker Mo-Sys

Dal media server viene mandata e riprodotta sui tre display LED del palco la sezione che corrisponde all’ambiente virtuale creato in Notch, così le persone che si muovono sul palco percepiscono in tempo reale gli elementi virtuali che li circondano e sono perciò in grado di interagire con questi in modo naturale. Ovviamente, il monitoraggio fuori “scena” con il segnale video finale in uscita può fornire ulteriori cue visive alle persone riprese. Elementi scenografici virtuali possono inoltre essere posizionati in prospettiva per interagire in profondità con oggetti o persone reali davanti la telecamera: in breve, le persone possono girare intorno a oggetti virtuali passando davanti o dietro di questi.
Una precisa calibrazione è necessaria in preproduzione per coordinare i contributi riprodotti sui display con quelli generati virtualmente in termini di allineamento e di cromaticità, ma una volta fatto questo, grazie in parte al fatto che il sistema Mo-Sys utilizza un posizionamento assoluto, il sistema è poi pronto a funzionare ripetutamente anche dopo essere stato spento e riacceso.

Il progetto Nevo xR Stage di Netick Group viene proposto per l’uso in convegni, pubblicità o riunioni virtuali tramite internet, produzioni in streaming o trasmissioni televisive, insieme a una varietà di ambienti virtuali. Nella sua prima implementazione soggetto del webinar, Di Fonzo riporta una latenza di soli 11 frame dalla ripresa all’output di realtà estesa. Evidenti vantaggi rispetto a sistemi con il green screen sono la possibilità delle persone nelle riprese di indossare qualsiasi colore, occhiali o altri oggetti riflettenti senza il riflesso di verde o di involontaria sparizione o trasparenza di oggetti nelle riprese. Infatti le illuminazioni e le ombre sulle persone riprese sono naturali, mentre i riflessi dei display a LED sugli oggetti confermano la scenografia virtuale.
È facile, invece, immaginare ulteriori modi di massimizzare le possibilità di un sistema simile sfruttando ulteriori capacità del media server.

La compatibilità di Disguise con diversi protocolli di tracking (BlackTrax ecc) non solo faciliterebbe l’interazione con il virtuale, ma consentirebbe anche inquadrature soggettive con camere virtuali per fornire alternanze dal punto di vista delle persone in scena, oppure l’inseguimento di oggetti dotati di beacon con elementi di realtà aumentata. In più, il “xR Toolkit” Disguise supporta telecamere reali multiple. Le possibilità sono veramente tante per le produzioni video in diretta o registrate, dalla produzione cinematografica, agli eventi corporate, all’istruzione, ma si possono anche immaginare animazioni e contenuti inaspettati sugli schermi I-Mag nei grandi concerti.  

contatti: Netick Group, Mo-Sys, RM Multimedia (distributore Disguise)