Hologrammes volumétriques live : coulisses techniques d’un concert XR filmé en capture 12 cams 6DoF

Les shows musicaux hybrides – mi‑scène, mi‑mondes virtuels – ont pris une dimension spectaculaire depuis que la captation volumétrique en temps réel est entrée dans les studios. Lorsque, ce printemps, le groupe électro‑pop Hiraeth a annoncé son concert XR « Live Everywhere », le défi était clair : permettre aux fans munis d’un casque VR, d’un smartphone AR ou même d’un simple navigateur de se placer où ils voulaient, à quelques centimètres des artistes ou suspendus au‑dessus de la batterie, sans jamais ressentir la moindre latence. Au cœur du dispositif : une couronne de douze caméras 6DoF haute vitesse, synchronisées au microseconde près. Voici comment la performance a pris forme, des premières répétitions à la diffusion multi‑plateformes.

Un plateau conçu autour de la volumétrie #

Le studio éphémère a été installé dans un ancien entrepôt de La Plaine‑Saint‑Denis, transformé pour l’occasion en dôme noir de quinze mètres de diamètre. Le plafond portait une treille circulaire sur laquelle étaient fixées les douze caméras 8K à obturateur global, chacune dotée d’un objectif 24 mm équivalent plein format et d’un capteur Super 35. L’ouverture constante f/2 assurait la luminosité tout en laissant assez de profondeur de champ pour ne pas perdre la netteté lors des déplacements rapides du chanteur.

Pour capter le relief, chaque caméra était doublée d’un module lidar à 120 000 points/seconde. Contrairement aux solutions purement stéréoscopiques, le lidar fournit une carte de profondeur indipensable lorsque deux membres se croisent ou lorsqu’un bras passe devant un microphone scintillant. Les data frames (RVB + profondeur) étaient capturées à 60 fps, soit un flux brut dépassant 40 Gb/s par caméra – presque 500 Gb/s pour le rig complet. L’équipe technique a dû mettre en place un réseau fibre 100 GigE redondé, reliant chaque caméra à un cluster GPU de quarante cartes RTX 6000 Ada pour exécuter en temps réel la reconstruction volumétrique.

Le pipeline de traitement : de la fusion point‑cloud au mesh animé #

Le moteur au centre de l’opération, appelé V‑Fuze, agrège la vidéo, la profondeur et les données d’inertie portées par les musiciens (petits trackers IMU fixés à la cheville et au poignet). Un premier algorithme supprime les points incohérents (bruit), tandis qu’un filtre gaussien temporel stabilise la profondeur. Ensuite, une triangulation Delaunay 3D convertit en quasi temps réel le nuage de points en un mesh animé, texturé à partir des flux RVB.

L’astuce majeure réside dans la hiérarchisation des détails : V‑Fuze tesselate plus finement le visage et les mains, zones regardées en priorité, mais garde une géométrie légère sur le torse ou la batterie. Résultat : un modèle de 2,3 millions de polygones par frame au lieu des quinze millions initiaux, sans perte visuelle significative.

Une fois le mesh généré, une compression géométrique Draco modifiée le réduit à 25 Mbit/s. C’est encore trop lourd pour un flux grand public, alors un encodeur HEVC Main10 encapsule le tout avec les textures en YUV 4:2:0 à 12 Mbit/s. Chaque spectateur ne télécharge que l’angle réellement visible (field‑of‑view adaptive streaming), ramenant le débit à 6 Mbit/s dans la plupart des cas.

Caméras et synchronisation millimétrées #

Le plus grand ennemi d’une capture multi‑caméra est la dérive d’horloge. Ici, le timecode SMPTE a été distribué par fibre à 3 ns près, puis affiné avec un signal PTP (Precision Time Protocol) pour équilibrer les différences de latence dans les convertisseurs A/D. Les douze flux étaient écrits en RAW 12‑bit sur des baies NVMe U.2 avant de passer dans la pipeline GPU. Entre la prise et l’image diffusée, l’équipe a mesuré 190 ms de délai : acceptable pour donner l’illusion du live aux spectateurs munis d’un casque VR, qui tolèrent jusqu’à 200 ms sans cybersickness.

Audio spatialisé et traitement temps réel #

La musique n’a pas été oubliée : seize micros Ambisonics de quatrième ordre dessinaient une sphère autour de la scène. Une IA de séparation de sources a isolé en temps réel voix, guitare et percussions, puis les a repositionnées en 3D afin que le rendu audio corresponde à la position choisie par le spectateur. Si le fan se téléportait près du batteur, la caisse claire gagnait instantanément 6 dB et la réverbération de la salle variait en conséquence.

Diffusion XR toutes plateformes #

Le player, développé en WebXR (pour desktop et mobile) et en OpenXR (pour casques), intègre un mode « portail » : sur smartphone, la scène se projette miniaturisée dans le salon, l’utilisateur en fait le tour à la manière d’un diorama vivant. Sur casque, le spectateur évolue à l’échelle 1 :1 et peut basculer en free‑flight grâce aux contrôleurs. Pour le marketing, l’équipe a pensé tutoriels et assets ; un manager a même proposé de créer une bannière youtube animée mettant en avant le premier single volumétrique du groupe, façon teaser loop en boucle.

Sécurité réseau et anti‑piratage #

Pour protéger les droits du groupe, chaque stream est marqué par un watermark spatialisé : un motif d’UV invisible injecté dans la texture du mesh et calé sur le timecode. S’il fuit, l’équipe peut remonter au compte fautif grâce à un hash stocké côté serveur. L’authentification passe par un jeton WebAuthn, empêchant la capture écran sans overlay watermark.

Bilan énergétique et durabilité #

Capturer en 12 cams 6DoF n’est pas neutre : le système a consommé 35 kWh pour deux heures de concert. Pour compenser, la production a signé un contrat avec Enercoop pour injecter l’équivalent en électricité verte. Les gros GPU ont été loués via un data‑center local ISO 50001, déjà refroidi par boucle d’eau de Seine. Comparé à une tournée mondiale, la balance carbone reste très favorable : pas de transport aérien pour le public, pas de semi‑remorques chargés d’équipements.

Perspectives : du 6DoF aux hologrammes laser #

Cette première mondiale ouvre la voie à des formats encore plus immersifs. L’an prochain, la société prévoit de passer à un rig 24 cams pour 120 fps, afin de supporter le slow‑motion interactif et les replays volumétriques. D’ici trois ans, la startup LightBurst veut aller plus loin : remplacer les écrans LED de scène par des matrices holographiques à laser traversant, permettant de projeter l’artiste en taille réelle au milieu d’un stade, visible sans lunettes.

Le concert XR d’Hiraeth prouve que la captation 6DoF en live n’est plus un rêve de laboratoire. Grâce à la convergence des caméras 8K, du lidar haute densité et du rendu GPU en temps réel, il est maintenant possible de téléporter un show entier dans un salon ou un casque, sans sacrifier la qualité. Les défis restent nombreux – bande passante, standardisation, coûts – mais la promesse est immense : faire tomber les murs des salles de spectacle et inviter chaque fan au cœur de l’action, où qu’il se trouve. Les ingénieurs, artistes et producteurs qui ont relevé ce pari ouvrent la voie à une nouvelle ère, où la musique live se vit non plus face à la scène, mais à l’intérieur même du spectacle.