Le Live vidéo 360 a longtemps été un terrain d’expérimentations sur lequel les studios les plus téméraires sur le plan technique, comme RIG DV mobile, se sont fait les dents. Dès 2015, ce studio VR se plongea, par exemple, dans plus de six mois de Recherche & Développement en compagnie de l’éditeur logiciel Videostitch en vue de réaliser une captation Live multicaméras pour la marque Red Bull.
David Lafin, superviseur VR chez RIG DV Mobile, se souvient : « Tout était à inventer ou presque à l’époque, du logiciel de stitching automatique, qui était encore l’ancêtre de Vahana, à la régie virtuelle que nous avions conçue spécialement pour l’occasion, en passant par le player VR pour iPhone fait maison ». Même les masques Oculus Rift de l’époque étaient encore des prototypes…
La particularité de la vidéo Live 360 est aussi d’avoir été très tôt un fort véhicule de communication événementielle en renforçant par l’immersion l’effet « waouh » déjà impressionnant des images émanant des « action cams ».
Ainsi, RIG DV mobile, toujours lui, cite volontiers l’opération « Park Tour » conçue pour la division Sosh d’Orange durant l’été 2015. Cette compétition itinérante permettait aux skateurs de réaliser des figures sur une rampe installée de manière éphémère. Sitôt leur exploit sportif fini, les skateurs qui disposaient tous d’une puce NFC accrochée à leur poignet pouvaient récupérer une minute de vidéo 360° de leurs figures et partager immédiatement cette vidéo sur leur profil Facebook. Cet événementiel a remporté un joli succès et montre que la récente histoire de la production Live 360° s’écrit en réelle synchronicité avec les avancées technologiques du numérique, notamment des GAFA comme YouTube ou Facebook.
La vague des caméras 360 Facebook Live compatibles
Ces derniers mois l’avènement de Facebook Live, y compris en 360°, a d’ailleurs incité de nombreuses sociétés asiatiques, en particulier chinoises, à proposer des caméras et outils de production grand public destinés à stimuler la production de contenus vidéo Live 360° pour ce réseau social.
Aujourd’hui, pour faire du Live 360 sur Facebook, plusieurs outils techniques sont d’ores et déjà disponibles. Une caméra grand public du type Ricoh Theta S peut, par exemple, être interfacée avec une application téléchargeable sur le site Ricoh et offrir la possibilité de faire du Live streaming. Cependant, il est peut-être judicieux d’attendre la prochaine version de caméra Theta du fabricant japonais, car dans la prochaine mouture de sa caméra 360, Ricoh envisage le streaming Live en 4K à 30 i/s et la prise de son ambisonic.
Samsung de son côté a pris les devants en sortant récemment une version 2 de sa petite caméra grand public, distillant des images 4K (4096 x 2048 pixels à 24 fps) que l’on peut directement streamer sur YouTube et Facebook à l’aide de l’application mobile. En outre, Samsung a eu la bonne idée de repenser le positionnement des boutons permettant l’interaction avec la caméra. Quelle que soit la solution utilisée, ce genre de caméra grand public nécessite des conditions de lumière exceptionnellement bonnes pour avoir une chance d’obtenir des vidéos 4K d’une qualité confortable à regarder… même sur le web.
Dans ce registre des outils de prises de vues destinés en priorité au streaming Live sur les réseaux sociaux, vous pouvez aussi adopter un rig utilisant des caméras de la galaxie GoPro. L’offre s’étoffe dans ce domaine entre le très peu coûteux Freedom360 Broadcaster qui s’appuie basiquement sur l’angle d’ouverture à 120° de six GoPro du marché. Le Freedom360 Broadcaster n’offre pas une synchronisation des caméras au tournage comme le rig Omni de GoPro, en revanche il donne la possibilité d’accéder facilement aux connectiques HDMI de chacune des caméras. Et chacun sait que la vie d’un tournage 360° en Live à l’aide de rig GoPro n’est pas un long fleuve tranquille…
D’autres rigs, comme la série d’Entaniya, ajoutent des optiques fisheye performantes aux caméras GoPro ou à des boîtiers BlackMagic en proposant des angles de vues de 190° et de ce fait la possibilité de limiter le nombre de caméras sur un rig à quatre, voire deux dans certains cas. Notons enfin que l’ensemble de ces dispositifs pourra s’interfacer en HDMI avec des outils de stitching temps réel, comme Vahana de Videostitch ou Sphere de TerraDek.
Caméras 360° intégrées : le chaînon manquant
En fait, les vraies nouveautés de 2017 en matière d’outils dédiés au Live video 360° sont à regarder du côté de l’apparition successive sur le marché de caméras VR parfaitement intégrées, distillant des images de qualité semi-professionnelle, voire professionnelle.
À commencer par l’Orah 4i qui, après bien des mois d’attente, est enfin sur le marché depuis le printemps 2017. Elle fait office de figure de proue dans son rôle de chaînon manquant entre des caméras haut de gamme professionnelles (comme la Nokia Ozo) et les caméras 360° grand public.
Vendue un peu plus de 3 000 euros, l’Orah 4i avec son boîtier de stitching temps réel intégré est la principale solution abordable pour une petite société de production qui souhaite s’essayer au Live vidéo 360°. En outre, les signaux qui s’extraient de l’Orah 4i peuvent être monitorés en ligne à l’aide d’un simple navigateur Internet. D’ailleurs, plusieurs studios VR français comme Red Eyes, spécialisé dans les Live VR sont en train de déployer l’usage de l’Orah 4i au sein de leur offre.
Reste que la caméra développée par Videostitch, à peine arrivée sur le marché, a déjà des rivales sur son segment de marché. Depuis le NAB 2017, plusieurs autres sont venues comme la ZCam S1, la Panasonic AW-360C10, l’IndieCam ou l’Insta360 qui proposent la captation des vidéos a minima en 4K de qualité au format équirectangulaire, voire en 6K pour la Z Cam S1 et en 8K pour l’Insta360° Pro.
Ces caméras sont aussi généralement raccordées ou raccordables à un module de stitching temps réel séparé dédié au Live. Elles sont principalement destinées à une utilisation lors de la diffusion en direct de manifestations sportives, de concerts ou d’événements dans des stades… Concernant la Panasonic, on note en outre que cette caméra dispose d’un logiciel de pilotage à distance particulièrement évolué.
Même GoPro, qui jusqu’ici s’était cantonné jusqu’ici à proposer des rigs adossés à ses célèbres « action cams », sent qu’une bonne partie du marché est en train de migrer vers des outils de captation 360° intégrés de qualité professionnelle et va lancer, d’ici la fin 2017, sa GoPro Fusion, une caméra de résolution 5.2 K qui intégrera un module de stitching automatique temps réel, sachant que le logiciel de stitching Kolor devrait, lui aussi, évolué à cette occasion vers le temps réel. D’ailleurs plusieurs studios VR français sont actuellement en train de tester les versions beta de ces futurs outils de captation.
Neotopy mise sur la Z Cam S1 et sa qualité pro
Certains comme le studio Neotopy, où l’on fait des vidéos Live à 360° depuis quelque temps déjà, ont anticipé ce virage. Jusqu’ici en effet, le studio utilisait un boîtier de stitching temps réel Terra Dek pour assembler les flux émanant de rigs multicaméras. Toutefois, cette solution, si elle a le mérite de fonctionner avec n’importe quel type de caméras 360° et rig 360, s’avère peu robuste lors de montées en charge.
Plus récemment, Neotopy s’est donc équipé de la caméra ZCam S1 du chinois ImagineVision. Cette caméra, encore à l’état de présérie sortie du laboratoire d’ImagineVision à Shenzhen, a été financée par une campagne de crowdfunding (plus de 380 000 dollars récoltés). Elle est dotée de quatre optiques de qualité qui minimisent le flare et les distorsions.
La ZCam S1 est dotée d’un port Ethernet, dont sortent des images 4K équirectangulaires à 60 i/s ou des images 6K à 30 i/s. Comme le précise Alexandre Regeffe, VR Postproduction manager chez Neotopy : « Bien entendu, les ressources informatiques du type cartes graphiques (GPU) pour réaliser le stitching en temps réel émanant des 4 sources caméra de qualité sont très sollicitées. Pour notre part, nous travaillons a minima sur la base de cartes graphiques Quadro P4000 à P6000 ».
Les logiciels d’édition 360 passent au temps réel
Très en pointe sur l’usage de cette Z Cam S1, le studio Neotopy l’est aussi au niveau du logiciel de postproduction Assimilate Scratch VR qu’il utilise régulièrement au sein d’un workflow mono-caméra pour le Live, en étalonnant les images en temps réel de manière poussée à travers le Scratch VR et en ajoutant des layers (typos, incrusts, etc.). D’ailleurs, lors du dernier NAB à Las Vegas, Alexandre Regeffe présentait, en partenariat avec Assimiliate, un tel workflow. À ce salon, le fabricant de caméra et l’éditeur de logiciel proposaient d’ailleurs une offre couplée comprenant la caméra + logiciel à 5000 dollars.
Dans ce même registre, on notait au NAB l’arrivée d’outils de post-traitement en sortie de caméras particulièrement performants comme ceux proposés par la société américaine Voysys. Laquelle récupère une grande variété de signaux émanant de rigs multicaméras, avec ou sans stitching intégré, de caméras 360° back to back… Cette capacité de traitement multisources temps réel de vidéos 360° en fait un outil qu’affectionnent les amateurs de eSport, avec un exemple récent lors de la retransmissions en VR du Dreamhack Winter 2016.
Du 8K streamé sur des masques Samsung Gear VR
Une des sources de progression émergente concernant le Live streaming à 360° réside dans l’optimisation de la distribution des flux vidéo streamés sur les réseaux IP via la technologie du tilling. Cette technique consiste à diviser les images 360° en une succession de tuiles verticales, qui sont autant de zones rectangulaires représentant chacune les 12% d’images visibles par un téléspectateur à un instant T. Ainsi, lors du transfert des vidéos 360° vers l’utilisateur final, seules sont streamées à chaque instant les zones visibles par un téléspectateur suivant les mouvements de sa tête captés par le casque VR.
Cette technologie de « Tilling » a été montrée pour la première fois aux professionnels en septembre 2016 lors du salon IBC Amsterdam sur le stand d’Harmonic, avec le concours des chercheurs du laboratoire néerlandais TNO. Depuis, TNO a créé une spin-off baptisée Tiledmedia qui exploite cette innovation et a fait une nouvelle démonstration, plus avancée encore, d’une transmission via un CDN standard d’Akamai de signaux vidéo 8K sur des masques Samsung Gear.
Dans les deux cas de ces démos R&D, ces acteurs industriels se sont appuyés sur les moyens humains et techniques de captation du studio français Digital Immersion. Le studio français a lui-même poussé très loin l’exigence technique en matière de tournage dans les conditions du Live, afin de satisfaire au niveau d’exigence de cette expérimentation. La dernière démo en date est un clip très scénographié de « Blue man group » tourné dans des très basses lumières.
Comme l’indique Julien Levy : « Nous avions un défi à relever sur le plan technique et artistique, car ce clip s’est tourné dans un studio relativement peu éclairé. Nous avons de ce fait utilisé un rig basé sur des boîtiers DSLR parmi les plus lumineux du marché, en l’occurrence 4 boîtiers Sony A7 S2 que nous avons customisés à l’aide de lentilles spécifiques. Nous avons pu ainsi délivrer un signal 4x4K de grande qualité qui démontre l’état de l’art le plus avancé en matière de qualité d’images VR 8K visible sur un masque de réalité virtuelle du commerce ».
Si le clip final a fait l’objet d’une postproduction, Digital Immersion a tourné quasiment dans les conditions du direct l’ensemble des séquences de ce clip. Pour ce faire, les rigs installés sur un point fixe étaient reliés à des boîtiers de stitching automatique Vahana afin que le réalisateur puisse voir en temps réel, dans un casque Oculus Rift, les séquences immédiatement tournées et éventuellement demander des retakes. Pour les rigs installés sur grues ou rails en revanche, les signaux étaient envoyés en Wifi sans fil vers des boîtiers de stitching temps réel de Terra Dek.
Si la technologie du tilling résout une grande partie des problèmes de latence dès lors que l’on diffuse des images 4K et au-delà, elle permet aussi d’atteindre en streaming des résolutions d’images plus confortables qu’aujourd’hui à l’intérieur des bandes passantes actuelles. Avec une telle technologie, il y a donc de fortes chances que le Live 360° prenne enfin son envol au-delà même du web et des réseaux sociaux.
Comme l’analyse Julien Levy de Digital Immersion : « Dans le domaine de la vidéo 360°, les studios comme le nôtre ont d’abord fait du Brand Content et des mini-fictions ou des webdocumentaires, mais on sent bien que le marché de la vidéo 360 pourrait pencher plus fortement vers le Live dans les deux prochaines années ».
La question du stitching et de l’encodage Live
Quand on fait du Live 360°, encore plus que pour la vidéo traditionnelle, se pose la question du processing opéré sur les images et les sons, qui, ici, passent non seulement par une compression des vidéos, mais aussi par des étapes préalables de stitching, équilibrage chromatique entre les caméras de manière dynamique et de correction des artefacts… qui ajoutent des retards supplémentaires dans la phase de traitement des signaux, sans compter l’encodage en HEVC des vidéos 360° représentées sous forme équirectangulaires qui est lui-même perfectible. La problématique de la latence entre la prise de vue et sa diffusion en Live streaming 360° est un point technique critique actuellement. Il n’est pas rare de constater plusieurs secondes de retard entre les vidéos 360° que l’on capte et leur diffusion en streaming.
Plusieurs acteurs industriels français, parmi lesquels Ateme, Arkamys, Aviwest et Kolor regroupés au sein du projet R&D collaboratif LiveTV360°, testent depuis un an environ les possibilités d’aller plus loin lors des étapes comprises entre la captation et l’encodage, en utilisant notamment le potentiel des informations de transformation entre la prise de vues sphérique et les différentes formes de représentations à plat du signal vidéo comme la représentation équirectangulaire.
Suivant le même processus de travail que pour le HDR, LiveTV360° teste en condition de tournage différentes configurations, afin que la qualité du signal initial, qu’il soit 4 ou 8K, soit le moins possible tronqué in fine, mais que des points de redondance entre les images des différentes caméras stitchées puissent être optimisés avant la phase de compression.
Comme l’explique Jérome Vieron d’Ateme, pilote du projet LiveTV360° : « Suivant les modes de représentation à plat des images sphériques on trouve plus ou moins de redondances dans les pixels sur certaines portions d’images, notamment près des zones de stitching, entre les images droite et gauche, ainsi que dans les hauts et les bas d’images pour une représentation équirectangulaire. Il y a donc moyen d’optimiser le processing d’après stitching, en fixant des priorités d’encodage propres aux vidéos 360° ».
Autour de cette question et de celle de l’évolution de l’encodage en vue d’adapter les standards d’encodage à l’émergence de la VR, des GAFA comme Facebook et des acteurs industriels majeurs du secteur broadcast sont aussi en train de mettre au point des nouvelles techniques et se mettent aussi en ordre de bataille pour concevoir en commun la Next Generation of Video Coding.
« Des groupes de travail se réuniront en particulier à partir de l’été 2017 pour entamer un travail de fond sur l’amélioration de la résolution spatiale en matière d’encodage vidéo 360, afin d’aboutir à l’horizon 2020 à de nouveaux codecs standards optimisés spécialement pour la Réalité Virtuelle ».
L’autre voie qu’explore aujourd’hui un projet R&D comme LiveTV360° est celle de la transmission sans fil des signaux des rigs 360° vers des outils de stitching et la prise en compte plus précise des informations de positionnement dans l’espace 3D du son ambisonic lors de la prise de son. Ainsi, il devrait être possible de proposer de la restitution du son binaural pour l’utilisateur final, y compris en Live 360, domaine dans lequel le son 3D au casque est pour le moment totalement absent.
Le Live au service du monitoring des pubs 360°
Un usage inattendu des capacités Live 360° qui émergent aujourd’hui réside aussi dans la possibilité, sur des tournages de publicités ou de films tournés en 360° destinés à du brand content, de pouvoir disposer d’un monitoring temps réel de qualité. Cette nouvelle fonctionnalité est même jugée bien pratique, qui peut ainsi faire valider sans surprise des plans au réalisateur, mais surtout aux annonceurs quand ils sont présents, directement à l’aide de masques virtuels dans une pièce contigüe à un tournage et de pouvoir réagir au besoin dès le tournage.
Nokia OZO+, toujours au top
Sur l’échelle qualitative du Live 360°, la caméra Ozo de chez Nokia a été la première il y a un an à proposer un workflow complet adapté à la production en direct et satisfaisant aux exigences du broadcast. Au NAB 2017, Nokia a encore amélioré son outil de tournage 360° avec l’Ozo+, une V2 qui propose une qualité de monitoring temps réel améliorée au niveau des contrastes et de la colorimétrie, ainsi que la compatibilité temps réel avec les masques VR HTC Vive. Un mode Time-Lapse permet également de créer ce genre d’effet directement à partir de la caméra. Ozo+ est aussi comme toujours une solution qui permet de réaliser simplement une prise de son ambisonic, permettant ensuite le tracking temps réel des mouvements de la tête de l’utilisateur et l’application du son binaural.
Le workflow Ozo+ est toutefois gourmand en capacités informatiques, car ce sont des flux SDI en Ultra Haute Définition qui sortent de la caméra et doivent être stitchés et transformés en autant de fois qu’il y a de caméras. En somme, l’ensemble de la caméra Ozo+ et de son workflow n’aurait aucun défaut, si ce n’est son prix de 40 000 euros environ, qui cantonne cet outil à très peu d’exemplaires en location sur la France et guère plus chez notre voisin allemand.
* Article paru pour la première fois dans Mediakwest #22, p.20-24. Abonnez-vous à Mediakwest (5 nos/an + 1 Hors série « Guide du tournage) pour accéder, dès leur sortie, à nos articles dans leur totalité.
————-
Rendez vous sur le SATIS – SCREEN4ALL 2017
LES 8 ET 9 NOVEMBRE !
Le SATIS, lieu de découverte des nouveautés produits et services image, son & IT, donne rendez-vous à la communauté audiovisuelle francophone – professionnels de la production audiovisuelle, des univers de la télévision, de l’événementiel, du cinéma, de la communication et de l’intégration – autour de conférences et d’espaces d’exposition.
Pour apporter une nouvelle impulsion au salon et répondre aux attentes du public et des exposants, Génération Numérique, qui a repris le SATIS en mars 2017, le regroupe cette année avec Screen4ALL, le forum des technologies innovantes pour le film, la télévision et les nouveaux médias.
Screen4ALL, qui se positionne comme le « Lab » du Satis, se fera la vitrine des innovations de rupture (réalité virtuelle, réalité augmentée, intelligence artificielle, eSport).
Le SATIS proposera, lui, un panorama de l’écosystème de production et diffusion audiovisuelle avec des focus sur les enjeux actuels : IP, UHD, HDR, Social Media, omniscreen…
• 6000 m2 d’exposition, plus de 100 exposants
• Le 360 Film Festival, vitrine des contenus VR/360
• 50 conférences et keynotes, 200 intervenants
SATIS – SCREEN4ALL • 8 ET 9 NOVEMBRE 2017 • DOCKS DE PARIS, LA PLAINE SAINT-DENIS
Inscrivez-vous dès aujourd’hui, afin de recevoir toutes les informations sur l’actualité du salon…
Accréditation gratuite !
