Stockage de médias partagés en postproduction et broadcast

Pour la postproduction des programmes, mais plus encore pour la fabrication en flux des contenus d'actualité, les chaines de télévision ont massivement recours, depuis quelques années, à des processus de travail collaboratifs. La volonté de fabriquer vite et en grande quantité, sans ralentissements ni interruptions accidentelles du flux de production, oblige à optimiser ces processus par des ajustements successifs portés aux systèmes techniques... et une amélioration des procédures d'exploitation (avec des opérateurs qui n'ont pas nécessairement un profil de technicien). L'efficacité repose sur une adéquation des moyens matériels, logiciels et organisationnels mis en jeu. Le stockage numérique des médias est bien souvent au centre de cette équation complexe : comment choisir alors le type de carte mémoire qui va résister aux conditions de tournage et passer l'épreuve du transfert et de la gestion industrialisée des médias. Quelle solution de serveur va pouvoir garantir la haute disponibilité attendue ? Quelle capacité de stockage reste redimensionnable selon l'évolution des activités ? Des accès rapides et concurrentiels, une sécurisation sans faille, des médias dématérialisés sont indispensables au déroulement des étapes d'une production. Quelle combinaison de choix technologiques peut permettre des échanges simples, rapides, fiables, automatisables à souhait, pour orchestrer les opérations en toute sécurité ? La recherche de ce workflow cible, fluide, souple et lisible passe immanquablement par la sélection de solutions de stockage pertinentes aux plans technique, économique et pratique. Un choix rendu difficile par une offre commerciale complexe, ouvrant l'ère du Big Data des médias. Des serveurs de production aux archives offline en passant par les serveurs proximité, voici un aperçu de quelques solutions de stockage mises en œuvre chez les post-producteurs, et souvent à une plus large échelle chez les diffuseurs.
8510c1d80ad0564ec5927fdaa5505e47.jpg

 

DAS, NAS, SAN… le jargon des serveurs

Les descriptions des systèmes de stockage de masse pour les médias font régulièrement référence à des sigles comme HDD, JBOD, DAS, SAN ou NAS. Dans ce jargon codé avec un minimum de voyelles, les acronymes à trois lettres peuvent être explicites pour les uns… mais n’en restent pas moins nébuleux pour beaucoup d’autres (dont l’auteur de ces lignes). Ces labels font office d’indicateurs qui différencient fondamentalement les architectures en présence. Le HDD (Hard Disk Drive), c’est entendu, est le disque dur qui est le composant de base de tous ces systèmes de stockage. Des marques référentes comme Hitachi, Seagate, Toshiba et Western Digital désignent les principaux fabricants de HDD. Un JBOD (Just a Bunch Of Drives) est un système constitué de la combinaison de plusieurs disques qui peuvent être adressés sous forme de volumes indépendants ou comme un volume global unique. Le sigle DAS (Direct Attached Storage) désigne un stockage à connexion directe, donc un volume directement relié à un ordinateur dans une configuration unitaire qui reste familière ; il utilise généralement une connectique et un protocole comme ATA, SATA, SCSI ou SAS, et apparait à l’interface utilisateur comme un stockage privé local. Le NAS (Network Attached Storage) indique un système de stockage centralisé qui est connecté au réseau des postes de travail : ce type de serveur de fichier repose sur un réseau IP et utilise un des protocoles référencés (CIFS, NFS… et parfois FTP). Le SAN (Storage Area Network) désigne un réseau dédié qui mutualise des ressources de stockage entre un grand nombre d’utilisateurs, avec un haut niveau de performances obtenu grâce à un accès de bas niveau aux disques, semblable à celui des disques internes ou DAS. Le SAN est compatible avec des environnements hétérogènes d’Operating System, et permet une multi-connectivité avec des plateformes diverses. C’est l’architecture qui assure la qualité de service la plus proche du niveau d’exigence imposé aux infrastructures professionnelles avec une haute disponibilité des éléments, basée sur la sécurisation des données et des accès rapides.

Avid ISIS

La gamme des serveurs de médias ISIS – pour Infinitely Scalable Intelligent Storage – est, pour la firme Avid, un aboutissement de près d’une vingtaine d’années consacrées à l’analyse méthodique des processus métier et aux développements technologiques avancés. Après avoir défriché la pratique du montage non linéaire
– en consacrant une nouvelle approche des processus audiovisuels non décisionnels – les ingénieurs d’Avid se sont lancés dans la recherche de solutions de stockage centralisé assurant le partage et la sécurisation des médias pour un grand nombre de postes clients connectés. Depuis 2005, la gamme Isis – évolution du premier serveur nommé Unity – s’est déployée dans les environnements de post-production en capitalisant sur la notoriété des outils de montage, et comme serveur pour les plateformes de flux d’actualité pour l’information et le sport. Avid revendique aujourd’hui plus de 3 000 utilisateurs de ce serveur à travers le monde. Isis fournit une grande capacité de stockage sur des disques extractibles à chaud (hot swapable), avec un niveau de sécurisation des données de type Raid6, caractérisé par la présence de 2 disques de parité par châssis. La dernière évolution de la gamme propose Isis-7000, un système haut de gamme qui dispose d’une architecture et de composants assurant une haute résilience, garantissant une disponibilité 24/7 pour un maintien en exploitation ininterrompu. Le système renferme 3 alimentations électriques redondées, 2 commutateurs, et une construction modulaire basée sur la juxtaposition de 16 blades, sorte de tiroir autonome contenant actuellement 2 disques de 2To couplés, un processeur et la mémoire de travail. Autre nouveauté, Isis-5500 est le nom de la nouvelle génération de systèmes de stockage partagé online qui offre un rapport qualité/prix concurrentiel pour la post-production, le broadcast, l’enseignement et l’institutionnel. Il permet de mutualiser sur un parc de 90 postes clients un volume de données de 64To, extensible jusqu’à 300To, et sécurisé en RAID 5. Ce serveur utilise lui aussi le système de fichiers Isis, considéré comme un standard de l’industrie, et assure une compatibilité avec les systèmes déjà existants. Il simplifie le travail pour livrer efficacement des contenus médias de meilleure qualité tout en accélérant les prises de décisions éditoriales.
Ce serveur et le logiciel Isis 4.5 sont disponibles depuis septembre 2013.

 

Dynamic Drive Pool

Le constructeur Ardis Technologies propose la solution intégrée DDP (Dynamic Drive Pool) qui entend s’approprier les performances du SAN en gardant la facilité de mise en oeuvre du NAS. Distribué en France par Broadcast Architech, ce système utilise un réseau Ethernet standard à 1 ou 10Gbps dans une configuration réseau simplifiée. C’est un système de fichier propriétaire nommé AVFS (Ardis Virtual File System) qui assure la compatibilité avec la plupart des stations de montage (Avid, Apple, Adobe) et de mixage (ProTools, Fairlight) présentes en postproduction.

 

StorNext

Quantum est un fournisseur de solution spécialisé dans le stockage numérique de masse et la préservation des données. Souvent considérée comme une référence, la dénomination StorNext correspond en fait à une gamme de produits nommés Appliances par cette firme américaine. Pour Quantum, StorNext est aussi un système logiciel performant de gestion de fichiers dans un environnement à accès concurrentiel. Une nouvelle génération StorNext5, plus performante et plus évolutive, a été annoncée lors du salon IBC et sera commercialisée dans les mois à venir. MagicHour est une société qui intègre des solutions diverses et déploie des serveurs pour les domaines de la post-production et du D-cinema, en puisant dans les catalogues de nombreux constructeurs de renom comme Avid, Quantel, Facilis (MagicHour distribue Terrablock), ou encore de fournisseurs comme Accusys, Scalelogic et Quantum. Eric Soulard, directeur technique en charge de l’intégration de ce type de système, insiste sur l’expertise de son équipe, et sur le savoir-faire requis en termes de paramétrages et d’optimisation des composants de ce type d’installation.

 

Terrablock

Fondé par d’anciens ingénieurs de la firme Avid, le constructeur Facilis Technology avec sa solution Terrablock, est distribué, entre autres, par DI-dea Avantcam. Terrablock s’est fait connaître en étant le premier SAN permettant le mixage audio sur ProTools. Dans un encombrement de 5U, le châssis 24D contient 24 disques de 4To, soit une capacité de 96To brut. Cette capacité peut être étendue jusqu’à 288 To par des extensions matérielles, et jusqu’à 5 Po en agrégeant plusieurs châssis. Terrablock peut héberger des projets vidéo SD, HD et jusqu’à 4K pour la post-production D-cinema. Utilisant au choix les réseaux Ethernet 1 ou 10Gbps, et Fiber Channel 8 ou 16Gbps, il est capable de supporter les débits élevés des flux UHD 4K non compressés. Il est compatible avec les environnements OSX, Windows et Linux, et permet de connecter nativement jusqu’à une centaine de postes clients.

 

XSAN

Ce nom ne désigne pas un serveur de stockage, mais un logiciel proposé par Apple, pour partager aisément un ou plusieurs périphériques de stockage dans un environnement composé de stations Mac connectées sur un réseau local LAN. Les Mac peuvent lire et écrire simultanément dans le même volume de stockage quand le système de fichiers Xsan est installé sur les postes clients. Le serveur de type RAID peut être, au choix, un modèle Final Cut Server de la marque ou un produit fabriqué par un autre constructeur. La technologie logicielle XSAN bénéficie des services développés par Quantum sur StorNext.

 

XStream

Autre acteur du marché des serveurs SAN, la société EditShare, fondée elle aussi par d’anciens ingénieurs de la firme Avid. Elle propose une gamme d’éléments permettant de construire un système de stockage modulable, redimensionnable et performant : le serveur NAS XStream débute avec 16 disques dans sa version de base et peut atteindre une capacité étendue de 320To avec un total de 80 disques, et plusieurs centaines de postes clients connectés sur un réseau Ethernet à 10Gbps. Cette extension est réalisée grâce au port PCI-e. EditShare utilise des disques rapides (7200tr/min) de qualité professionnelle garantis 5 ans. L’unité de base sécurise les données en RAID 5 ou 6 au choix, et supporte le débit simultané de 5 flux vidéo HD sans compression codés sur 10bits. Le volume total de stockage se décompose en espaces de travail qui peuvent être redimensionnés dynamiquement. Le système garantit un partage de médias sans corruption de la base de données entre plusieurs stations de travail Avid ; il sert indifféremment d’autres stations de montage comme Final Cut, Premiere ou Lightworks, pour la vidéo HD comme pour le D-cinema.

 

La gestion de stockage Hiérarchique

Les dispositifs de stockage à base de disques durs, et leurs environnements technologiques, se catégorisent sous la forme de gammes qui différentient critères de performances, de fiabilité et de prix de revient pour l’utilisateur (TCO ou Total Cost for Owner). Les serveurs utilisés en production sont souvent des clusters très rapides fortement sollicités dans des contextes de haute productivité, qui font appel à des composants très performants et de coût élevé. Le dimensionnement de ces serveurs on-line en termes de capacité de stockage est critique, et il est généralement incertain en raison des fluctuations de charge et des évolutions structurelles.
En exploitation quotidienne, les déplacements de contenus vers le système d’archivage doivent signifier l’étape de fin de la fabrication. Or, les gestionnaires de médias sont souvent en recherche de place libre sur le serveur de production sans avoir l’opportunité de finaliser des productions sujettes à modifications ou compléments. Une réponse à cette problématique de répartition intelligente de la masse des données sur des stockages différenciés correspond à la notion de HSM (Hierarchical Storage Management). Le rôle d’un système HSM est de gérer avec discernement le déplacement des éléments médias sur des stockages plus ou moins performants, plus ou moins coûteux, selon des contingences liées au contexte ou des règles prédéterminées basées sur la modélisation des cycles de vie des médias. C’est dans cette problématique qu’est apparue la notion de serveur intermédiaire de proximité, ou Near-Line Server (NLS). Autre nouveau sigle consacré dans le langage codé des serveurs : MAID (Massive Array of Idle Drives) est un terme qui désigne un système de stockage sur disque dur de proximité à accès occasionnel. Ces systèmes, aussi appelés SPAN ou BIG, sont destinés à réduire le coût de stockage tout en améliorant la disponibilité des éléments dans les environnements de production. Ils utilisent des disques économiques dont la vitesse est ralentie en l’absence de sollicitation (gamme Green) pour diminuer la consommation électrique; ces systèmes ont des temps de réaction plus longs que les serveurs de production, avec une latence pouvant atteindre plus d’une dizaine de secondes. Souvent, ils n’ont pas de tolérance aux pannes et ne garantissent pas la sécurisation des données. Selon le rapport 2013 Digital Storage for Media & Entertainment de Coughling Associates, environ 43 % des archives vidéo sont aujourd’hui disponibles sur des serveurs Near-Line : selon les tendances actuelles, ce chiffre pourrait monter à 61 % à l’horizon 2018.

 

MatrixStore

Object Matrix, société galloise établie à Cardiff depuis 2003, est spécialisée dans le développement de solutions logicielles d’archivage sécurisé Near-Line sur disques. Ses intérêts sont représentés en France par la société IVORY dirigée par Julien Gachot. IVORY a également une practice de conseil stratégique et opérationnel dans les médias. La plateforme MatrixStore se positionne hiérarchiquement entre le serveur de production à hautes performances et le dispositif d’archivage long terme qui répond, quant à lui, aux attentes et préoccupations patrimoniales de tous les éditeurs de contenus. La richesse fonctionnelle de cette solution est renforcée par son intégration native et unique avec les MAM leaders du marché, notamment Avid Interplay PAM et Cantemo Portal™. Reposant sur une « technologie objet » garante d’un haut niveau de pérennité des éléments sauvegardés, MatrixStore a pour vocation de prendre en charge le nécessaire délestage du serveur de production dans un espace de parking. À l’heure de la dématérialisation, MatrixStore se charge notamment de créer une double copie du média déplacé et archive également l’ensemble des métadonnées associées. On trouve ce type de serveur également en amont de la chaîne de fabrication pour sécuriser les rushes entrants, ou en aval comme bibliothèque d’archivage de proximité.

 

Active-Circle

Active-Circle est une solution de stockage hiérarchique qui vise à stocker de grands volumes de fichiers en limitant le coût d’investissement ainsi que celui de la consommation électrique, en utilisant par exemple des disques de type Green Storage. C’est une solution qui assure la sécurisation des fichiers médias en distribuant et en dupliquant automatiquement les données sur plusieurs serveurs, baies de disques ou librairies, qui peuvent être localisés sur des sites distants. A-C crée un espace de stockage virtualisé extensible à la demande à partir de composants matériels standards de l’industrie IT. La plateforme logicielle est opérable sur tout serveur et supporte les technologies reconnues, de type disque ou bande, dans une configuration modulaire et évolutive. Pour répondre aux besoins de migrations vers de nouvelles technologies, l’espace de stockage est virtualisé; il permet l’ajout de matériel de stockage de nouvelle génération tout en amortissant d’anciens systèmes. Pour assurer indépendance et portabilité des enregistrements, les données sont stockées dans un format neutre de type TAR ou LTFS qui sont des standards partagés par les constructeurs. L’accès aux données repose sur les protocoles de fichiers eux aussi standards, comme FTP, CIFS et NFS. Une interface utilisateur nommée AME (Active Media Explorer) sert pour la recherche et le visionnage en basse résolution des médias stockés dans les supports Near-Line et Off-Line. Pour tirer le meilleur parti de leur complémentarité sur ces deux types de supports, Active Circle et ObjectMatrix ont récemment annoncé leur entente afin d’offrir des solutions d’archivage intégrables aux workflows existants, et répondant aux attentes des métiers dans le secteur des médias.

 

 

Fibre Channel

Alors que les architectures SAN de stockage mutualisé sont souvent préférées pour les environnements à haute exigence en raison de leurs caractéristiques de sécurisation et d’évolutivité, le choix du type réseau mis en oeuvre pour les échanges de flux de médias à débits élevés se porte souvent sur la solution Fibre Channel. Il s’agit d’un protocole série pouvant être porté sur un conducteur de type « paire torsadée en cuivre » ou un câble coaxial, ou encore sur une fibre optique. Il permet de combiner plusieurs protocoles de transport sur un même réseau : avec un usage de l’IP (Internet Protocol) et d’un mode canal utilisé pour fournir une liaison au protocole SCSI. Afin de simplifier les infrastructures déployées, une configuration spécifique permet d’encapsuler les trames Fibre Channel d’échange avec un SAN sur un réseau Ethernet standard : il s’agit de la norme FCOE (Fibre Channel
Over Ethernet).