Media360 et l’archivage numérique

Au printemps dernier, Media360 organisait un atelier sur le thème « Archivage numérique des médias : workflow et état de l’art ». Plusieurs intervenants se sont succédés pour présenter les problématiques et les solutions, tant pour le film que pour la vidéo. Il n’est pas possible de rendre compte ici de la totalité des informations qui ont été transmises à cette occasion, mais seulement de faire ressortir les principaux axes à considérer quand on aborde ces questions*.
Nettoyage_de_bandes.jpg

 

Media360 est une division de CTM Solutions créée en 2011 qui se propose de conseiller et d’accompagner les sociétés disposant de fonds d’archives pour les aider à numériser, conserver, et valoriser leur patrimoine. Il s’appuie sur l’expérience centenaire du film venue de Debrie, sur l’expertise numérique de CTM Solutions, et sur Ninsight, qui développe des logiciels de gestion et d’automatisation de médias. Mais il utilise également des prestataires externes selon leurs compétences. Media360 se présente ainsi comme un intégrateur assurant la conception et la mise au point de solutions complètes, depuis la préparation physique des supports originaux jusqu’à la distribution et l’archivage final. Il a déjà su séduire plusieurs clients, y compris à l’international – Abu Dhabi National Center of Documentation & Research (NCDR), MTV (Groupe Viacom), Cinémathèque Suisse, Comité International Olympique, Société Nationale de Radiodiffusion et de Télévision du Maroc (SNRT)…

 

Des volumes titanesques

Dans un document de mai 2012, Protection et mise à disposition du patrimoine culturel audiovisuel, Doris Fiala, rapporteure de l’Assemblée Parlementaire du Conseil de l’Europe, écrivait : « L’UNESCO évalue à 200 millions, dont environ 50 millions en Europe, le nombre d’heures de documents audiovisuels au niveau mondial. »

L’enjeu est considérable. Sur ces millions d’heures de contenu sur supports analogiques, la majorité va probablement disparaître. Quant au reste, il risque de subir toutes sortes de dégradation dans le temps, ou de devenir illisible – indisponibilité des magnétoscopes, dégradation des bandes… – ou inaccessible par son emplacement physique. Comme le dit Jean-Christophe Perney, directeur commercial et du développement de CTM Solutions : « La décomposition finale d’un support mène à la perte irrémédiable de son contenu, perte d’un patrimoine, témoignage d’une culture, d’une mémoire : c’est une disparition irréversible. »

Leur transfert sous forme numérique permet de leur donner une nouvelle vie, en matière de qualité et d’accessibilité. On peut de nouveau les dupliquer – sans pertes – les manipuler tout en préservant l’original – étalonnage, restauration, montage – y accéder plus facilement et plus rapidement – bases de données, réseaux – les diffuser sur de multiples supports, sans oublier que, dorénavant, ces traitements deviennent moins coûteux et plus écologiques.

Néanmoins, ce sont des processus complexes à appréhender et à mettre en œuvre, qui demandent des compétences audiovisuelles en analogique et en numérique, mais aussi en informatique, et surtout d’avoir une vision d’ensemble de la procédure. Pour faire face à l’évolution permanente des technologies et à la jungle des fournisseurs, tous spécialisés, il est indispensable de s’informer au préalable.

 

Les étapes

Une procédure d’archivage commence par la préparation des supports physiques de l’image et du son. Elle ne comprend pas forcément de restauration, mais on prendra ici ce présupposé. Intervient dans ce cas, après la numérisation, un traitement d’étalonnage et de suppression de défauts, parfois même de remontage. Puis c’est la gestion de ces nouveaux médias, leur indexation dans une base pour les suivre et les retrouver, leur distribution éventuelle, et enfin l’archivage à proprement parler. Ce sont quelques-unes de ces différentes phases qui sont examinées ci-après.

 

Les premiers choix

Le choix de la résolution et de la quantification va conditionner bien des décisions en aval. Évidemment, plus on montera ses exigences, meilleure sera la qualité, mais plus la note sera lourde en matière de stockage et de bande passante pour les réseaux. L’utilisation d’un codec permet de réduire les moyens nécessaires, mais imposera d’autres compromis, par exemple pour des exploitations futures.

Pour donner une première ligne générale, on peut dire que, pour un film en 35mm, le 4K est conseillé pour la restauration et la préservation, le 2K étant suffisant pour une diffusion directe. Le 12 bits est requis pour être conforme au DCI, et le 16 bits pour une restauration haut de gamme. Pour le son, on sera au minimum en stéréo, 16 bits et 48 kHz, et souvent en 5.1, 24 bits et 96 kHz.

Ces choix seront dictés par l’importance des films – œuvre majeure, film d’amateur, témoignage local, actualité – leur destination – Web, DVD, Blu-Ray, TV, cinéma, master de référence – et la quantité de médias à récupérer. Les délais et l’urgence de la sauvegarde, le rythme de numérisation et des traitements, les temps de livraison, seront d’autres critères.

En fonction de quoi, on définira la quantité et le type de stockage, son architecture – SAN, NAS… – la typologie du réseau – Giga-Ethernet, Fibre Channel… – ainsi que les outils – systèmes pour la numérisation, la restauration, l’étalonnage, l’encodage, la gestion des médias – l’ensemble déterminant la vitesse des traitements.

 

Préparation des supports

Jean-Christophe Perney a commencé par présenter les problèmes du film : aux dégradations d’usure – rayures sur le support ou l’émulsion, cassures, détérioration des perforations – s’ajoutent les dégradations du temps – décoloration par la chaleur ou l’humidité, rétreint, séparation des couches du film, collures fragilisées – et les dégradations par virus – moisissures, champignons, syndrome du vinaigre, c’est-à-dire décomposition du support en acétate.

Les outils existent pour essuyer et nettoyer les films : un passage dans l’eau assouplit la pellicule et fait disparaître les rayures fines, un bain spécial élimine les bactéries, des brosses retirent les moisissures. Des tables d’inspection, de visionnage et de comparaison, permettent ensuite d’examiner la pellicule et opérer d’autres corrections – réparation de perforations, de collures, de déchirures.

Les défauts de la vidéo analogique consistent essentiellement en drop outs, et des outils permettent de nettoyer les bandes Betacam, U-Matic, ou VHS.

 

Les fonctionnalités des scanners

Marc Villechenoux, ingénieur commercial responsable du développement de Media360, a fait ensuite un panorama des scanners disponibles sur le marché, et des paramètres à considérer quand on envisage un tel investissement.

Le premier est la capacité de numérisation, en résolution et en quantification. L’intérêt d’un éventuel sur-échantillonnage est de faciliter le travail des filtres anticrénelages, d’augmenter le rapport signal sur bruit, et ainsi d’améliorer la qualité obtenue après recadrage – on ne diffuse pratiquement jamais une image telle que numérisée, on y ajoute souvent des bords noirs, par exemple pour faire passer un ratio 1,37 dans une matrice 2K.

Et l’avantage d’une sur-quantification est principalement d’augmenter les possibilités d’étalonnage.

Aujourd’hui les lampes xénon ou halogène sont de plus en plus remplacées par des LED RVB qui présentent plusieurs améliorations : les filtres deviennent inutiles, la température plus basse n’agresse pas la pellicule, et cette lumière, diffuse par nature, atténue les rayures.

Le capteur peut être un simple barreau CCD devant lequel se déplace la pellicule en continu, ou un capteur 4/3 avec un entraînement alternatif. Dans ce cas, la présence de contre-griffes, qui immobilisent la pellicule pendant son analyse, apporte un gain sensible de stabilisation : on peut combiner deux scans successifs de la même image, ils se superposeront exactement.

Ensuite il faut considérer le type d’entraînement : à roues dentées ou à cabestan, c’est-à-dire un galet lisse qui ne touche que la manchette de la pellicule. Le premier assure un défilement très régulier, tandis que le second, malgré une éventuelle détection optique des perforations, peut laisser passer des fluctuations ; néanmoins, c’est le seul entraînement qui convient quand les perforations sont en mauvais état.

Quant à la stabilisation, elle se base en général sur les perforations de façon à ne corriger que les défauts liés au défilement du scanner, et non ceux de la prise de vues, pour lesquels il faut prévoir une intervention ultérieure, sur une station dédiée.

La possibilité de zoomer et donc d’ajuster la zone de scan est aujourd’hui indispensable : à la Cinémathèque Française, on aime conserver dans le champ du scan l’image des perforations, car elles présentent un véritable palimpseste qui garde la trace des différentes étapes subies par la pellicule.

Au moyen d’une source infrarouge qui traverse la pellicule, mais qui est diffusée par les poussières et les éraflures, on génère un masque qui sera placé dans une couche alpha. C’est une ressource très appréciable pour la station infographique qui corrigera les défauts. Néanmoins, comme l’infrarouge ne traverse pas l’argent, cette technique est inutilisable en noir et blanc.

De nombreux scanners proposent une fenêtre d’immersion (wet-gate ou aquarium-gate) qui fait passer le film dans un bain, dont l’indice de réfraction est le même que celui de la pellicule, et qui permet d’éliminer certains défauts comme les éraflures côté support.

Il ne faut pas oublier la numérisation du son. Si l’on ne dispose que des pistes qui se trouvent sur le film, elle peut être faite soit par un lecteur optique, si le scanner est capable de temps réel, soit en en faisant une image qui sera convertie ensuite.

 

Le son

Philippe Le Gourdiol, responsable audio du service technique de CTM Solutions, a fait ensuite une présentation des outils de restauration audio de chez Cedar, comme Declick, qui supprime les clics numériques provenant de CD ; Declip, qui répare les défauts provenant de la conversion d’analogique en numérique ou de bandes saturées ; Debuzz, qui supprime bourdonnements et autres ronronnements indus. Il existe ainsi toutes sortes d’outils spécifiques, on peut encore citer Dereverb de chez iZotope, qui réduit ou supprime des réverbérations non souhaitées.

 

Espaces colorimétriques et LUT

Yves Chauvel, étalonneur et formateur sur DaVinci Resolve, a fait un rappel sur les espaces colorimétriques, comparant notamment celui du DCI P3 avec le Rec. 2020 de l’UHD, et précisant qu’« il n’existe pas à ce jour d’écran à même d’afficher l’intégralité de l’espace colorimétrique Rec. 2020 ».

Il a rappelé que les LUT sont des matrices de conversion ou des tables de données, qui peuvent être à une dimension (1D) ou à trois dimensions (3D), les premières étant une simple correspondance d’une valeur de chacune des primaires à une autre valeur de la même primaire ; les secondes permettant de relier chaque triplet RVB à un autre triplet RVB et offrant ainsi un nombre de combinaisons infiniment plus grand.

Elles ont de multiples fonctions : elles peuvent servir pour une calibration ou pour la création de rendus et, en ce sens, elles préparent parfois le travail d’étalonnage ; on s’en sert aussi pour le calibrage de plusieurs écrans pour lesquels on veut un rendu identique. Lorsqu’on projette les images pour les étalonner, une LUT est utilisée pour faire concorder le rendu du projecteur à celui du signal vidéo ou de l’émulsion sur lequel se fera le report.

L’utilité des LUT en étalonnage est discutée : certains les considèrent comme une approximation et préfèrent repartir de l’image brute (raw), alors que d’autres les utilisent comme une première base de travail, témoin de ce qui a été voulu au tournage.

 

La numérisation vidéo

Il existe une profusion d’outils pour numériser la vidéo et, avant de les présenter, Jean-Christophe Perney a rappelé la différence entre la notion de format, terme très général qui permet de distinguer par exemple les formats pivot, de travail, d’archive, de livraison, et le conteneur du fichier, l’encapsulage qui facilite l’interopérabilité nécessaire dans une procédure.

La numérisation peut se faire depuis les logiciels de montage – Avid Media Composer, Adobe Premiere Pro, Apple Final Cut Pro X – qui ont comme avantages un bon rapport qualité-prix, la polyvalence du poste et une formation simplifiée.

Mais il existe aussi de nombreux logiciels dédiés comme le Piko Video Server, le Softron Movie Recorder 3 (sur Mac), Root6 Technology Content Agent, qui peuvent numériser plusieurs canaux simultanément et programmer les enregistrements. Un critère important est le prix rapporté au nombre de canaux de numérisation.

Les serveurs vidéo, comme Avid AirSpeed ou EVS Open Cube, ont évidemment leurs propres outils de numérisation et proposent des solutions adaptées au traitement de flux, comme une alimentation redondante, le transcodage simultané des fichiers en basse résolution, etc.

 

Encodage et transcodage

William Lamonica, directeur technique adjoint de CTM Solutions, a rappelé que le transcodage est aujourd’hui au cœur de toutes les procédures et a présenté quelques solutions du marché, comme Episode et Vantage de Telestream, ProMedia Carbon de Harmonic, ContentAgent de Root 6…

Quand on envisage une telle acquisition, il faut au préalable se poser quelques questions : si le système est compatible avec tous les codecs et conteneurs utilisés au cours des processus de travail ? S’il est suffisamment performant pour absorber la charge de travail générée par l’ensemble des processus ? S’il dispose d’automatisation – par exemple par dossiers scrutés (watch folder) – et de pilotage – y a-t-il un éditeur de processus qui autorise des procédures complexes ?

Enfin, ces outils s’enrichissent souvent de fonctions supplémentaires comme du marquage d’identification (Watermarking), du sous-titrage, l’ajout de logo, le recadrage…

 

Étalonnage & ACES

Après avoir présenté les principaux systèmes d’étalonnage existant à ce jour – Quantel Pablo Rio, Assimilate Scratch, Filmlight Baselight, Pandora International, SGO Mistika, Autodesk Smoke, Digital Vision Nucoda, Adobe Speedgrade, Blackmagic Da Vinci Resolve – ainsi que les consoles dédiées – les Tangent, Avid Artist Color, JL Cooper… – Yves Chauvel est revenu sur le format ACES. Mais traiter ce sujet dépasserait le cadre de cet article.

 

Le projet Apocalypse

François Montpellier, spécialiste de la colorisation et directeur d’ImaginColor, entreprise française opérant la mise en couleur d’images d’archives pour le cinéma et la télévision, a fait une intéressante présentation du cas Apocalypse, une série de six documentaires retraçant l’histoire de la Seconde Guerre mondiale et réalisée par Isabelle Clarke et Daniel Costelle.

Le principe général est simple, voir la galerie

 On part d’une image noir et blanc 

 On en extrait un masque 

 On utilise ce masque pour coloriser différemment certaines parties de l’image 

 Mais chez ImaginColor, on préfère utiliser des textures à la place de couleurs unies 

 Ce qui donne un résultat plus doux et plus crédible que le précédent 

Cela impose en revanche de rechercher un grand nombre d’images de l’époque pour se créer un fonds de référence. Le premier procédé photographique couleurs est l’autochrome, des images positives sur plaques de verre, breveté en 1903 par les frères Auguste et Louis Lumière et utilisé jusqu’en 1932 environ. (cf. http://fr.wikipedia.org/wiki/Autochrome). Ces images sont ensuite examinées pour retrouver les teintes de l’époque – uniformes, véhicules, etc.

Dans la procédure de postproduction, on commence par la conformation, puis la restauration, la stabilisation, les éventuels recadrages, on fait un étalonnage noir et blanc, et seulement intervient la colorisation, l’idée étant évidemment de ne traiter que les images nécessaires. En revanche, les ralentis sont réalisés après, ainsi que les effets d’étalonnage couleur.

Le rendu de cette colorisation par textures est assez convaincant et en tout cas se rapproche de la douceur des images couleurs de l’époque.

 

Systèmes de stockage  et infrastructures

Marc Villechenoux a rappelé ensuite l’importance du support d’enregistrement qui, sous-dimensionné, devient rapidement un goulot d’étranglement. Il faut prévoir plusieurs espaces : celui de production – la numérisation, les traitements, les encodages – celui des sauvegardes de proximité – sauvegarde des projets en cours, des rushes, des versions, des projets en attente, des éléments fréquemment utilisés – celui de la consultation – en basse ou haute définition – et celui de l’archivage à long terme.

L’architecture peut-être en NAS, mais l’évolution de sa capacité sera limitée, ou en SAN, où l’augmentation du nombre de disques accroît directement les performances. Les connexions peuvent être en Ethernet ou en Fibre Channel, lequel reste le plus efficace, car il donne un accès direct au stockage, sans couche IP. On doit faire attention au choix des disques et des baies, ainsi qu’à leur formatage – notamment quant au type de RAID retenu.

Il faut ensuite examiner l’intelligence du système : la gestion des droits utilisateurs sera-t-elle suffisante ? Y a-t-il des partitions dynamiques ? Peut-on activer et désactiver facilement la sécurité miroir ? Y a-t-il une redistribution dynamique en cas d’ajout de disques ou de châssis ? Comment se gère la bande passante par station cliente ? La défragmentation et la réplication sont-elles automatiques et paramétrables ?

L’utilisation de bibliothèques LTO se généralise, mais elle apporte aussi son lot de problèmes. Aujourd’hui LTO 6, d’une capacité de 2,5 To, cette technologie évolue régulièrement et il faut s’inquiéter de la compatibilité, en général n-1 en lecture et écriture, n-2 en lecture seule. Leur durée de vie est de l’ordre de 30 ans ou 5000 cycles de lecture-écriture. Enfin, il existe plusieurs formats : TAR, LTFS, ou propriétaires (formats des logiciels de sauvegarde).

 

Pourquoi un MAM ?

Josselin Millécamps, directeur technique de CTM Solutions, a lancé quelques questions un peu provocatrices par leur apparente simplicité, mais qui se sont vite complexifiées.

Quelle est donc l’utilité d’un MAM ? Tout d’abord de retrouver un média ou un projet rapidement, parmi un nombre d’éléments toujours croissant, et par conséquent de rentabiliser son patrimoine audiovisuel.

Quelles sont les fonctionnalités nécessaires ? Il faut au minimum pouvoir référencer et indexer les médias, en créant, selon les besoins, des champs descriptifs en texte libre, des champs déroulants avec des options prédéfinies, des cases à cocher. Ensuite, il doit permettre de rechercher les éléments en utilisant les métadonnées entrées, et les présenter, en basse ou pleine définition.

Un outil doit s’adapter aux besoins des utilisateurs et non l’inverse. Il existe différents MAM correspondant à différents métiers : ceux dédiés télévision, pilotant jusqu’aux serveurs de diffusion ; ceux dédiés production, avec parfois des interconnexions avec les équipements de postproduction – souvent les MAM permettent un prémontage simple, et du transcodage – enfin ceux conçus pour la gestion des patrimoines et de l’archivage.

Parmi les nombreuses fonctions possibles, on est en droit d’attendre que soient prises en compte les notions de projet, de collection, de catalogue. Mais aussi d’avoir la possibilité d’extraire des subclips, de poser des marqueurs, de sortir des séquences simples. La gestion des droits éditoriaux et iconographiques est également indispensable. Une interface aussi intuitive qu’un copier-coller pour échanger avec les éléments conservés – envoi ou récupération d’archive – se rencontre de plus en plus souvent. Enfin, il faudra examiner les formats supportés.

Bien des MAM disposent d’un contrôle qualité de base, éventuellement un contrôle d’intégrité (Checksum), ou s’interfacent avec des systèmes de contrôle qualité (QC) haut de gamme – VidCheck, Cerify, Baton.

Si le fond a une vocation commerciale, le MAM devra aussi gérer les « paniers », et proposer un certain niveau d’automatisation autour des commandes.

Enfin, il faudra regarder les fonctions d’administration, la gestion des droits utilisateurs, des groupes, les droits d’accès, le paramétrage et la personnalisation des interfaces, la déclaration des périphériques. L’interfaçage avec des bases de données et des systèmes tiers est parfois indispensable.

 

Depuis peu, CTM Solutions propose un questionnaire en ligne récapitulant l’ensemble de ces points : http://www.ctmsolutions.com/www/sommaire/mam-design-parametrer-larchitechture-de-son-systeme-de-gestion-des-medias.html

 

Une tâche immense

Pour terminer, Benoît D’Angelo, responsable développement technique de Media360, a fait la démonstration d’un MAM orienté archives, le Ninsight Ignition.

Cette journée, en attestant les compétences de cette division de CTM Solutions, aura permis à ceux qui étaient présents de mesurer l’ampleur de la tâche et peut-être d’éviter quelques chausse-trapes.

 


Acronymes

ACES : Academy of Color Encoding System. Espace de travail colorimétrique de référence.

LUT : Look Up Table.

MAM : Media Asset Management.

NAS : Network Attached Storage. Serveur de fichiers relié à un réseau IP pour le stockage de données en un volume centralisé pour des clients réseau.

QC : Quality Control.

SAN : Storage Area Network. Un réseau de stockage SAN est une mutualisation des ressources de stockage. Il se différencie des autres systèmes de stockage, tels que le NAS, par un accès bas niveau aux disques. Les baies de stockage n’apparaissent pas comme des volumes partagés sur le réseau. Elles sont directement accessibles par le système de fichiers des serveurs, autrement dit chaque serveur voit l’espace disque d’une baie SAN auquel il a accès comme son propre disque dur. (Source Wikipedia.)

 


*Pour les présentations que j’ai moi-même assurées, vous pouvez consulter, pour la restauration d’image, le numéro 2 de Mediakwest (avril 2013) et, pour la création de DCP, le numéro 5 (hiver 2014).

 


Articles connexes