Limecraft permet aux sociétés de production de répondre à une demande croissante de contenus avec des budgets toujours plus contraints. Maarten Verwaest et Robert Sonneville illustrent leur solution à travers deux cas d’usage : le grand show télévisé The Voice et la série Plus belle la vie, deux productions fonctionnant comme de véritables usines à contenus.

Pouvez-vous nous présenter l’entreprise Limecraft, son origine et ses propositions ?

Créée comme un spin-off de la VRT, le diffuseur public belge, Limecraft est une entreprise indépendante à capitaux privés, dont le siège est à Gand, comptant environ vingt personnes et présente sur le marché depuis seize ans. Elle accompagne plus de 200 clients, principalement en Europe, dans l’intégration et l’automatisation de leurs workflows.

L’aventure a débuté autour d’une des meilleures solutions de Media Asset Management du marché ; aujourd’hui, même si le cœur MAM persiste, l’activité est axée à 90 % sur l’automatisation des workflows, grâce à une grande maîtrise des outils d’IA. Un aspect fort de Limecraft est l’intégration fine de ces outils au sein d’une interface cohérente : nous utilisons par exemple la transcription de Speechmatics et un portefeuille de services de reconnaissance d’image et d’audio, que nous évaluons et combinons selon les besoins de chaque client. C’est une approche sensiblement différente de celle de certains éditeurs qui « greffent » des solutions tierces à leurs MAM.

Pour la conception de notre solution, nous différencions deux grands cas : les productions scriptées et non scriptées. La fiction nécessite des étapes d’intégration dans les stations de montage (NLE) telles qu’Avid Media Composer, d’automatisation du derushage, de prémontage et de découpage automatique. Les reportages news, les magazines et les documentaires bénéficient de la puissance de nos outils de transcription automatique à grand volume.

Travaillez-vous avec d’autres solutions de MAM ?

Oui, l’époque où les utilisateurs s’équipaient chez un unique fournisseur est terminée. Nous sommes persuadés que les logiciels modernes doivent être conçus pour collaborer avec des outils externes. Il arrive régulièrement que nos clients souhaitent conserver leurs MAM ou leurs « Media Supply System » et y connecter Limecraft pour bénéficier de ses fonctionnalités de collaboration en ligne, ou pour exploiter ses puissants outils de transcription, comme c’est le cas de France Télévisions et de SVT, le diffuseur public suédois. Nous sommes intégrés à différentes solutions telles qu’Avid MediaCentral | MediaCentral UX, Dalet ou EditShare. Nous pilotons nous-mêmes nos workflows en interne ; pour les intégrations plus complexes, nous nous appuyons sur Carrick-Skills.

Côté technologie, pouvez-vous décrire votre façon de travailler et le concept central de Limecraft ? Est-ce une solution SaaS ? Un déploiement hybride est-il possible ?

Limecraft est une solution pure SaaS (Software as a Service) dans son ADN ; cela permet de l’activer facilement, créer des workspaces, y inviter des collaborateurs et faire évoluer la solution selon les volumes de production. Cependant, certains clients préfèrent déployer la solution sur site, pour des raisons de confidentialité, de continuité d’activité et de souveraineté. Limecraft se comporte toujours comme une solution SaaS et s’exécute via un navigateur Web.

La très grande majorité de nos clients (95 %) utilise une configuration hybride avec un stockage sur site. Nous ne sommes pas dans le business du stockage et n’incitons pas nos clients à déplacer des téraoctets, voire des pétaoctets, de données dans le cloud, à un coût prohibitif. Nous recherchons le meilleur équilibre coût/performance, souvent via le stockage des médias haute résolution sur bandes LTO : une solution solide, économe en énergie, sécurisée et suffisamment accessible. Le stockage restant sur site, un proxy est envoyé dans le cloud pour la collaboration, la diffusion, le visionnage et la transcription, le lien étant conservé entre les médias proxy et haute résolution.

Quels outils d’orchestration proposez-vous pour la conception de workflows ?

Nous proposons une bibliothèque d’outils d’intégration avec des solutions externes : content agent, flux de données, maintenance des comptes, acquisition, baies de stockage, archivage, contrôle qualité (QC) et purge des médias. Les utilisateurs experts connectent ensuite librement les différentes étapes du workflow entre elles, avec paramétrage de conditions et d’interventions humaines si nécessaire. Cette orchestration n’est pas présentée sous forme de diagramme en ligne comme chez certains éditeurs ; les experts préfèrent le contrôle précis permis par la modification d’un fichier de configuration.

Qui sont les utilisateurs de Limecraft ?

Nos clients sont soumis à une grande pression financière : ils doivent produire la même quantité de contenus avec des budgets toujours plus restreints, ce qui fait des producteurs les plus intéressés par l’acquisition de Limecraft. Au quotidien, les utilisateurs sont les journalistes pour les news et les assistants monteurs pour la fiction. On pourrait penser que Limecraft met en cause le métier d’assistant monteur ; nous leur apportons au contraire les outils d’automatisation des tâches d’acquisition en postproduction, leur permettant de devenir des opérateurs qualifiés plutôt que d’effectuer toutes ces étapes manuellement.

En plus de ces utilisateurs principaux, il y a dans chaque production entre vingt et quarante utilisateurs « invités », notamment les producteurs exécutifs qui suivent l’avancement de la production via des interfaces légères.

Avez-vous des équipes dédiées ou passez-vous par des intégrateurs pour la configuration de vos solutions chez vos clients ?

Pour des productions simples, la solution peut être proposée clé en main et entrer en production du jour au lendemain. Les workflows plus complexes nécessitent certains ajustements et une prise en main. Les configurations sont généralement préparées au début de la collaboration ; la réplication des workflows dans les nouveaux projets est ensuite très rapide. C’est le cas pour Netgem, qui a acquis Eclair Préservation et Eclair Digital Services, et pour lequel Limecraft gère depuis 2019 plus de 300 workspaces, un million d’assets et 20 pétaoctets de stockage. Une solution d’une grande complexité, aujourd’hui entièrement pilotée par leurs propres équipes, qui assurent même sa maintenance et ses mises à jour, hormis le déploiement à chaud via un processus automatisé de huit nouvelles versions par an.

Quels sont les profils de vos clients ? Les sociétés de production ou des postproducteurs et des intermédiaires qui investissent dans Limecraft pour proposer cette offre comme un de leurs services ?

Nous avons deux catégories d’utilisateurs qui exploitent une même base de données, mais avec une interface et une expérience différentes. D’un côté, les diffuseurs ou les distributeurs travaillent à partir de productions finalisées, pour lesquelles Limecraft propose les opérations de vérification et de sous-titrage. De l’autre, la grande majorité de nos clients sont des producteurs.

Parfois c’est la société de postproduction qui finance Limecraft, crée un espace de travail et l’ouvre aux producteurs. Parfois c’est la société de production qui souscrit à un projet Limecraft et l’ouvre aux collaborateurs de postproduction. L’objectif est toujours de connecter les différents acteurs de la chaîne de production pour permettre une plus grande fluidité de travail.

Quelles sont les différences et similitudes de votre solution de validation/collaboration comparativement aux acteurs majeurs du secteur tels que Frame.io ?

Frame.io nécessite l’achat d’une licence et la gestion des utilisateurs. Les médias doivent être téléchargés sur leurs serveurs aux États-Unis et il faut régulièrement gérer leurs purges. Limecraft propose un environnement sécurisé contrôlé par les utilisateurs, les médias étant stockés en Europe. Frame.io facture environ 25 dollars par utilisateur, un modèle qui peut devenir conséquent pour les grosses équipes ; Limecraft a fait le choix inverse, celui de facturer au volume de données traitées plutôt qu’au nombre de comptes, sans limite d’utilisateurs. Dans une production de fiction, beaucoup de personnes ont besoin de visionner les rushes, notamment pour les raccords : les maquilleurs, les habilleurs, les décorateurs de plateau, qui suivent la production au quotidien pour assurer la cohérence avec les prises précédentes.

Comment et depuis quand intégrez-vous l’intelligence artificielle à Limecraft ?

Nous étions l’une des premières entreprises à intégrer la transcription vocale automatique dans notre MAM dès l’été 2013. Nous savions déjà que la majeure partie du sens d’une vidéo se trouve dans la piste sonore, les images n’étant le plus souvent qu’une illustration. Nos recherches à la VRT auprès des archivistes le confirmaient : plus de 80 % des mots-clés qu’ils isolent sont dérivés de l’audio. Nous nous sommes donc délibérément concentrés sur la transcription, alors même que des tentatives précoces de reconnaissance d’image existaient déjà. Connaissant la précision de nos transcriptions, la BBC nous a contactés : « Pouvez-vous transformer ces transcriptions en sous-titres ? » Limecraft est certainement à ce jour la seule entreprise capable de produire de très bons sous-titres, souvent meilleurs que ceux produits par des humains.

En 2020, nous avons débuté une collaboration avec The Associated Press autour d’un défi novateur : créer un index unique combinant reconnaissance audio et reconnaissance d’images, ce que les ingénieurs appellent un modèle d’indexation multimodal. Il devient alors possible de rechercher un plan selon ses aspects visuels et sonores en une seule requête. AP nous a aussi demandé de développer le « shortlisting » (la présélection) : à partir d’un flux, un discours d’Emmanuel Macron par exemple, Limecraft transcrit, analyse les images, détecte les plans et les chapitres, et leur associe un résumé et des mots-clés. C’était cinq ans avant le lancement de ChatGPT.

Le « quand » est ainsi assez bien couvert ; le « comment » mérite d’être précisé. L’indexation multimodale ne représente que la moitié de la solution. L’autre moitié, le véritable facteur de succès, tient à notre expertise des workflows et à notre capacité à récupérer les métadonnées produites en amont, planification, casting, feuilles de service. Plus nous valorisons ces données d’amont, moins nous avons besoin d’IA en aval : c’est le cœur de notre politique d’usage responsable de l’IA, et cela rejoint notre politique de durabilité environnementale.

Pour vous qu’est-ce que représente la notion de montage automatisé ?

Le concept de montage automatisé est relativement simple dans les productions scriptées ; il suffit de faire correspondre les voix des acteurs avec les fragments de dialogue du script pour obtenir un prémontage. C’est beaucoup plus compliqué pour les news et les documentaires, où certains de nos clients traitent parfois plus de mille heures de rushes pour une seule heure de matériel fini : c’est simplement impossible sans automatisation.

Limecraft agit comme un assistant monteur qui regarde des milliers d’heures à votre place, non pas en se contentant de transcrire ce contenu, mais en le packageant avec d’autres sources de données pour créer des listes thématisées à partir des médias bruts. Les utilisateurs peuvent alors effectuer des recherches et créer des storyboards.

Notre prochain algorithme en développement aidera les journalistes et les assistants à isoler les plans les plus pertinents ; accompagnés par nos clients « pilotes », nous nous approchons d’un montage plus automatisé, intégré dans une séquence multipiste d’Avid. Il est important de préciser que nous automatisons avant tout le prémontage ; il serait erroné d’en conclure que nous rendons les monteurs professionnels superflus. Nous restons proches des créateurs et cherchons à éliminer les tâches manuelles, pas à nous substituer à leur métier.

Vous intégrez-vous à tous les NLE : Adobe Premiere Pro, Avid Media Composer, DaVinci Resolve ?

Oui ! Il y a deux types d’intégration : les projets de montage et les storyboards peuvent être préparés dans Limecraft avant d’être transférés vers les NLE. Nous créons un fichier AAF ou un projet, l’ouvrons, préparons les chutiers, gérons les conventions de nommage et assurons le transfert de l’ensemble des métadonnées vers DaVinci Resolve, Apple Final Cut Pro, Avid Media Composer ou Adobe Premiere Pro. L’inverse est également possible. Un panel est disponible pour Adobe Premiere Pro, à partir duquel un monteur peut récupérer un montage directement dans Adobe. Nous envisageons un prochain développement similaire pour Avid. Nous n’avons cependant pas d’outils de montage intégrés dans Limecraft, l’offre est suffisamment riche sur le marché.

Pouvez-vous illustrer un cas d’usage dès la fin du tournage et la récupération des rushes ?

Nous débutons toujours par l’automatisation de l’acquisition des médias pour la postproduction. Pour les productions mono-caméra, il s’agit de traiter le contenu de quelques cartes SD chaque jour : vérification, copies sur deux ou trois supports, synchronisation audio, convention de nommage et structure des dossiers. Nous préparons les dailies et les proxies et les mettons à disposition dans Avid ou Premiere, plus simplement si les sources disposent de timecodes synchronisés ou inscrits en LTC sur les pistes audio.

Pour les autres cas, nous avons développé une solution basée sur la reconnaissance des ondes sonores entre caméras et enregistreurs audio, via notre application Limecraft Edge, concurrente de ContentAgent (Root6) et Telestream. Cet outil unifié pour les DIT et les assistants monteurs prend en charge l’offload et la vérification, la synchronisation audio, le multicaméra, l’application de LUT, le transcodage et les règles de métadonnées, en autonome ou intégré à des outils tiers selon les besoins du client. Les templates d’ingest sont préparés avant le premier jour de tournage par le superviseur de postproduction, formats d’encodage, watermarks, LUT, organisation des pistes, couleurs des prises cerclées, et le data manager ou l’assistant monteur n’a plus qu’à sélectionner les bons réglages en quelques clics. L’exemple de la Formule 1 illustre bien l’enjeu : vingt unités de tournage déployées dans les stands, chacune avec sa propre station portable, les proxies envoyés via Starlink. Sans configuration centralisée, ce serait un désastre en postproduction.

Pouvez-vous nous détailler le workflow pour The Voice et Plus belle la vie ?

Ces deux productions sont tellement automatisées que Limecraft devient presque invisible. Le processus d’acquisition est géré par un assistant monteur ou un DIT qui crée les proxies, dirigés automatiquement vers les baies de stockage. Les métadonnées de tournage sont capturées, intégrées aux médias et utilisées pour conserver uniquement les plans cerclés pour le montage. Sur les plateaux de fiction, les scriptes utilisent l’application iPad LockitScript de LockitNetwork, totalement intégrée dans Limecraft.

Pour The Voice et les émissions broadcast de ce type, le showrunner utilise l’app Live Notes d’editingtools.io, conçue pour les grandes émissions de studio utilisant entre dix et vingt caméras. Les fichiers AAF rapatrient ensuite les plans depuis le stockage froid vers les stations Avid, où seul le stockage rapide Nexis est réservé aux médias en montage ; le matériel haute résolution reste sur des stockages de type Scale Logic, Object Matrix ou bandes LTO, avec 90 % des médias en stockage froid. Les séquences multipistes préparées pour Avid intègrent la sélection des éléments dans l’ordre chronologique, économisant un énorme temps de préparation : le montage peut débuter très vite. Pour The Voice, l’ensemble des éléments audio est transcrit pour être consultable en postproduction.

Est-ce que Limecraft gère la distribution des livrables aux broadcasters ?

Les diffuseurs exploitent souvent différentes marques de MAM. Pendant longtemps, les ingénieurs ont cru possible de créer une solution miracle adaptée à tous les cas d’usage ; nous sommes persuadés au contraire que la gestion des assets doit être affinée au cas par cas, pour les news, les archives ou les fictions. La même base de données peut être utilisée, de préférence basée sur EBUCore ou un autre standard, mais l’interface et les workflows doivent être personnalisés. L’un de nos plus récents développements concerne la distribution aux broadcasters.

Nous avons commencé à travailler sur la supply chain il y a trois ans pour DPG Media et avons dupliqué l’offre pour de nombreux diffuseurs allemands, quelques déploiements plus modestes, et france.tv access, dirigé par Matthieu Parmentier, qui utilise Limecraft pour la réception des fichiers dédiés à l’antenne : PAD, publicités, bandes-annonces, affiches et fichiers de sous-titres. Les médias gérés sont différents des rushes et le nombre de fichiers traités est plus restreint, mais les complications en termes de formats sont plus importantes, notamment les différentes sortes de DCP, d’IMF, de packages Amazon et Apple.

Est-ce que certains de vos clients exploitent Limecraft pour la gestion des longs-métrages ?

Pour l’instant, c’est une utilisation éloignée de notre zone de confort. Les sociétés spécialisées dans le long-métrage haut de gamme disposent souvent de leur propre matériel et de leurs propres outils, avec des budgets technologiques limités et des tournages courts, sans commune mesure avec les 80 à 100 jours d’une série télévisée, ou les 220 jours d’un feuilleton quotidien comme Plus belle la vie, qui exigent une très grande efficacité opérationnelle.

Où en êtes-vous dans le développement de vos solutions de doublage automatique ?

Limecraft a expérimenté l’intégration de plusieurs fournisseurs de solutions de synthèse vocale dans le cadre d’un Proof of concept (POC) pour un producteur français d’information, sans déploiement en production à ce stade.

Après l’utilisation du son pour la recherche sémantique, pensez-vous développer des outils autour de la reconnaissance des images ?

Ce n’est pas une question triviale. Les précédentes technologies de reconnaissance d’image s’appuyaient sur des détecteurs spécifiques, visages, logos, animaux, à un coût pouvant devenir prohibitif. Aujourd’hui, les modèles d’OpenAI et d’Anthropic traitent les images et proposent une très bonne description générale, mais une faible acuité dans l’identification des individus. Alors que la technologie de reconnaissance vocale a évolué au point qu’il n’est plus nécessaire de l’entraîner pour une voix particulière, la reconnaissance des images en est à un stade moins avancé.

Certains éditeurs demandent l’intégration des médias dans leur stockage pour permettre l’analyse des contenus par leur solution d’IA. Effectuez-vous l’analyse sur les médias originaux ?

C’est certainement lié à la stratégie d’AWS. Pour utiliser Amazon Rekognition, Amazon impose de déposer les médias sur ses stockages, avec des coûts non négligeables. Nous n’opterons jamais pour une telle stratégie et conseillons à nos clients de rapatrier autant que possible leurs contenus sur site, sur une infrastructure souveraine et de préférence sur deux ou trois technologies différentes pour des raisons de sécurité. Nous exploitons une seconde copie suffisamment qualitative pour la reconnaissance d’image, la transcription et la synthèse, jusqu’à cent fois plus petite que les médias originaux.

Quelle est votre stratégie tarifaire ?

Nous hésitons à communiquer des chiffres exacts hors contexte, mais notre proposition commerciale repose sur deux dimensions : des frais d’abonnement liés au volume d’heures de contenu géré, jamais au nombre d’utilisateurs, que nous jugeons contraire à la collaboration, et l’absence de frais de sortie des médias (egress), contrairement à certains concurrents. La plupart des acteurs s’appuient en effet sur le cloud des géants de la tech, ce qui fait grimper les coûts récurrents ; notre position est d’encourager le stockage local, sur une infrastructure souveraine européenne, plus stable et plus durable sur le plan écologique. Limecraft est par ailleurs certifié neutre en carbone : les producteurs et les sociétés de postproduction peuvent ainsi ramener à zéro la contribution de Limecraft dans leurs bilans d’émissions.

Article paru pour la première fois dans Mediakwest #68, p.56 – 61