À l’occasion du NAB, Adobe a dévoilé une série d’ innovations autour de Firefly, sa famille d’ IA génératives, concernant Adobe Premiere Pro.

Création et productivité au rendez-vous

Ces nouveautés offrent de nouvelles possibilités créatives, essentielles aux monteurs vidéo mais aussi des process qui accélèrent considérablement la production vidéo. L’arrivée de nouveaux outils d’IA générative permet notamment aux utilisateurs d’ajouter ou de supprimer des objets dans une scène ou de prolonger un plan.

Les nouveaux workflows d’édition annoncé s’appuient sur un nouveau modèle vidéo qui rejoindra la famille  Firefly qui propose déjà de potentielles fonctionnalités en termes d’Image, Vecteur, Design et Effets de Texte.

Adobe continue de développer ses propres modèles d’IA, comme Firefly, dans ses domaines d’expertises tels que l’imagerie, la vidéo, l’audio et la 3D, et intégrera ces modèles dans Creative Cloud et Adobe Express. 

Le futur de l’IA générative dans Premiere Pro 

Sur le NAB Show, grand rendez-vous américain de référence, Adobe a présenté un aperçu technologique des workflows d’IA générative qui seront intégrés dans Premiere Pro dans le courant de l’année, optimisés par un nouveau modèle vidéo pour Firefly.

Un premier “sneak” a montré la manière dont les monteurs professionnels pourraient exploiter les modèles de génération vidéo d’Open AI et de Runway à l’avenir pour générer un b-roll, ou ajouter quelques secondes à la fin d’une prise de vue avec l’outil Generative Extend et Pix Labs…

Voici un petit aperçu des nouveaux outils qui seront prochainement disponibles dans l’interface…

• Generative Extend : Ajouter des images en toute simplicité pour rallonger les clips et faciliter la synchronisation parfaite des montages et l’ajout de transitions fluides. Cette technologie révolutionnaire résout un problème fréquent pour les monteurs professionnels, en leur permettant de créer des médias supplémentaires pour peaufiner les montages, conserver un plan pour un temps supplémentaire ou mieux couvrir une transition. 

• Object Addition & Removal : Il suffit de sélectionner et de suivre les objets, puis de les remplacer. Retirer les éléments indésirables, changer la garde-robe d’un acteur ou ajouter rapidement des éléments de décor tels qu’un tableau ou des fleurs photoréalistes sur un bureau. 

• Text to Video : Générer de toutes nouvelles séquences directement dans Premiere Pro, à l’aide d’un prompt ou du téléchargement d’images de référence. Ces séquences peuvent être utilisées pour créer des story-boards ou des b-roll pour enrichir des prises de vue en direct 

Les workflows audios optimisés par l’IA désormais disponibles dans Premiere Pro 

En plus des nouveaux outils vidéo d’IA générative d’Adobe, de nouveaux workflows audios seront mis à la disposition des utilisateurs dès le mois de mai. Ils permettront aux monteurs vidéo de contrôler et améliorer avec précision la qualité de leur son. Les nouvelles fonctionnalités comprennent : 

•

Poignées de fondu interactives : Les monteurs peuvent créer des transitions audios personnalisées plus rapidement en faisant simplement glisser les poignées d’élément pour créer des fondus audios. 

• Nouveauté dans le panneau Audio Essentiel avec le balisage des catégories audio : L’IA identifie automatiquement les clips audios comme étant des dialogues, de la musique, des effets sonores ou des ambiances, et ajoute une nouvelle icône permettant aux monteurs d’accéder instantanément et en un seul clic aux commandes adaptées à leur travail. 

• Badges d’effets : De nouveaux indicateurs visuels permettent de voir facilement quels clips ont des effets, d’en ajouter rapidement de nouveaux et d’ouvrir automatiquement les paramètres d’effets directement à partir de la séquence. 

• Des formes d’ondes plus intelligentes sur la timeline : Les formes d’onde se redimensionnent intelligemment lorsque la hauteur de la piste change sur les clips. Les nouvelles couleurs quant à elles, facilitent la lecture des séquences. 

Par ailleurs, la fonctionnalité d’Amélioration Vocale, qui supprime instantanément les bruits indésirables et améliore les dialogues mal enregistrés, est d’ores et déjà disponible depuis le mois de février !

Un écosystème qui restera ouvert aux plugs in et partenaires

Alors que la course au meilleur modèle fait rage entre les entreprises du secteur de l’IA générative, Adobe entrevoit un avenir  plus diversifié sachant que pour la plupart des utilisateurs d’Adobe, l’IA générative n’est qu’un point de départ et une source d’inspiration pour explorer des pistes créatives…

Adobe a donc présenté, en avant-première sur le NAB, sa vision quant à l’intégration de modèles d’IA générative tiers directement dans les applications Adobe telles que Premiere Pro.  Creative Cloud a toujours bénéficié d’un riche écosystème de partenaires et de plugins ce qui  renforce la position de Premiere Pro en tant qu’outil vidéo professionnel flexible et agile qui s’adapte à tous les workflows.

Les utilisateurs Adobe continueront avoir le choix et des possibilités infinies pour créer et éditer le futur du divertissement et des médias. Les premières explorations montrent la manière dont les monteurs vidéo professionnels pourront,  à l’avenir, exploiter les modèles de génération vidéo d’OpenAI et de Runway, intégrés à Premiere Pro, pour générer des b-roll à monter dans leur projet.

Elles montrent également comment ils pourraient utiliser Firefly ou des modèles tiers tels que Pika Labs avec l’outil Generative Extend pour ajouter quelques secondes à la fin d’un plan. 

” En proposant de nouvelles fonctionnalités d’IA générative optimisées par Adobe Firefly et d’autres modèles tiers, Adobe permet à ses utilisateurs d’accéder à un éventail de nouvelles fonctionnalités sans avoir à quitter les workflows de production qu’ils utilisent quotidiennement dans Premiere Pro et les créateurs ont plus que jamais le choix et la flexibilité ultimes pour concrétiser leur vision, souligne Fred Rolland, Responsable International du Développement Stratégique pour la Video chez Adobe.

“En intégrant largement les innovations de l’IA générative dans les workflows d’origine de Premiere Pro, nous remédions aux difficultés concrètes rencontrées par les monteurs au quotidien, tout en leur donnant plus de temps pour se concentrer sur l’aspect créatif de leur métier.”