IMG_3976RECOVER 3D: le premier studio de  vidéo virtuelle

Le projet RECOVER 3D propose d’élaborer le premier système intégré de vidéo virtuelle pour le marché de la télévision et du cinéma.

Reproduire le réel en images de synthèse a mobilisé d’importantes recherches depuis une vingtaine d’années. Mais aucun système ne permet encore aujourd’hui de transcrire automatiquement  un acteur réel en mouvement dans le monde virtuel de l’image 3D. Les systèmes actuels de « reliefs » reposent sur la stéréoscopie et ne peuvent transcrire la réalité volumétrique des acteurs ou des décors  naturels en mouvement. L’accès à cette information volumétrique permettrait une nouvelle liberté de création d’images.

Là est l’ambition du projet RECOVER 3D : apporter la troisième dimension à l’industrie de l’image  grâce à des traitements numériques d’images  totalement originaux.

En effet, RECOVER 3D vise à libérer la création d’images grâce à un nouveau système de
« clonage virtuel » des acteurs et des décors. Le projet débouchera sur une solution intégrée permettant :

  • de transcrire dans le monde virtuel en 3D et en temps réel des images filmées dans le monde réel ;
  • de les mettre à la disposition d’un réalisateur au sein d’une régie virtuelle capable d’éditer les images issues de caméras virtuelles dans tous les axes de vue et de les composer avec des décors et des éclairages virtuels pour générer une image finale.

RECOVER 3D est un système complet combinant :

  • des caméras fixes installées au sein d’un CYBERDOME et capturant un sujet filmé dans tous les axes de l’espace
  • un logiciel de reconstruction dynamique temps réel de l’image 3D
  • une régie virtuelle

Le projet intègre la fabrication d’un studio prototype dans l’ile de la Réunion, et la production d’images tests apportant la preuve de la pertinence et du progrès qualitatif apporté par la technique utilisée.

Le projet RECOVER 3D créera une valeur économique considérable, grâce à la capacité de la technologie à produire des images dans des conditions de créativité inconnues jusqu’alors et pour un coût beaucoup plus compétitif que les moyens conventionnels.

Le projet regroupe quatre partenaires complémentaires et acteurs de longue date de la production audiovisuelle, des sciences et de la technologie d’image de synthèse. Ce consortium allie la qualité scientifique et technologique à une capacité industrielle de premier ordre. Le succès du projet permettra à ces acteurs de se renforcer considérablement sur et au-delà de leur périmètre commercial ou scientifique actuel, tant en France qu’à l’international.

Une technologie innovante

Le principe de capture 3D développé dans le cadre de ce projet permettra de réaliser un CyberDome couplant prises de vue mono et multiscopiques. Les différents systèmes devront tous être synchronisés et calibrés (géométrie et photométrie). Les caméras multiscopiques seront conçues par assemblage de caméras mono sur la base d’un bâti spécifiquement réalisé à cet effet qui permettra de :

  • rigidifier la structure,
  • aligner parfaitement les centres optiques des différentes caméras
  • régler parfaitement les écarts inter centres optiques de manière équidistante

ILOI-recover-3D_01Ces systèmes seront composés de quatre caméras mono. Le traitement des signaux vidéo sera assuré par une Quadro SDI Capture qui permettra sous CUDA de traiter simultanément sur la mémoire du GPU jusqu’à quatre sources HD-SDI et de travailler avec tous les principaux formats SMPTE.
(image: Schéma de fonctionnement d’une unité de capture RECOVER 3D)

Géométrie de prise de vue :

ILOI-recover-3D_02Les caméras 3D qui vont être conçues (par assemblage de 4 caméras mono) devront impérativement respecter une géométrie de capture dite simplifiée qui se caractérise par des axes optiques parallèles, des centres optiques alignés et équidistants les uns des autres et enfin par des plans optiques coplanaires.

Les applications de Recover 3D

RECOVER 3D présente une alternative aux studios conventionnels qui reposent sur des caméras mobiles opérées par des cadreurs, et sur une régie qui contrôle la capture d’image et les mouvements de caméra. Il choisit grâce à un mélangeur vidéo les sources et les effets utilisés pour le montage/diffusion.

RECOVER 3D n’est pas une solution de niche : il vise l’ensemble des Broadcasters qui exploitent des studios pour produire des émissions plateaux.

Les studios virtuels utilisés par exemple pour diffuser le bulletin météo ou les élections reposent sur une combinaison de personnages réels et d’un décor graphique. Ce segment de marché constitue une seconde cible pour RECOVER 3D.

RECOVER 3D sera proposé aux Broadcasters leaders qui recherchent des technologies capables de différencier leur contenu par rapport à la concurrence, mais aussi à ceux qui sont sensibles avant tout au prix des solutions.

RECOVER 3D dépasse les attentes des Broadcasters :

Innovation – révolution dans l’art de la télévision :

  • RECOVER 3D permet en temps réel à 25 images/s la reconstruction automatique 3D d’images de qualité Broadcast en HD
  • RECOVER 3D sort la 3D du ghetto de l’image de synthèse pour la mettre au service du réalisateur de télévision et du marché de l’image réelle
  • RECOVER 3D révolutionne la prise de vue. Son influence sur la syntaxe cinématographique et le rendu d’images crée une rupture dans la fabrication d’images vidéo.
  • RECOVER 3D ouvre la voie à la TV interactive en offrant la possibilité d’accueillir des clones de téléspectateurs sur le plateau et de les intégrer à l’image virtuelle.

Fonctionnalités – RECOVER 3D ouvre le champ des possibles en production vidéo :

  • RECOVER 3D libère la créativité du réalisateur en permettant des mouvements de caméra qui sont impossibles par des moyens classiques. La « virtualisation » en temps réel autorisera la reproduction et la transmission d’événements télévisés en vidéo 3D, avec une liberté de cadrages, de ralentis et d’analyses inconnues jusqu’à présent.
  • Grâce à la 3D et à la dématérialisation de l’image, le réalisateur dispose de la totalité de l’image et peut reprendre en  temps réel comme en postproduction tout son sujet sans nécessité de procéder à de nouvelles prises de vue
  • La composition, l’éclairage et la visualisation des scènes reconstruites sont assurés par des caméras et des lumières virtuelles grâce à la régie virtuelle

1re expérimentation à La Réunion en décembre fin 2012

ILOI-recover-3D_03-1

Moment historique pour l’ILOI que ce samedi 15 décembre 2012, dans l’ancien hangar à céréales du Port-Ouest, puisque l’Institut de l’image de l’océan Indien et son partenaire XD Productions expérimentaient le premier studio de vidéo virtuelle en Europe.

ILOI-recover-3DInstallé au sein d’un CyberDome monté pour l’occasion, un système multicamera a filmé et « cloné » deux jeunes skateurs afin de réaliser des scènes d’action pour un pilote d’une série pour France 2. Filmés sur « fond vert », les jeunes acteurs clonés intégreront en postproduction une scène de surf sur une vague géante.

Il s’agit d’un nouveau système de « clonage virtuel » des acteurs et des décors, élaboré dans le cadre du projet de recherche « RECOVER 3D » en partenariat avec l’ILOI, l’université de Reims, XD productions et Euro Média Group.

Ce nouveau procédé vise à transcrire automatiquement un acteur réel en mouvements dans le monde virtuel de l’image 3D. À terme, « RECOVER 3D » propose d’élaborer le premier système intégré de vidéo virtuelle pour le marché de la télévision et du cinéma.

Ce projet a été retenu dans le cadre du programme national « Projets d’avenir » financé par le Grand Emprunt. La Réunion, par l’intermédiaire de l’ILOI a été choisie comme terrain d’expérimentation du projet de recherche.

Les partenaires

Le projet de recherche « RECOVER 3D » a été initié en 2011,  par quatre partenaires français :

« RECOVER 3D » a été sélectionné parmi 140 dossiers par la commission scientifique des « Investissements d’Avenir – Développement de l’Économie Numérique », dans la catégorie « Technologies de numérisation et de valorisation des contenus culturels, scientifiques et éducatifs». Ce projet majeur de 4,5 M€, dont  2 M€ de subventions du « Grand Emprunt »  s’étend sur 36 mois et mobilise 531 hommes de 2012 à 2015.

ILOI-recover-3D_XD-prod

XD Productions est le porteur du projet et a fédéré les autres partenaires autour du projet. Il s’agit d’un studio de production spécialiste de la synthèse d’image et des effets spéciaux 2D et 3D. Selon le livre blanc des TIC édité par le ministère de l’industrie, XD Productions est l’un des acteurs clés des technologies 3D en France. Dès sa fondation en 1998, ce studio a eu comme objectif d’inventer et mettre au point une technologie compétitive de production de vidéo 3D en temps réel. Pour cela, XD Productions a développé la technologie du CyberDome, un système composé d’équipements et d’un logiciel de reconstruction 3D non invasif à partir de flux de vidéo multiaxiaux synchronisés.

Le concept de la reconstruction dynamique 3D au sein d’un Cyberdome est au centre même des idées qui ont fondé XD Productions. Ce dernier a toute la légitimité pour être le porteur du projet, pour avoir développé sur fonds propres depuis l’origine de sa création en 1998 les technologies 3D qu’il utilise au quotidien pour ses clients pour la production de contenu en images réelles et virtuelles.

ILOI-recover-3D_Univ-RCAL’Université de Reims-Champagne-Ardennes est partenaire de ce projet à travers son laboratoire CReSTIC, (labellisé Equipe d’Accueil 3804) qui fédère l’ensemble des efforts de recherche dans le domaine des STIC. Le CReSTIC est organisé autour de trois groupes de recherche dont le SIC (Signal, Image et Connaissance) et d’une ERT interne. Il est également le laboratoire d’appui pour une offre de formation supérieure cohérente dans le secteur des STIC, notamment en doctorat « Sciences, Technologies, Santé ».

Le groupe SIC, dirigé par Laurent Lucas et comptant 37 enseignants-chercheurs, contribue directement au projet RECOVER 3D. Ce groupe est spécialisé en traitement de l’image et a développé une très forte expertise dans le domaine de la vision relief 3D autostéréoscopique. Sur la période 2006-2010, le groupe SIC a produit 265 publications dans le cadre de revues ou conférences internationales.

L’équipe projet formée autour de RECOVER 3D regroupe des compétences en informatique graphiques et vision 3D dans les domaines de la modélisation, de la visualisation, du rendu et de la simulation. Par ailleurs, les savoir-faire acquis par le groupe depuis 2008 dans les domaines de la vision relief 3D autostéréoscopique (projets ANR CamRelief et CPER CREATIS) sur l’ensemble de la chaîne de traitements allant de la capture à la restitution seront directement mis en œuvre dans le cadre de ce projet.

ILOI-recover-3D_euromediaEURO MEDIA France est partenaire industriel du projet RECOVER 3D. EURO MEDIA GROUP est né du rapprochement en 2007 entre UBF Media Group, une société hollandaise créée en 1982 et Euro Media Télévision, une société française créée en 1983. Présent dans sept pays (France, Belgique, Pays-Bas, Allemagne, Royaume-Uni, Suisse et Italie), Euro Media Group se positionne désormais comme le leader sur le marché  de la prestation technique audiovisuelle en Europe en chiffre d’affaires et capacité de production (unités mobiles et studios). Son chiffre d’affaires atteint 262 M€ en 2009, dont la moitié est réalisée en France à travers sa filiale EURO MEDIA France qui est la fusion de trois entreprises leaders sur les marchés du sport et du divertissement : VCF, SFP et Euro Media Télévision.

ILOI-recover-3D_ILOIL’Institut de L’image de l’Océan Indien est un établissement d’enseignement supérieur de la formation professionnelle et continue, spécialisé dans les domaines de l’image et des nouveaux médias.

Basée à l’île de la Réunion, l’école compte 230 étudiants qui reçoivent une double formation professionnelle et universitaire en partenariat avec l’université Paris VIII et l’école de journalisme de Marseille. L’ILOI fait partie du réseau ETNA – European Training Network for Animation, le plus grand réseau européen d’écoles d’animation soutenu par le programme MEDIA Europe.

La participation d’ILOI au consortium permettra à la fois de faire valider la solution par un acteur externe à l’équipe de développement et de former une génération de jeunes spécialistes en reconstruction 3D, capables de favoriser l’essaimage de la technologie.

Afin d’assurer un retour d’utilisateur pertinent pour les développeurs de RECOVER 3D, l’ILOI effectuera la production d’un pilote de série TV (magazine scientifique) mêlant des personnages virtuels et des personnages réels en constante interaction. Le personnage central, présentateur de cette série trouvera dans sa présence au centre de ce projet d’émission scientifique le rôle historique d’incarner le premier clone virtuel d’acteur en mouvement.

D’un point de vue technique, l’ILOI assurera la formation de futurs formateurs ainsi que  l’animation  complète du pilote, la reconstruction 3D du personnage, sa mise en scène et la postproduction du test.

Financement public

L’aide de l’Etat autorisera la mise sur le marché de  systèmes d’imageries 3D pour lesquels la France a depuis 30 ans établi un leadership reconnu.  L’accès à un financement privé pour un tel projet est très aléatoire, eu égard au risque technologique inhérent au projet. En revanche, RECOVER 3D est un bon candidat au financement public parce que ses retombées vont au-delà d’une avancée technologique et du simple succès d’une activité commerciale. En effet, ces retombées embrassent la société du numérique appelée de ses vœux par l’État et par la société dans son ensemble.