Post Doc - Optimisation d'une scène vidéo 3D encodée par une représentation neuronale sur 12 mois - F/H at Orange

about the role

Votre rôle est d'effectuer un travail de postdoc afin d'optimiser un algorithme de rendu temporel de scènes encodées via des représentations neuronales de champs de radiance.
De nouveaux formats vidéo «volumétriques» sont aujourd'hui en cours de développement afin de proposer plus d'immersion dans les scènes filmées, avec plus de possibilités de navigation pour l'utilisateur (free navigation, free view-point, 6DOF). Les nuages de points (Point Clouds) et les maillages 3D sont deux exemples de formats largement étudiés pour combiner couleurs et profondeurs dans un modèle 3D permettant la visualisation de la scène sous différents angles. Mais une approche très disruptive, publiée en 2020 (Neural Radiance Field - NeRF [1]), ouvre de nouvelles voies très prometteuses. La représentation d'une scène de façon implicite sous forme de champ de radiance encodé grâce à un réseau de neurones dédié permet de rendre des vues virtuelles de la scène avec une qualité photo-réaliste très élevée. Plusieurs publications ont déjà tenté d'ajouter la dimension temporelle à cette nouvelle représentation de scène. Certaines autorisent de petits mouvements quand les différentes photos de la scène ne sont pas prises simultanément [2]. D'autres publications concernent la reproduction d'un mouvement réel de manière implicite mais pour des scènes très courtes [3] et [4]. D'autres travaux produisent une représentation plus classique du mouvement avec une représentation implicite de la 3D pour des objets rigides [5] [6]. Enfin de nombreux articles abordent la déformation d'objets 3D, tels que Dynamique Fusion [7]. Ils nécessitent dans ce cas un suivi dans le temps d'un ensemble dense de points de la scène (registration).
Vos actions permettront de poursuivre le développement d'une solution sur le rendu temporel de scènes encodées via des représentations neuronales, pour représenter efficacement les déformations des scènes, afin de suivre le mouvement, tout en conservant le bénéfice des solutions de type NeRF pour le rendu très photo-réaliste des scènes.
Une première étude permettra d'analyser les différentes solutions pour détecter et représenter efficacement le mouvement dans la scène.
Un algorithme sera ensuite développé afin de mettre en oeuvre une solution d'encodage du mouvement de la scène par un suivi temporel de points.
La réalisation de captations expérimentales en studio permettra l'analyse des performances de l'algorithme. Ce travail pourra également être complété par la mise en place de tests subjectifs permettant de mieux mesurer l'apport de la solution.
[1] Martin-Brualla, R., Radwan, N., Sajjadi, M. S., Barron, J. T., Dosovitskiy, A., & Duckworth, D. (2020). Nerf in the wild: Neural radiance fields for unconstrained photo collections. arXiv preprint arXiv:2008.02268.
[2] Park, K., Sinha, U., Barron, J. T., Bouaziz, S., Goldman, D. B., Seitz, S. M., & Brualla, R. M. (2020). Deformable Neural Radiance Fields. arXiv preprint arXiv:2011.12948.
[3] Li, Z., Niklaus, S., Snavely, N., & Wang, O. (2020). Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes. arXiv preprint arXiv:2011.13084.
[4] Tretschk, E., Tewari, A., Golyanik, V., Zollhöfer, M., Lassner, C., & Theobalt, C. (2020). Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Deforming Scene from Monocular Video. arXiv preprint arXiv:2012.12247.
[5] Yuan, W., Lv, Z., Schmidt, T., & Lovegrove, S. (2020). STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering. arXiv preprint arXiv:2101.01602.

about you

Formation :
  • Doctorat académique ou industriel

Expériences souhaitées :
  • Domaine de recherche : Vidéo immersive, multi-vues, synthèse de vue, avec une méthodologie solide pour l'évaluation théorique.
    • Docteur en traitement du signal, traitement d'images, vision par ordinateur

  • Maîtrise des techniques d'apprentissage IA adaptées à l'image
  • Maîtrise des outils de développement algorithmique : C/C++, Python, Docker

additional information

Le développement d'un algorithme d'encodage du mouvement par un suivi temporel des points permettant le rendu temporel de scènes encodées via des représentations neuronales est une tâche appliquée très complémentaire des études théoriques à mener au préalable sur le domaine.
Grace aux moyens de captation vidéo multi-caméras mis en place dans le studio Orange Atalante, ces travaux permettront également la génération de contenus de test et de démonstration qui pourront alimenter les autres travaux de recherche complémentaires à Orange autour des formats immersifs, mais également les échanges d'informations et d'idées avec les chercheurs et les techniciens de l'équipe.

department

Orange est l'un des principaux opérateurs de télécommunication dans le monde, avec un chiffre d'affaires de 42 milliards d'euros en 2019 et 143 000 salariés au 30 juin 2020, dont 84 000 en France. Le Groupe servait 253 millions de clients au 30 juin 2020, dont 208 millions de clients mobile, 21 millions de clients haut débit fixe. Le Groupe est présent dans 26 pays. Orange est également l'un des leaders mondiaux des services de télécommunication aux entreprises multinationales sous la marque Orange Business Services.
Orange est un acteur clé de l'innovation numérique. Dans un secteur des technologies de l'information et de la communication qui connaît un bouleversement de sa chaîne de valeur, avec la multiplication des acteurs et l'apparition de nouveaux modèles économiques, l'innovation constitue un levier majeur de croissance pour le groupe Orange.
La mission de la division Technology and Global Innovation (TGI), « Préparer le futur, construire le présent » s'inscrit dans la stratégie du Groupe :
  • Ancrés dans le présent, nous oeuvrons pour une innovation accessible à tous. Nous garantissons l'excellence technologique de nos réseaux et plateformes de services pour répondre aux attentes de nos clients en matière de qualité et de disponibilité.
  • Tournés vers le futur, nous anticipons les évolutions du monde numérique. Nous mobilisons nos capacités de recherche pour nourrir une innovation responsable au service de l'humain, éclairer les choix stratégiques du Groupe à long terme et influencer l'écosystème digital mondial.
  • Ensemble, nous générons durablement de la valeur pour le Groupe et pour la marque Orange

Nous priorisons nos choix d'innovation pour et au plus près de nos marchés, en s'appuyant sur nos atouts et notre capacité de différenciation. Nous favorisons des solutions mutualisées garantissant des effets d'échelle. Nous formons et développons les expertes et les experts des technologies d'aujourd'hui et de demain, au service des pays et BUs. Nous veillons à une amélioration continue de la performance de nos services et de notre efficacité.
La division TGI rassemble, dans le monde, 6000 salariés dédiés à la recherche et l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientits, sociologues, graphistes, marketeurs, experts en cybersécurité…), les femmes et les hommes de TGI sont à l'écoute et au service des pays, des régions et des businness units pour faire d'Orange un opérateur multiservices de confiance.
Votre travail s'inscrira dans le cadre des activités de recherche conduites au sein de la direction Home Services d'Orange Labs Services, dans l'équipe Content Video Audio, et sur un axe visant à développer des solutions techniques innovantes pour la captation, la compression et l'évaluation de la qualité perçue de contenus audio et vidéo immersifs.

contract

Post Doc

Remember to mention that you found this position on ECE CareerGate