Les avatars photoréalistes de Meta peuvent désormais être générés avec le scan IR de l’iPhone.
Facebook nous a fait rêver avec l’annonce de « Codec avatars » permettant d’avoir des avatars ultra réalistes dans les prochains casques VR. Construits avec des serveurs déportés, ils peuvent être pilotés en temps réel par un prototype de casque VR doté de cinq caméras. Deux d’entre elles sont là pour capter le mouvement de vos yeux. Et, les 3 autres permettent de capturer le bas du visage.
Le tout donne un réalisme incroyable mais n’est pas forcément simple à mettre en place. Notamment pour avoir un avatar ressemblant au possesseur du casque. Et bien, à la manière de l’Unreal Engine 5 qui peut désormais transformer des Mesh 3D en MetaHuman, la firme Meta ajoute la possibilité de faire de même avec un Iphone. Exit, donc le système MUGSY, ultra coûteux doté de 171 caméras haute résolution pour capturer votre visage.
Meta se sert donc désormais de la Caméra infra rouge de l’iPhone pour effectuer la capture de visage nécessaire. Il faudra tout de même procéder au scan de 65 expressions faciales pour que leur logiciel s’en sorte. Selon les chercheurs, ce processus de numérisation prend en moyenne 3 minutes et demie. Mais la génération de l’avatar prend elle ensuite six heures sur une machine équipée de quatre GPU haut de gamme.
L’utilisation de l’iPhone pour les avatars de Meta
Meta affirme que la qualité de son résultat est à la pointe de la technologie. Cependant, le système actuel ne peut pas gérer les lunettes ou les cheveux longs. Il est aussi limité à la tête, et ne peut pas capter au reste du corps. Même avec l’assistance de Clood computing pour les calculs, il y a donc encore pas mal de chemin à parcourir avant de rendre ça opérationnel pour l’utilisateur lambda.
