Robbie Cooper, co-fondateur de Metapixel, a une vision. «Je veux des personnages entièrement animés et crédibles dans un jeu ou un environnement VR qui réagissent de manière totalement naturelle. Avoir ce sentiment de vouloir les atteindre et les toucher parce qu’ils sont si réels. C’est ainsi que devrait être un monde VR.
Il n’en rêve pas seulement: lui et le Métapixel L'équipe travaille actuellement à rendre cela possible. À l'aide d'un incroyable appareil photo et de logiciels sur mesure, Metapixel crée des avatars étonnamment réalistes avec fonctionnalités photoréalistes, basées sur des images haute résolution d'une personne réelle, prêtes à être utilisées dans des jeux, des films et au-delà. Nous avons visité le bureau de Metapixel à Brighton, au Royaume-Uni, pour voir la technologie en action et créer notre propre avatar.
Avatar photo-réel
La plate-forme photographique ressemble à un portail vers une autre dimension; un simple clic sur l'obturateur suffit pour vous propulser à travers les galaxies ou dans le temps. Il y en a 102
Appareils photo Nikon D810 montés dessus, tous équipés de l'un des trois objectifs différents: un zoom 50 mm, 85 mm ou 72-300 mm.En rapport
- J'ai utilisé une application pour créer des modèles 3D avec mon iPhone, et c'est incroyablement génial
- Un système d'impression 3D peut créer des mains bioniques personnalisées en moins de 10 heures
- Les selfies passent en 3D avec le nouveau mode appareil photo de Snapchat qui répond au mouvement
Bien sûr, il n’y a pas de zapping de galaxie, mais une fois l’obturateur relâché, chaque appareil photo prend une photo au format RAW de 36 mégapixels du sujet sous presque tous les angles imaginables. Ces clichés sont ensuite transférés au système informatique de Metapixel où ils sont traités en quelques secondes. Au cours de l'heure qui suit environ, le logiciel crée à l'écran un étonnant avatar photo-réel, ressemblant exactement au sujet. C'est en fait une technique appelée photogrammétrie, où les photos prises sous différents points de vue sont assemblées pour former un rendu unique à 360 degrés similaire à un scan corporel 3D.
Et quand je dis exactement comme le sujet, je le pense. Le résultat est étrange. Pour le tester, j'ai été invité à me tenir au milieu du rig et à immortaliser mon image pour toujours. C’est probablement la première et la seule fois où 102 caméras seront pointées dans ma direction en même temps. On m'a dit de fixer un seul point et de rester complètement immobile, les bras légèrement tendus. de manière inconfortable, j'ai attendu que les appareils photo soient amorcés - puis j'ai été aveuglé par un flash alors que ma photo a été pris.
Plus l’avatar a une apparence et un comportement réalistes, plus vous êtes impliqué dans ce qui se passe.
Chaque image est soigneusement vérifiée pour détecter les erreurs, l'éclairage étrange et les ombres (qui peuvent perturber l'ordinateur et gâcher l'image finale), ainsi que les images manquantes lorsqu'un appareil photo a raté son tir pour une raison quelconque. Le propre logiciel de Metapixel, appelé Capturing Reality, fait ensuite tout le gros du travail. Il rassemble chaque photo et mappe l'image sur un maillage, créant ainsi l'avatar final. Il a fallu 10 à 15 minutes pour construire la première étape, puis encore 20 minutes pour ajouter la texture et la couleur.
Vous vous retrouvez avec la photo vue ici, un avatar si réel qu’il en fait peur. C’est également considéré comme une qualité « normale ». Il existe d'autres étapes qui augmentent encore le niveau de détail. L’ensemble du processus a pris moins d’une heure, y compris toute la configuration de la caméra et le traitement.
Les possibilités
Que peut-on faire avec votre avatar parfait? Il existe une multitude de possibilités passionnantes, mais pour Cooper, tout tourne autour de la réalité virtuelle. "Combinez cela avec une très bonne intelligence artificielle, et le monde devient réel", a-t-il déclaré. Par exemple, à mesure que l’IA s’améliore, m’a-t-il dit, les avatars pourraient comprendre où vous « regardez » dans un jeu VR et réagir en conséquence. Plus l’avatar a une apparence et un comportement réalistes, plus vous êtes impliqué dans ce qui se passe.
Il a souligné le travail de studio d'animation 3Latéral, où, grâce à la technologie de suivi du visage, des avatars photo-réels reflètent les expressions faciales et les réactions d'un acteur, comme preuve de ce sur quoi on travaille déjà. Se retrouver face à face avec ce qui est presque une personne vivante et respirante dans un jeu ou un environnement VR a le potentiel de changer la façon dont nous interagissons et sympathisons avec les personnages du jeu.
Il y a aussi un potentiel passionnant dans les films. Un acteur scanné de cette façon devient essentiellement immortel. Imaginez des acteurs continuant à travailler même après leur mort, ou appelant un scan d'il y a des années pour jouer une scène dans lequel l'acteur doit paraître plus jeune - tout cela est possible avec un film d'apparence identique reproduit numériquement avatar. Il va au-delà de l’animation 3D et peut utiliser les techniques de capture de mouvement.
Combinez le scan avec une imprimante 3D et vous obtenez soudainement des figurines d’action absolument parfaites. Introduisez la technologie dans les musées et les environnements d’enseignement et vous revenez à la vision de Cooper des personnages auxquels vous croyez. Vous verrez peut-être un jour et entendrez un personnage historique raconter l’histoire de sa vie, avec une véritable émotion inscrite sur un visage qui semble complètement humain. C’est une chose passionnante, et les possibilités continuent de se présenter à mesure que vous y réfléchissez.
Presque la réalité
Nous sommes encore loin de voir tout cela dans la réalité. Metapixel a parcouru un long chemin très rapidement; l'entreprise n'a construit sa première plate-forme photographique, avec 30 caméras à l'époque, qu'à la fin de 2015. Bien qu'il se soit développé, le logiciel personnalisé est toujours en cours d'élaboration et des mises à niveau seront bientôt disponibles pour rendre le processus de prise de photos plus efficace. En outre, la réalité virtuelle elle-même – la technologie clé de Metapixel – en est encore à ses balbutiements.
Metapixel attire beaucoup d'attention pour une si jeune entreprise et travaille avec une production cinématographique entreprise, développeurs VR et même organisateurs de conférences pour fournir à tous des scans personnels du corps entier sur une clé USB participants. Imaginez avoir la chance d'utiliser cet avatar lors d'une conférence tenue en réalité virtuelle dans le futur. Les résultats sont impressionnants et passionnants pour ce qui est vraiment une technologie à un stade précoce. Nous avons hâte de le voir évoluer.
Recommandations des rédacteurs
- Ce moniteur 8K dispose d'une technologie 3D qui peut être visualisée sous tous les angles
- Les nouveaux écouteurs Model One de VZR offrent aux joueurs un son 3D de qualité audiophile
- Les Doodles deviennent de l'art en réalité augmentée avec le nouvel outil 3D Paint de Snapchat
- Vous ne pouvez pas vous permettre cette tête de trépied à 150 $? Imprimez simplement en 3D l'Edelkrone Ortak FlexTilt
- Ikea crée une gamme d'accessoires d'accessibilité imprimés en 3D pour les joueurs
