Robbie Cooper, współzałożyciel Metapixel, ma wizję. „Chcę w pełni animowanych, wiarygodnych postaci w grze lub środowisku VR, które reagują w całkowicie naturalny sposób. Mieć to uczucie chęci wyciągnięcia ręki i dotknięcia ich, ponieważ są tak prawdziwi. Taki właśnie powinien być świat VR.”
On nie tylko o tym marzy: on i on Metapiksel zespół faktycznie pracuje nad umożliwieniem tego. Wykorzystując niesamowitą kamerę i niestandardowe oprogramowanie, Metapixel tworzy zdumiewająco realistyczne awatary funkcje fotorealistyczne, oparte na obrazach rzeczywistej osoby w wysokiej rozdzielczości, gotowe do wykorzystania w grach, filmach i poza. Odwiedziliśmy biuro Metapixel w Brighton w Wielkiej Brytanii, aby zobaczyć technologię w akcji i stworzyć własnego awatara.
Fotorealistyczny awatar
Zestaw kamer wygląda jak portal do innego wymiaru; wystarczy jedno kliknięcie migawki, aby przenieść się w podróż przez galaktyki lub czas. Jest ich 102 Aparaty Nikona D810 zamontowany na nim, a każdy wyposażony w jeden z trzech różnych obiektywów — zmiennoogniskowy 50 mm, 85 mm lub 72–300 mm.
Powiązany
- Używałem aplikacji do tworzenia modeli 3D na moim iPhonie i jest ona szokująco świetna
- System druku 3D może wypluć specjalnie dopasowane bioniczne dłonie w czasie krótszym niż 10 godzin
- Selfie właśnie przeszło w tryb 3D dzięki nowemu trybowi aparatu Snapchata, który reaguje na ruch
Oczywiście nie ma tu mowy o przełączaniu galaktyk, ale po zwolnieniu migawki każdy aparat wykonuje 36-megapikselowe zdjęcie obiektu w formacie RAW pod niemal każdym możliwym kątem. Zdjęcia te są następnie przesyłane do systemu komputerowego Metapixel, gdzie są przetwarzane w ciągu kilku sekund. W ciągu mniej więcej godziny oprogramowanie tworzy na ekranie niesamowity, fotorealistyczny awatar, wyglądający dokładnie tak, jak obiekt. Właściwie jest to technika tzw fotogrametria, gdzie zdjęcia zrobione z różnych punktów widzenia są łączone w jeden, 360-stopniowy render podobny do trójwymiarowego skanu ciała.
I kiedy mówię dokładnie tak jak w temacie, mam to na myśli. Rezultat jest niesamowity. Aby to przetestować, poproszono mnie, abym stanął pośrodku platformy i aby mój wizerunek został uwieczniony na zawsze. To prawdopodobnie pierwszy i jedyny raz, kiedy 102 kamery zostaną skierowane jednocześnie w moją stronę. Kazano mi patrzeć w jeden punkt i pozostać całkowicie nieruchomym, z lekko wyciągniętymi ramionami niewygodnie, czekałem, aż aparaty zostaną przygotowane, a potem oślepiła mnie lampa błyskowa, gdy robiłam zdjęcie był zabrany.
Im bardziej realistycznie wygląda i zachowuje się awatar, tym bardziej angażujesz się w to, co się dzieje.
Każde zdjęcie jest dokładnie sprawdzane pod kątem błędów, dziwnego oświetlenia i cieni (które mogą zmylić komputer i zepsuć obraz końcowy), a także pod kątem brakujących obrazów, gdy z jakiegoś powodu aparat nie zadziałał. Następnie całą robotę wykonuje własne oprogramowanie Metapixel, zwane Capturing Reality. Łączy każde zdjęcie i odwzorowuje obraz na siatce, tworząc ostateczny awatar. Przygotowanie pierwszego etapu zajęło od 10 do 15 minut, a następnie dodanie tekstury i koloru kolejnych 20.
W rezultacie otrzymujesz zdjęcie, które widzisz tutaj, awatar tak prawdziwy, że aż przerażający. Jest również uważana za „normalną” jakość. Istnieją inne etapy, które jeszcze bardziej podnoszą poziom szczegółowości. Cały proces, łącznie z konfiguracją aparatu i obróbką, trwał mniej niż godzinę.
Możliwości
Co można zrobić ze swoim idealnym awatarem? Istnieje mnóstwo ekscytujących możliwości, ale dla Coopera najważniejsza jest rzeczywistość wirtualna. „Połącz to z naprawdę dobrą sztuczną inteligencją, a świat stanie się prawdziwy” – powiedział. Na przykład w miarę poprawy sztucznej inteligencji, powiedział mi, awatary będą mogły zrozumieć, gdzie „szukasz” w grze VR i odpowiednio zareagować. Im bardziej realistycznie wygląda i zachowuje się awatar, tym bardziej angażujesz się w to, co się dzieje.
Wskazał na pracę studio animacji 3Lateral, gdzie dzięki technologii śledzenia twarzy fotorealistyczne awatary odzwierciedlają mimikę i reakcje aktora, co stanowi dowód na to, nad czym już pracujemy. Stanąć twarzą w twarz z tym, co jest prawie żywą, oddychającą osobą w grze lub środowisku VR może zmienić sposób, w jaki wchodzimy w interakcję i wczuwamy się w postacie w grze.
Filmy mają także ekscytujący potencjał. Aktor zeskanowany w ten sposób staje się w istocie nieśmiertelny. Wyobraź sobie, że aktorzy kontynuują pracę nawet po śmierci lub przywołują skan sprzed lat, aby odegrać scenę od aktora wymaga się, aby wyglądał młodziej — wszystko to jest możliwe dzięki cyfrowo odtworzonemu, identycznie wyglądającemu awatara. Wychodzi o krok dalej niż animacja 3D i może wykorzystywać techniki znane z motion Capture.
Połącz skanowanie z drukarką 3D, a nagle otrzymasz absolutnie idealnie wyglądające figurki. Wprowadź technologię do muzeów i środowisk dydaktycznych, a powrócisz do wizji Coopera dotyczącej postaci, w które wierzysz. Być może pewnego dnia zobaczysz i usłyszysz osobę historyczną opowiadającą o swoim życiu, z prawdziwymi emocjami zarejestrowanymi na twarzy, która wydaje się całkowicie ludzka. To ekscytująca rzecz, a możliwości pojawiają się coraz częściej, im więcej o tym myślisz.
Prawie rzeczywistość
Jeszcze trochę czasu dzieli nas od zobaczenia tego wszystkiego w rzeczywistości. Metapiksel przeszedł długą drogę bardzo szybko; firma zbudowała swój pierwszy zestaw kamer, składający się wówczas z 30 kamer, dopiero pod koniec 2015 roku. Choć oprogramowanie zostało rozszerzone, nadal trwają prace nad niestandardowym oprogramowaniem, a już wkrótce wprowadzone zostaną ulepszenia, dzięki którym proces robienia zdjęć będzie wydajniejszy. Poza tym sama rzeczywistość wirtualna – kluczowa technologia napędzająca Metapixel – jest wciąż w powijakach.
Metapixel cieszy się dużym zainteresowaniem jak na tak młodą firmę i pracuje przy produkcji filmowej firmy, programistów VR, a nawet organizatorów konferencji, aby każdy mógł dostarczać każdemu osobiste skany całego ciała na pamięci USB Uczestnicy. Wyobraź sobie, że będziesz mieć szansę wykorzystania tego awatara na konferencji odbywającej się w przyszłości w wirtualnej rzeczywistości. Wyniki są imponujące i ekscytujące, jak na tak naprawdę technologię na wczesnym etapie. Nie możemy się doczekać, aż będzie ewoluować.
Zalecenia redaktorów
- Ten monitor 8K jest wyposażony w technologię 3D, dzięki której można oglądać pod każdym kątem
- Nowe słuchawki VZR Model One zapewniają graczom audiofilską jakość dźwięku 3D
- Doodle stają się sztuką rzeczywistości rozszerzonej dzięki nowemu narzędziu 3D Paint w Snapchacie
- Nie stać Cię na głowicę statywową za 150 dolarów? Wystarczy wydrukować w 3D Edelkrone Ortak FlexTilt
- Ikea tworzy linię akcesoriów ułatwiających dostęp dla graczy, drukowanych w 3D
