Magisk AR-demo förvandlar 2D-foton till 3D-animationer i "Harry Potter"-stil

Photo Wake-Up: 3D Character Animation från ett enda foto

Föreställ dig om du kunde rikta din smartphone, surfplatta eller augmented reality-headset (AR) mot en stillbild och se den komma till liv framför dina ögon. Detta är något som är möjligt med den senaste augmented reality-tekniken, som t.ex Apples ARKit eller Googles ARCore. Men även om vi har sett det gjort tidigare, har det vanligtvis varit begränsat till bara en eller två utvalda bilder - till exempel som ett verktyg för att animera reklamskyltar.

Rekommenderade videor

Forskare från University of Washington och Facebook har byggt något som är mycket mer mångsidigt. Deras nytt "Photo Wake-Up"-projekt kommer att animera stationära karaktärer i några bild, vilket resulterar i att de springer igång för att springa mot dig ur bakgrunden. För vem har tid med tråkiga gamla stillbilder när vi når de sista dagarna av 2018?

Forskarna skriver att: "De viktigaste bidragen från denna artikel är [för det första] en tillämpning av att titta på och animera människor i enstaka foton i 3D. [För det andra], en ny 2D-förvrängningsmetod för att deformera en justerbar mallkroppsmodell för att passa personens komplexa siluett för att skapa ett animerbart nät. Och [för det tredje], en metod för att hantera partiella självocklusioner. Vi jämför med toppmoderna relaterade metoder och utvärderar resultat med mänskliga studier. Vidare presenterar vi ett interaktivt gränssnitt som gör det möjligt att omposera personen i 3D, och en förstärkt verklighetsinställning där den animerade 3D-personen kan komma ut från fotot till den verkliga världen.”

Relaterad

  • Microsoft och Samsung skulle kunna gå ihop om ett nytt AR-headset
  • Amazons nya AR-app låter dig ha kul med alla dessa Prime Day-boxar
  • Vill du se Snoop Dogg i AR? Du måste köpa en flaska av hans nya vin

Som framgår av videon ovan visades denna effekt framgångsrikt på fotografier, affischer och konstverk. För närvarande är forskningen fortfarande i ett relativt tidigt skede, även om den visar sig vara imponerande skicklig på att känna igen mänskliga figurer över en bred utbud av medier, oavsett om de är modernistiska målade figurer i en Picasso-målning eller sådana som är tagna från en svartvit fotografera.

I sin uppsats föreslår forskarna att detta arbete kan öppna upp nya sätt att "njuta och interagera" med bilder. Om liknande interaktioner kunde utvidgas till att t.ex. få fotografiska bilar att köra, moln att röra sig och vilket annat antal möjligheter som helst, kan detta visa sig vara början på något väldigt spännande. Som det är kunde vi verkligen se att det sparar animatörer avsevärd tid.

Tidningen, med titeln "Photo Wake-Up: 3D Character Animation from a Single Photo", är finns att läsa online.

Redaktörens rekommendationer

  • Apples nya AR-headset kan använda Face ID-teknik för att spåra handgester
  • Ny programvara kommer att förvandla 2D-foton till 3D-holografiska bilder för visning
  • Amazons nya AR-verktyg låter dig fylla ett rum med flera virtuella föremål
  • Doodles blir konst med augmented reality med Snapchats nya 3D Paint-verktyg
  • Intern iOS 13-kod spelar bönor om nya Apple AR-headset

Uppgradera din livsstilDigitala trender hjälper läsare att hålla koll på den snabba teknikvärlden med alla de senaste nyheterna, roliga produktrecensioner, insiktsfulla redaktioner och unika smygtittar.