Apples Augmented Reality-plattform ARKit er iOS 11s Killer-funksjon

Noen av de største teknologiselskapene – Apple, Google og Microsoft for å nevne noen – virker sikre på at utvidet virkelighet (AR) kommer til å ta smarttelefoner til neste nivå. Så langt har alt vært snakk, men det kan endre seg før slutten av dette året. Apple forbereder seg på å slippe løs ARKit, et helt nytt rammeverk for å lage denne typen innhold.

AR har vært en prioritet for Apple en stund. Selskapet har brukt mye tid og krefter ansette personale og anskaffe startups for å sikre at den har alt talentet det trenger når teknologien er moden nok for massene. Nå er vi på randen av Apples AR-fest: utgivelsen av iOS 11.

For å forstå implikasjonene av ARKit snakket vi med en utvikler som har jobbet med augmented reality-teknologi for den beste delen av et tiår, og har allerede brukt litt tid på å sette Apples utviklersett gjennom sine skritt.

Første etasje i AR

Jan-Hein Pullens og teamet hans produserer AR-innhold for kunder innen boliginnredning og eiendom industri – og etterspørselen etter deres arbeid kan skyte i været når Apple prøver å bringe teknologien til masser.

Men da Pullens og Pieter Aarts grunnla Romslig tilbake i 2009 var det teknologiske landskapet veldig annerledes. Det skulle fortsatt gå tre år før Oculus Rift Kickstarter-kampanjen til og med brakte virtuell virkelighet inn i den offentlige bevisstheten. Google Glass, et av de første høyprofilerte AR-prosjektene som kom i gang, ville ikke bli vellykket prototype før midten av 2011.

Pullens og Aarts var i utgangspunktet begeistret over utsiktene til å gi folk en måte å se hvordan store møbler kan se ut i deres eget hjem ved hjelp av AR. Imidlertid var maskinvaren for å kjøre den typen programvare ganske enkelt ikke tilgjengelig for publikum.

"For åtte år siden, for eksempel, var det ikke en iPad," sa Pullens da han snakket med Digital Trends på telefonen forrige måned. "Folk hadde stasjonære datamaskiner og telefoner."

Stasjonære PC-er er ikke ideelle for AR-innhold fordi du ikke kan flytte dem rundt for å se forskjellige vinkler. Og den gang hadde ikke smarttelefoner det mye bedre. De hadde rett og slett ikke hestekreftene (eller sensorene) som trengs for å presentere AR-programvare.

Enten du prøver å selge noen en luksussofa, eller en luksusleilighet, er det avgjørende at din virtuelle visualisering spiller på styrken til produktet. "Det må være veldig realistisk, ellers ser det gimmicky ut og som et spill," forklarte han.

I dag er det tilstrekkelig maskinvare og infrastruktur til at enkelte telefoneiere kan kjøre AR-innhold av høy kvalitet. Google Tango er den mest veletablerte plattformen på scenen akkurat nå. Dessverre er den bare kompatibel med to smarttelefoner - den Lenovo Phab 2 Pro og Asus Zenfone AR. Kjenner du noen som eier disse telefonene? Det gjør ikke vi heller. Men med iPhone inn i kampen, plutselig en stor del av smarttelefon brukere vil være AR-kompetente.

Apple åpner portene

ARKit vil bli støttet av iOS-enheter som bruker Apple A9- eller A10-prosessorer – 2017 iPad, iPhone 6S, og videre. Riktignok gjør det at millioner av brukere med eldre maskinvare ikke kan få tilgang til AR-innhold bygget ved hjelp av plattform, men det overskygger absolutt brukerbasen for Google Tango, Microsoft HoloLens og alle andre AR-plattformer.

Det er en annen komplikasjon. Noen av de mest sofistikerte AR-funksjonene krever spesialiserte sensorer, som en dybdefølende kamera. Det er sant at iPhone 7 Plus har noen dybdefølende evner, ved å bruke to linser som jobber synkronisert for å måle relativ avstand. Imidlertid, i det større opplegget med AR-teknologi, er det en relativt primitiv løsning.

I februar 2017 var det rumling om at neste iPhone ville implementere en infrarød sensor som ligner på den som ble brukt i Microsofts Kinect-tilbehør til Xbox 360, som rapportert av The Verge. Denne typen sensor vil gi mye mer detaljert informasjon om et objekts relative posisjon til enheten enn det nåværende oppsettet med to linser. Det ryktes også at Apple vil introdusere en slags komponent som tjener dette formålet som en del av 2017 iPhone-oppdateringen (les siste nytt iPhone 8 rykter), men det er ikke noe offisielt ennå.

Disse nye enhetene vil bli betraktet som basislinjen for AR-utviklere fremover, spesielt på grunn av fordelene forbundet med dybdefølende kameraer. Imidlertid bærer kombinasjonen av ARKit og nåværende maskinvare allerede frukt. Pullens og teamet hans brukte litt tid på en tidlig versjon av utviklingssettet, og de liker det de har sett.

"De første funnene vi har med Apple ARKit er lovende, de er faktisk veldig lovende," sa Pullens. Han berømmet måten plattformen takler okklusjon på, og dens evne til å hindre virtuelle objekter i å forstyrre hverandre.

For Pullens er det mest imponerende aspektet ved ARKit stabiliteten. Virtuelle objekter kan ofte "drive" når de ikke er riktig på linje med deres virkelige verden omgivelser, noe som kan være et stort problem for den typen visualiseringer han og teamet hans bruker Romslige produkter.

"Det jeg mener med drifting, er for eksempel en stol i en AR-visning," sa han. "Du vil gjerne se at stolen er veldig stabil - du vil ikke at den skal drive eller skjelve. Så de første funnene vi har med Apple er veldig lovende, fordi det er ganske stabilt.»

En virtuell skinnstol er ikke mye hjelp hvis den insisterer på å sveve mot taket, eller vingler som om det er en katt under puten.

Mens Pullen hadde mye ros, tok han også opp noen områder der Apple kan gjøre forbedringer. Han la merke til at måten ARKit gjengir lys- og skyggekart er ok, men la til at han forventer at det blir enda bedre når plattformen er klar for utgivelse. Han foreslo også at han kan se overflatedeteksjonsevnen forbedres betydelig med en forbedret dybdefølende kamera – så det ville vært ideelt hvis ryktene om et infrarødt kamera på iPhone 8 bevise sant.

ARKit gjør alt enklere

AR-utviklere er begeistret for ARKit fordi det burde åpne teknologien for et mye bredere publikum. Apple virker tungt investert i AR, så vi kan forvente at denne typen innhold blir en prioritet for iPhone og iPad. Dette er et tiltalende forslag for folk som lager AR-opplevelser.

Et større publikum er likevel ikke den eneste fordelen med Apples utviklingssett. ARKit har også som mål å fjerne mye av det travle arbeidet med å lage programvare, slik at utviklere kan fokusere på hvordan de kan bruke funksjonaliteten til å gi nye og engasjerende opplevelser.

"Det hjelper utviklere som oss å tilby nye funksjoner og gjøre god bruk av AR-teknologi," sa Pullens. "Ellers må man bygge alt selv."

For eksempel trenger hver AR-app overflatedeteksjon som lar et virtuelt objekt sitte på et bord eller gulvet. Tidligere kan utviklere ha brukt måneder på å lage sine egne overflatedeteksjonsalgoritmer, eller nøye seg med så som så mellomvare levert av et annet selskap. Med ARKit har de tilgang til en svært sofistikert løsning som allerede er skreddersydd for iOS.

"Du får allerede mange funksjoner gratis i dette settet," la Pullens til, med henvisning til funksjonalitet som okklusjon og lys- og skyggekart. "Dette vil gi et stort dytt til utviklingsfellesskapet, for at nye AR-løsninger skal være der ute."

Tidlige ARKit-kreasjoner er allerede imponerende

Utviklere som er interessert i en sniktitt på ARKit kan få den ved å laste ned betaversjon av Xcode 9, som inkluderer iOS 11 SDK. Det fører allerede til nye ideer. AR- og VR-feed MixedRealityDesign har satt opp en nettside kalt Laget med ARKit, som kuraterer et utvalg av de aller beste prosjektene som finnes.

Det litt skumle "En robot som danser i stuen min" demonstrerer den overlegne stabiliteten som Pullens snakket om. An android utfører noen flytende dansebevegelser foran en sofa, og til tross for at kameraet beveger seg rundt, ser scenen utrolig naturlig ut. Skyggen som roboten kaster på gulvet er spesielt imponerende.

«Interdimensjonal portal» plasserer et vindu til en annen verden midt i en bygate. Grafikken som brukes til å gjengi dette virtuelle rommet er ikke veldig raffinert, men den generelle effekten er slående, spesielt når brukeren går gjennom portalen. Det er lett å se hvordan denne typen idé kan brukes i et stedsbasert spill på linje med Pokemon Go.

Selv om disse to eksemplene er morsomme, "ARKit vil endre hvordan vi bestiller mat" er mye mer praktisk. I stedet for å se på flate bilder på en papirmeny, produserer en app 3D-visualiseringer av valg rett på bordet. En annen praktisk implementering er «AR Measure App Demo», som tilbyr et virtuelt målebånd.

Disse prosjektene har grove kanter, alt fra vanskelige brukergrensesnitt til stygge eiendeler. Det er viktig å huske at dette er tidlige konsepter laget ved hjelp av verktøy som har vært tilgjengelig i noen uker. ARKit gir likevel et solid grunnlag som lar noen spennende ideer komme til virkelighet.

Apple har på vanlig måte tatt tid på å få AR riktig, i stedet for å være først. Den første bølgen av resultater antyder at det er et skritt forbi Google Tango og andre jevnaldrende. Det neste trinnet vil være å legge avansert AR-vennlig maskinvare i hendene på et bredt spekter av brukere, og det ser ut til å skje når neste iPhone blir annonsert.

Redaktørenes anbefalinger

• Denne skjulte Apple Watch-funksjonen er bedre enn jeg kunne ha forestilt meg
• Jeg håper Apple bringer denne Vision Pro-funksjonen til iPhone
• De 6 største iOS 17-funksjonene som Apple stjal fra Android
• Apple fikset endelig mitt største problem med iPhone 14 Pro Max
• iOS 17: Apple la ikke til den ene funksjonen jeg har ventet på