Apples Augmented Reality Platform ARKit er iOS 11s Killer-funktion

Nogle af de største teknologivirksomheder - Apple, Google og Microsoft for at nævne nogle få - virker sikre på, at augmented reality (AR) vil tage smartphones til næste niveau. Indtil videre har det hele været snak, men det kan ændre sig inden udgangen af ​​dette år. Apple forbereder sig på at slippe løs ARKit, en helt ny ramme til at skabe denne form for indhold.

AR har været en prioritet for Apple i nogen tid. Virksomheden har brugt meget tid og kræfter ansætte personale og anskaffelse af startups for at sikre, at det har alt det talent, det har brug for, når teknologien er moden nok til masserne. Nu er vi på randen af ​​Apples AR coming-out-fest: udgivelsen af ​​iOS 11.

For at forstå implikationerne af ARKit talte vi med en udvikler, der har arbejdet med augmented reality-teknologi for den bedste del af et årti, og har allerede brugt noget tid på at sætte Apples udviklersæt igennem sine trin.

Stueetagen af ​​AR

Jan-Hein Pullens og hans team producerer AR-indhold til kunder inden for boligindretning og fast ejendom industrier – og efterspørgslen efter deres arbejde kan stige i vejret, når Apple forsøger at bringe teknologien til masser.

Men da Pullens og Pieter Aarts grundlagde Rummeligt tilbage i 2009 var det teknologiske landskab meget anderledes. Der skulle stadig gå tre år, før Oculus Rift Kickstarter-kampagnen overhovedet bragte virtual reality ind i den offentlige bevidsthed. Google Glass, et af de første højprofilerede AR-projekter, der er gået i gang, ville ikke blive prototype med succes før midten af ​​2011.

Pullens og Aarts var oprindeligt begejstrede for udsigten til at give folk en måde at se, hvordan store møbler kunne se ud i deres eget hjem ved hjælp af AR. Men hardwaren til at køre den slags software var simpelthen ikke tilgængelig for offentligheden.

"For otte år siden var der for eksempel ikke en iPad," sagde Pullens, da han talte med Digital Trends i telefonen i sidste måned. "Folk havde stationære computere og telefoner."

Desktop-pc'er er ikke ideelle til AR-indhold, fordi du ikke kan flytte dem rundt for at se forskellige vinkler. Og dengang var smartphones ikke meget bedre stillet. De havde simpelthen ikke de hestekræfter (eller de sensorer), der var nødvendige for at præsentere AR-software.

Uanset om du forsøger at sælge en luksussofa eller en luksuslejlighed, er det afgørende, at din virtuelle visualisering spiller på produktets styrker. "Det skal være meget realistisk, ellers ser det gimmicky ud og som et spil," forklarede han.

I dag er der tilstrækkelig hardware og infrastruktur til, at nogle telefonejere kan køre AR-indhold af høj kvalitet. Google Tango er den mest veletablerede platform på scenen lige nu. Desværre er den kun kompatibel med to smartphones - den Lenovo Phab 2 Pro og Asus Zenfone AR. Kender du nogen, der ejer de telefoner? Det gør vi heller ikke. Men med iPhone på vej ind i kampen, pludselig en stor del af smartphone brugere vil være i stand til AR.

Apple åbner portene

ARKit vil blive understøttet af iOS-enheder, der bruger Apple A9- eller A10-processorer - 2017 iPad, iPhone 6S, og videre. Ganske vist efterlader det millioner af brugere med ældre hardware ude af stand til at få adgang til AR-indhold bygget ved hjælp af platform, men det overskygger absolut brugerbasen for Google Tango, Microsoft HoloLens og enhver anden AR-platform.

Der er en anden komplikation. Nogle af de mest sofistikerede AR-funktioner kræver specialiserede sensorer, såsom en dybdefølende kamera. Det er rigtigt, at iPhone 7 Plus har nogle dybdefølende egenskaber ved at bruge to linser, der arbejder synkroniseret til at måle relativ afstand. Men i den større ordning med AR-teknologi er det en relativt primitiv løsning.

I februar 2017 var der rumlen om, at den næste iPhone ville implementere en infrarød sensor svarende til den, der blev brugt i Microsofts Kinect-tilbehør til Xbox 360, som rapporteret af Randen. Denne type sensor ville give meget mere detaljeret information om et objekts relative position i forhold til enheden end den nuværende opsætning med dobbelt linse. Det forlyder også, at Apple vil introducere en slags komponent, der tjener dette formål som en del af sin 2017 iPhone-opdatering (læs den seneste iPhone 8 rygter), men der er ikke noget officielt endnu.

Disse nye enheder vil blive betragtet som basislinjen for AR-udviklere, der bevæger sig fremad, især på grund af fordelene forbundet med dybdefølende kameraer. Kombinationen af ​​ARKit og nuværende hardware er dog allerede ved at bære frugt. Pullens og hans team brugte noget tid med en tidlig version af udviklingssættet, og de kan lide, hvad de har set.

"De første resultater, vi har med Apple ARKit, er lovende, de er faktisk meget lovende," sagde Pullens. Han roste den måde, platformen håndterer okklusion på, og dens evne til at forhindre virtuelle objekter i at forstyrre hinanden.

For Pullens er det mest imponerende aspekt ved ARKit dets stabilitet. Virtuelle objekter kan ofte 'drive', når de ikke er korrekt justeret med deres virkelige verden omgivelser, hvilket kan være et stort problem for den type visualiseringer, som han og hans team på Rummelige produkter.

"Det, jeg mener med at drive, er for eksempel en stol i en AR-visning," sagde han. "Du vil gerne se den stol være meget stabil - du vil ikke have, at den driver eller ryster. Så de første resultater, vi har med Apple, er meget lovende, fordi det er ret stabilt."

En virtuel læderstol hjælper ikke meget, hvis den insisterer på at svæve mod loftet eller vakler, som om der er en kat under puden.

Mens Pullen havde masser af ros, rejste han også nogle områder, hvor Apple kunne lave forbedringer. Han bemærkede, at den måde, ARKit gengiver lys- og skyggekort på, er i orden, men tilføjede, at han forventer, at det bliver endnu bedre, når platformen er klar til udgivelse. Han foreslog også, at han kunne se dets overfladedetektionsevner blive raffineret betydeligt med en forbedret dybdefølende kamera - så det ville være ideelt, hvis rygterne om et infrarødt kamera på iPhone 8 vise sig sandt.

ARKit gør alt nemmere

AR-udviklere er begejstrede for ARKit, fordi det burde åbne teknologien for et meget bredere publikum. Apple virker tungt investeret i AR, så vi kan forvente, at denne form for indhold bliver en prioritet for iPhone og iPad. Dette er et tiltalende forslag til de mennesker, der skaber AR-oplevelser.

Alligevel er et større publikum ikke den eneste fordel ved Apples udviklingssæt. ARKit sigter også mod at fjerne meget af det travle arbejde fra at skabe software, hvilket giver udviklere mulighed for at fokusere på, hvordan de kan bruge funktionaliteten til at give nye og engagerende oplevelser.

"Det hjælper udviklere som os med at levere nye funktioner og gøre god brug af AR-teknologi," sagde Pullens. "Ellers må man bygge alt selv."

For eksempel har alle AR-apps brug for overfladedetektion, der gør det muligt for et virtuelt objekt at sidde på et bord eller gulvet. Tidligere kunne udviklere have brugt måneder på at skabe deres egne overfladedetektionsalgoritmer eller nøjes med halvdårlig middleware leveret af et andet firma. Med ARKit har de adgang til en meget sofistikeret løsning, der allerede er skræddersyet til iOS.

"Du får allerede en masse funktioner gratis i dette sæt," tilføjede Pullens med henvisning til funktionalitet som okklusion og lys- og skyggekort. "Dette vil give et stort skub til udviklingssamfundet, for at nye AR-løsninger skal være derude."

Tidlige ARKit-kreationer er allerede imponerende

Udviklere, der er interesserede i en snigpremiere af ARKit, kan få den ved at downloade betaversion af Xcode 9, som inkluderer iOS 11 SDK. Det fører allerede til nye ideer. AR og VR feed MixedRealityDesign har oprettet en hjemmeside dubbet Lavet med ARKit, som kuraterer et udvalg af de allerbedste projekter, der findes.

Det lidt uhyggelige 'En robot danser i min stue' demonstrerer den overlegne stabilitet, som Pullens talte om. An android udfører nogle flydende dansebevægelser foran en sofa, og på trods af at kameraet bevæger sig rundt, ser scenen utrolig naturlig ud. Den skygge, som robotten kaster på gulvet, er særlig imponerende.

'Interdimensional portal' placerer et vindue til en anden verden midt i en bygade. Grafikken, der bruges til at gengive dette virtuelle rum, er ikke særlig raffineret, men den overordnede effekt er arresterende, især når brugeren går gennem portalen. Det er let at se, hvordan denne slags idé kan bruges i et lokationsbaseret spil i stil med Pokemon Go.

Selvom disse to eksempler er sjove, 'ARKit vil ændre, hvordan vi bestiller mad' er meget mere praktisk. I stedet for at se på flade billeder på en papirmenu, producerer en app 3D-visualiseringer af valg lige på bordet. En anden praktisk implementering er 'AR Mål app-demo,' som tilbyder et virtuelt målebånd.

Disse projekter har hårde kanter, lige fra akavede brugergrænseflader til grimme aktiver. Det er vigtigt at huske, at disse er tidlige koncepter skabt ved hjælp af værktøjer, der har været tilgængelige i nogle uger. Alligevel giver ARKit et solidt fundament, der gør det muligt for nogle spændende ideer at blive til virkelighed.

Apple har på sædvanlig vis taget tid at få AR rigtigt i stedet for at være først. Den første bølge af resultater tyder på, at det er et skridt ud over Google Tango og andre jævnaldrende. Det næste skridt vil være at lægge avanceret AR-venlig hardware i hænderne på en bred vifte af brugere, og det ser ud til at ske, når den næste iPhone bliver annonceret.

Redaktørens anbefalinger

• Denne skjulte Apple Watch-funktion er bedre, end jeg kunne have forestillet mig
• Jeg håber, at Apple bringer denne Vision Pro-funktion til iPhone
• De 6 største iOS 17-funktioner, som Apple stjal fra Android
• Apple fik endelig løst mit største problem med iPhone 14 Pro Max
• iOS 17: Apple tilføjede ikke den ene funktion, jeg har ventet på