Apples Augmented Reality-plattform ARKit är iOS 11:s Killer-funktion

Några av de största teknikföretagen – Apple, Google och Microsoft för att nämna några – verkar säkra på att förstärkt verklighet (AR) kommer att ta smartphones till nästa nivå. Hittills har allt varit prat, men det kan ändras före slutet av detta år. Apple förbereder sig för att släppa loss ARKit, ett helt nytt ramverk för att skapa den här typen av innehåll.

AR har varit en prioritet för Apple under en tid. Företaget har lagt ner mycket tid och kraft anställa personal och förvärva startups för att säkerställa att den har all talang den behöver när tekniken är mogen nog för massorna. Nu är vi på gränsen till Apples AR-fest: lanseringen av iOS 11.

För att förstå implikationerna av ARKit pratade vi med en utvecklare som har arbetat med augmented reality-teknik för den bättre delen av ett decennium, och har redan ägnat lite tid åt att sätta Apples utvecklarkit genom sina steg.

Bottenvåningen i AR

Jan-Hein Pullens och hans team producerar AR-innehåll för kunder inom heminredning och fastigheter industrier – och efterfrågan på deras arbete kan skjuta i höjden när Apple försöker föra tekniken till massor.

Men när Pullens och Pieter Aarts grundade Rymligt redan 2009 var det tekniska landskapet väldigt annorlunda. Det skulle fortfarande ta tre år innan Oculus Rift Kickstarter-kampanjen ens förde in virtuell verklighet i allmänhetens medvetande. Google Glass, ett av de första högprofilerade AR-projekten som kom igång, skulle inte bli framgångsrika prototyper förrän i mitten av 2011.

Pullens och Aarts var från början entusiastiska över möjligheten att ge människor ett sätt att se hur stora möbler kan se ut i deras eget hem med hjälp av AR. Men hårdvaran för att köra den typen av programvara var helt enkelt inte tillgänglig för allmänheten.

"Till exempel för åtta år sedan fanns det ingen iPad", sa Pullens när han pratade med Digital Trends i telefon förra månaden. "Folk hade stationära datorer och telefoner."

Stationära datorer är inte idealiska för AR-innehåll eftersom du inte kan flytta runt dem för att se olika vinklar. Och då hade smartphones inte mycket bättre. De hade helt enkelt inte de hästkrafter (eller sensorerna) som behövdes för att presentera AR-programvara.

Oavsett om du försöker sälja någon en lyxig soffa eller en lyxig lägenhet, är det avgörande att din virtuella visualisering spelar på produktens styrkor. "Det måste vara väldigt realistiskt, annars ser det gimmickigt ut och som ett spel," förklarade han.

Idag finns det tillräckligt med hårdvara och infrastruktur för att vissa telefonägare ska kunna köra högkvalitativt AR-innehåll. Google Tango är den mest väletablerade plattformen på scenen just nu. Tyvärr är den bara kompatibel med två smartphones - den Lenovo Phab 2 Pro och Asus Zenfone AR. Känner du någon som äger dessa telefoner? Inte vi heller. Men med iPhone in i striden, plötsligt en stor del av smartphone användare kommer att kunna AR.

Apple öppnar portarna

ARKit kommer att stödjas av iOS-enheter som använder Apple A9- eller A10-processorer – 2017 iPad, iPhone 6S, och vidare. Det gör visserligen att miljontals användare med äldre hårdvara inte kan komma åt AR-innehåll byggt med hjälp av plattform, men det överväger absolut användarbasen för Google Tango, Microsoft HoloLens och alla andra AR-plattformar.

Det finns en annan komplikation. Några av de mest sofistikerade AR-funktionerna kräver specialiserade sensorer, som en djupavkännande kamera. Det är sant att iPhone 7 Plus har vissa djupavkännande funktioner, med två linser som arbetar synkroniserat för att mäta relativt avstånd. Men i det större systemet med AR-teknik är det en relativt primitiv lösning.

I februari 2017 mullrades det om att nästa iPhone skulle implementera en infraröd sensor som liknar den som används i Microsofts Kinect-tillbehör för Xbox 360, som rapporterats av Gränsen. Denna typ av sensor skulle ge mycket mer detaljerad information om ett objekts relativa position till enheten än den nuvarande dubbla linsen. Det ryktas också att Apple kommer att introducera någon form av komponent som tjänar detta syfte som en del av sin 2017 iPhone-uppdatering (läs det senaste Rykten om iPhone 8), men det finns inget officiellt ännu.

Dessa nya enheter kommer att betraktas som baslinjen för AR-utvecklare som går framåt, särskilt på grund av fördelarna med djupavkännande kameror. Men kombinationen av ARKit och nuvarande hårdvara bär redan frukt. Pullens och hans team tillbringade lite tid med en tidig version av utvecklingspaketet, och de gillar vad de har sett.

"De första fynden som vi har med Apple ARKit är lovande, de är faktiskt mycket lovande," sa Pullens. Han berömde hur plattformen hanterar ocklusion och dess förmåga att förhindra virtuella objekt från att störa varandra.

För Pullens är den mest imponerande aspekten av ARKit dess stabilitet. Virtuella objekt kan ofta "driva" när de inte är korrekt anpassade till sin verkliga värld omgivning, vilket kan vara ett stort problem för den typ av visualiseringar som han och hans team vid Rymliga produkter.

"Vad jag menar med drifting är till exempel en stol i en AR-vy," sa han. "Du skulle vilja se den där stolen vara väldigt stabil – du vill inte att den ska driva eller darra. Så de första fynden som vi har med Apple är mycket lovande, eftersom det är ganska stabilt."

En virtuell läderstol är inte mycket hjälp om den insisterar på att sväva mot taket, eller vinglar som om det finns en katt under dynan.

Även om Pullen hade mycket beröm tog han också upp några områden där Apple kan göra förbättringar. Han noterade hur ARKit återger ljus- och skuggkartor är okej, men tillade att han förväntar sig att det kommer att bli ännu bättre när plattformen är redo för release. Han föreslog också att han kan se dess ytdetekteringsförmåga förfinas avsevärt med en förbättrad djupavkännande kamera – så det skulle vara perfekt om ryktena om en infraröd kamera på iPhone 8 visa sig sant.

ARKit gör allt enklare

AR-utvecklare är entusiastiska över ARKit eftersom det borde öppna tekniken för en mycket bredare publik. Apple verkar tungt investerat i AR, så vi kan förvänta oss att den här typen av innehåll är en prioritet för iPhone och iPad. Detta är ett tilltalande förslag för människor som skapar AR-upplevelser.

Ändå är en större publik inte den enda fördelen med Apples utvecklingskit. ARKit syftar också till att ta bort mycket av det upptagna arbetet med att skapa programvara, vilket gör att utvecklare kan fokusera på hur de kan använda funktionaliteten för att tillhandahålla nya och engagerande upplevelser.

"Det hjälper utvecklare som oss att tillhandahålla nya funktioner och dra nytta av AR-teknik", säger Pullens. "Annars måste man bygga allt själv."

Till exempel behöver varje AR-app ytdetektering som gör att ett virtuellt objekt kan sitta på ett bord eller på golvet. Tidigare kan utvecklare ha spenderat månader på att skapa sina egna ytdetekteringsalgoritmer eller nöja sig med sådär mellanprogram från ett annat företag. Med ARKit har de tillgång till en mycket sofistikerad lösning som redan är skräddarsydd för iOS.

"Du får många funktioner redan gratis i detta kit," tillade Pullens och syftade på funktionalitet som ocklusion och ljus- och skuggkartor. "Detta kommer att ge en stor push till utvecklingsgemenskapen, för att nya AR-lösningar ska finnas där ute."

Tidiga ARKit-skapelser är redan imponerande

Utvecklare som är intresserade av en förhandstitt av ARKit kan få den genom att ladda ner betaversion av Xcode 9, som inkluderar iOS 11 SDK. Det leder redan till nya idéer. AR- och VR-flöde MixedRealityDesign har skapat en webbplats dubbad Tillverkad med ARKit, som sammanställer ett urval av de allra bästa projekten som finns.

Det lite läskiga "En robot som dansar i mitt vardagsrum" visar den överlägsna stabilitet som Pullens talade om. En android utför några flytande danssteg framför en soffa, och trots att kameran rör sig runt ser scenen otroligt naturlig ut. Skuggan som roboten kastar på golvet är särskilt imponerande.

"Interdimensionell portal" placerar ett fönster till en annan värld mitt på en stadsgata. Grafiken som används för att återge detta virtuella utrymme är inte särskilt raffinerad, men den övergripande effekten är slående, särskilt när användaren går igenom portalen. Det är lätt att se hur den här typen av idé kan användas i ett platsbaserat spel i linje med Pokémon Go.

Även om dessa två exempel är roliga, "ARKit kommer att förändra hur vi beställer mat" är mycket mer praktiskt. I stället för att titta på platta bilder på en pappersmeny, producerar en app 3D-visualiseringar av val direkt på bordet. En annan praktisk implementering är "AR Measure App Demo", som erbjuder ett virtuellt måttband.

Dessa projekt har grova kanter, allt från besvärliga användargränssnitt till fula tillgångar. Det är viktigt att komma ihåg att dessa är tidiga koncept skapade med hjälp av verktyg som har varit tillgängliga i några veckor. Ändå ger ARKit en solid grund som gör att några spännande idéer kan förverkligas.

Apple har på vanligt sätt tagit tid att få AR rätt, istället för att vara först. Den första vågen av resultat tyder på att det är ett steg bortom Google Tango och andra kollegor. Nästa steg är att lägga avancerad AR-vänlig hårdvara i händerna på ett brett spektrum av användare, och det ser ut att hända när nästa iPhone tillkännages.

Redaktörens rekommendationer

• Den här dolda Apple Watch-funktionen är bättre än jag kunde ha föreställt mig
• Jag hoppas att Apple tar med sig denna Vision Pro-funktion till iPhone
• De 6 största iOS 17-funktionerna som Apple stal från Android
• Apple fixade äntligen mitt största problem med iPhone 14 Pro Max
• iOS 17: Apple lade inte till den funktion jag har väntat på