Apple's Augmented Reality Platform ARKit is de Killer Feature van iOS 11

Enkele van de grootste technologiebedrijven – Apple, Google en Microsoft om er maar een paar te noemen – lijken er zeker van te zijn dat augmented reality (AR) smartphones naar een hoger niveau zal tillen. Tot nu toe zijn het allemaal praatjes geweest, maar dat kan voor het einde van dit jaar veranderen. Apple bereidt zich voor om te ontketenen ARKit, een gloednieuw raamwerk voor het creëren van dit soort inhoud.

AR is al een tijdje een prioriteit voor Apple. Het bedrijf heeft er veel tijd en moeite in gestoken staff aanemen en het verwerven van startups om ervoor te zorgen dat het over al het talent beschikt dat het nodig heeft zodra de technologie volwassen genoeg is voor de massa. Nu staan ​​we aan de vooravond van het AR-coming-outfeest van Apple: de release van iOS 11.

Om de implicaties van ARKit te begrijpen, spraken we met een ontwikkelaar die aan augmented reality-technologie heeft gewerkt het grootste deel van een decennium, en heeft al enige tijd besteed aan het testen van de ontwikkelaarskit van Apple.

De begane grond van AR

Jan-Hein Pullens en zijn team produceren AR-content voor opdrachtgevers in de woninginrichting en vastgoed industrieën – en de vraag naar hun werk kan omhoogschieten als Apple probeert de technologie naar de markt te brengen massa's.

Toen Pullens en Pieter Aarts echter oprichtten RoOomy in 2009 was het technologische landschap heel anders. Het zou nog drie jaar duren voordat de Oculus Rift Kickstarter-campagne zelfs maar virtual reality in het publieke bewustzijn zou brengen. Google Glass, een van de eerste spraakmakende AR-projecten die van start ging, zou pas medio 2011 succesvol worden geprototypeerd.

Pullens en Aarts waren aanvankelijk enthousiast over het vooruitzicht om mensen een manier te geven om te zien hoe grote meubelstukken er in hun eigen huis uit zouden kunnen zien met behulp van AR. De hardware om dat soort software te draaien was echter eenvoudigweg niet beschikbaar voor het publiek.

“Acht jaar geleden bestond er bijvoorbeeld nog geen iPad”, zei Pullens vorige maand toen hij Digital Trends aan de telefoon sprak. “Mensen hadden desktops en telefoons.”

Desktop-pc's zijn niet ideaal voor AR-inhoud, omdat je ze niet kunt verplaatsen om vanuit verschillende hoeken te kijken. En toen waren smartphones niet veel beter af. Ze hadden simpelweg niet de paardenkracht (of de sensoren) die nodig waren om AR-software te presenteren.

Of u iemand nu een luxe bank of een luxe appartement probeert te verkopen, het is van cruciaal belang dat uw virtuele visualisatie de sterke punten van het product benadrukt. “Het moet heel realistisch zijn, anders ziet het er gimmickachtig uit en lijkt het op een spel”, legde hij uit.

Tegenwoordig is er voor sommige telefoonbezitters voldoende hardware en infrastructuur om AR-inhoud van hoge kwaliteit uit te voeren. Google Tango is momenteel het meest gevestigde platform ter wereld. Helaas is het alleen compatibel met twee smartphones: de Lenovo Phab2 Pro en de Asus Zenfone AR. Kent u iemand die deze telefoons bezit? Wij ook niet. Maar toen de iPhone zich in de strijd begaf, kwam er plotseling een groot deel van smartphone gebruikers zullen AR-compatibel zijn.

Apple opent de poorten

ARKit zal worden ondersteund door iOS-apparaten die de Apple A9- of A10-processors gebruiken – de iPad uit 2017, de iPhone 6S, en verder. Toegegeven, hierdoor hebben de miljoenen gebruikers met oudere hardware geen toegang tot AR-inhoud die is gebouwd met behulp van de platform, maar het verkleint absoluut de gebruikersbasis voor Google Tango, Microsoft HoloLens en elk ander AR-platform.

Er is nog een complicatie. Voor sommige van de meest geavanceerde AR-functionaliteiten zijn gespecialiseerde sensoren nodig, zoals a dieptegevoelige camera. Het is waar dat de iPhone 7 Plus heeft een aantal dieptewaarnemingsmogelijkheden, waarbij gebruik wordt gemaakt van twee lenzen die synchroon werken om de relatieve afstand te meten. In het grotere geheel van AR-technologie is het echter een relatief primitieve oplossing.

In februari 2017 waren er geruchten dat de volgende iPhone een infraroodsensor zou implementeren die vergelijkbaar is met de sensor die wordt gebruikt in Microsofts Kinect-accessoire voor de Xbox 360, zoals gerapporteerd door De rand. Dit soort sensor zou veel gedetailleerdere informatie verschaffen over de relatieve positie van een object ten opzichte van het apparaat dan de huidige opstelling met dubbele lenzen. Er gaan ook geruchten dat Apple een onderdeel zal introduceren dat dit doel dient als onderdeel van de iPhone-vernieuwing van 2017 (lees de laatste iPhone 8-geruchten), maar er is nog niets officieel.

Deze nieuwe apparaten zullen worden beschouwd als de basis voor toekomstige AR-ontwikkelaars, vooral vanwege de voordelen die gepaard gaan met dieptesensorcamera's. De combinatie van ARKit en huidige hardware werpt echter al zijn vruchten af. Pullens en zijn team hebben wat tijd besteed aan een vroege versie van de ontwikkelingskit, en wat ze hebben gezien, bevalt ze.

“De eerste bevindingen die we hebben met Apple ARKit zijn veelbelovend, ze zijn eigenlijk heel veelbelovend”, aldus Pullens. Hij prees de manier waarop het platform omgaat met occlusie en zijn vermogen om te voorkomen dat virtuele objecten elkaar storen.

Voor Pullens is het meest indrukwekkende aspect van ARKit de stabiliteit. Virtuele objecten kunnen vaak ‘afdrijven’ als ze niet goed zijn afgestemd op hun echte wereld omgeving, wat een groot probleem kan zijn voor het soort visualisaties waar hij en zijn team mee werken RoOomy-producten.

“Wat ik bedoel met driften is bijvoorbeeld een stoel in AR-weergave”, zei hij. “Je zou graag zien dat die stoel heel stabiel is – je zou niet willen dat hij gaat schommelen of trillen. De eerste bevindingen die we met Apple hebben zijn dus veelbelovend, omdat het redelijk stabiel is.”

Een virtuele leren stoel helpt niet veel als hij maar blijft naar het plafond zweven, of wiebelt alsof er een kat onder het kussen zit.

Hoewel Pullen veel lof had, bracht hij ook enkele punten naar voren waarop Apple verbeteringen zou kunnen aanbrengen. Hij merkte op dat de manier waarop ARKit licht- en schaduwkaarten weergeeft prima is, maar voegde eraan toe dat hij verwacht dat deze nog beter zal zijn zodra het platform klaar is voor release. Hij suggereerde ook dat hij de mogelijkheden voor oppervlaktedetectie aanzienlijk zou kunnen verfijnen met een verbeterde camera met dieptesensor – het zou dus ideaal zijn als de geruchten over een infraroodcamera op de iPhone 8 waar blijken.

ARKit maakt alles eenvoudiger

AR-ontwikkelaars zijn enthousiast over ARKit omdat het de technologie voor een veel breder publiek zou moeten openen. Apple lijkt zwaar geïnvesteerd in AR, dus we kunnen verwachten dat dit soort inhoud een prioriteit zal zijn voor de iPhone en iPad. Dit is een aantrekkelijk voorstel voor de mensen die AR-ervaringen creëren.

Toch is een groter publiek niet het enige voordeel van de ontwikkelingskit van Apple. ARKit streeft er ook naar om veel van het drukke werk bij het maken van software weg te nemen, zodat ontwikkelaars zich kunnen concentreren op hoe ze de functionaliteit kunnen gebruiken om nieuwe en boeiende ervaringen te bieden.

“Het helpt ontwikkelaars zoals wij om nieuwe functies te bieden en goed gebruik te maken van AR-technologie”, aldus Pullens. “Anders moet je alles zelf bouwen.”

Elke AR-app heeft bijvoorbeeld oppervlaktedetectie nodig waarmee een virtueel object op een tafel of op de vloer kan zitten. Voorheen waren ontwikkelaars misschien maanden bezig met het maken van hun eigen algoritmen voor oppervlaktedetectie, of moesten ze genoegen nemen met matige middleware van een ander bedrijf. Met ARKit hebben ze toegang tot een zeer geavanceerde oplossing die al is afgestemd op iOS.

“Je krijgt in deze kit al veel functies gratis”, voegde Pullens toe, verwijzend naar functionaliteit zoals occlusie en licht- en schaduwkaarten. “Dit zal een grote impuls geven aan de ontwikkelingsgemeenschap, zodat er nieuwe AR-oplossingen beschikbaar komen.”

Vroege ARKit-creaties zijn al indrukwekkend

Ontwikkelaars die geïnteresseerd zijn in een sneak preview van ARKit kunnen deze verkrijgen door het bètaversie van Xcode 9, inclusief de iOS 11 SDK. Het leidt nu al tot nieuwe ideeën. AR- en VR-feed MixedRealityDesign heeft een website opgezet genaamd Gemaakt met ARKit, die een selectie beheert van de allerbeste projecten die er zijn.

De enigszins griezelige ‘Een robot die danst in mijn woonkamer’ toont de superieure stabiliteit aan waar Pullens over sprak. Een androïde voert enkele vloeiende dansbewegingen uit voor een bank, en ondanks dat de camera beweegt, ziet de scène er ongelooflijk natuurlijk uit. Bijzonder indrukwekkend is de schaduw die de robot op de vloer werpt.

‘Interdimensionaal Portaal’ plaatst een venster naar een andere wereld midden in een stadsstraat. De graphics die worden gebruikt om deze virtuele ruimte weer te geven zijn niet erg verfijnd, maar het algehele effect is indrukwekkend, vooral als de gebruiker door het portaal loopt. Het is gemakkelijk in te zien hoe dit soort idee zou kunnen worden gebruikt in een locatiegebaseerd spel in de trant van Pokémon Go.

Hoewel deze twee voorbeelden leuk zijn, ‘ARKit zal de manier waarop we eten bestellen veranderen’ is veel praktischer. In plaats van naar platte afbeeldingen op een papieren menu te kijken, produceert een app 3D-visualisaties van keuzes direct op tafel. Een andere praktische implementatie is de 'AR Measure App-demo', die een virtueel meetlint biedt.

Deze projecten hebben ruwe kantjes, variërend van lastige gebruikersinterfaces tot lelijke assets. Het is belangrijk om te onthouden dat dit vroege concepten zijn die zijn gemaakt met behulp van tools die al een paar weken beschikbaar zijn. Toch biedt ARKit een solide basis waardoor een aantal intrigerende ideeën tot bloei kunnen komen.

Apple heeft, zoals gebruikelijk, de tijd genomen om AR goed te krijgen, in plaats van de eerste te zijn. De eerste golf van resultaten suggereert dat het een stap verder is dan Google Tango en andere concurrenten. De volgende stap zal zijn om geavanceerde AR-vriendelijke hardware in handen te geven van een breed scala aan gebruikers, en dat lijkt te gebeuren wanneer de volgende iPhone wordt aangekondigd.

Aanbevelingen van de redactie

• Deze verborgen Apple Watch-functie is beter dan ik me had kunnen voorstellen
• Ik hoop dat Apple deze Vision Pro-functie naar de iPhone brengt
• De 6 grootste iOS 17-functies die Apple van Android heeft gestolen
• Apple heeft eindelijk mijn grootste probleem met de iPhone 14 Pro Max opgelost
• iOS 17: Apple heeft niet de enige functie toegevoegd waar ik op heb gewacht