Hands-on met Microsoft Mesh: samenwerking in gemengde realiteit

Er zit een fantastische scène in Kingsman: De gouden cirkelwaarin Eggsy en de andere leiders van het geheime spionagebureau (uiteraard ook Channing Tatum) samenkomen rond een tafel in de directiekamer – alleen zijn ze er niet echt. Stuk voor stuk zijn ze een hologram, dankzij de ongelooflijke technologie die in een gewone bril is gestopt.

Het is een veelvoorkomend verschijnsel in de cinema, iets dat James Bond en Ethan Hunt ook hebben gebruikt. En dat is simpelweg niet mogelijk met de huidige augmented reality-technologie.

Was niet mogelijk, bedoel ik.

Vandaag bij de Microsoft-ontsteking ontwikkelaarsconferentie, de technische innovator Microsoft Mesh onthuld, een technologieoverschrijdend platform waarmee app-ontwikkelaars persistente virtuele omgevingen kunnen bouwen voor samenwerking, communicatie en meer.

Mesh breidt de boardroomscene nog verder uit, waardoor mensen van over de hele wereld dat kunnen deel hologrammen. Ja, u kunt een virtuele sleutel naar iemand anders gooien. Het klinkt raar, maar het opent enorme nieuwe werelden, dankzij berekeningen die zo complex zijn dat het moeilijk te doorgronden is.

Plezier met hologrammen

Om een ​​idee te krijgen van de nieuwe technologie, stuurde Microsoft me een krat met een heel mooie HP Omen gaming-laptop, A Hololens 2-headset, en een mixed-reality-headset van HP genaamd de Galm G2. Die laatste twee apparaten creëren twee heel verschillende virtuele omgevingen. De Hololens is in de eerste plaats een augmented reality-apparaat; het is in wezen een hoofdband met een helder vizier, zoals je je misschien nog herinnert uit de winkelklas, waarop het apparaat afbeeldingen kan uitzenden. Je ogen voegen de wereld voor je en de virtuele beelden samen tot één nieuwe realiteit, beter dan de gewone wereld waarin je leeft.

De mixed reality-headset is dat wel een virtual reality-apparaat, bedoeld om je volledig naar een nieuwe wereld te vervoeren. Microsoft Mesh werkt in beide, maar ook op desktop (pc en Mac), en binnenkort ook op Android en iPhone-apparaten, zegt Microsoft.

Om het uit te testen, heb ik een Hololens 2 aangetrokken en hem opgestart. De headset bouwt een gedetailleerde kaart van uw omgeving, inclusief uw handen – hier zijn geen controllers nodig. U start apps en past instellingen aan via een menu, toegankelijk door op een zwevend Windows-pictogram op uw pols te drukken.

Ik lanceerde de testapp (die Fenix ​​heette toen deze nog in bèta was) en ontmoette de zwevende avatar van Greg Sullivan, directeur van mixed reality bij Microsoft, rond een glinsterend werkoppervlak, dat we individueel in ons fysieke lichaam konden plaatsen en vergroten/verkleinen omgeving. Ik duwde de virtuele tafel tussen mijn echte bed en de deuropening, sloot hem op de grond en richtte mijn aandacht op de kwallen, de aarde en de walvishaai die erboven zweefden.

Hololens is uniek intuïtief; je pakt alle hologrammen met je handen, knijpt ze vast of grijpt ze gewoon als een vliegende bal, en roteert, groeit of krimpt ze precies zoals je zou verwachten. En inderdaad, Sullivan en ik konden hologrammen heen en weer doorgeven. Ik pakte de haai op, die dreigend met zijn staart ronddraaide, en spreidde hem uit om de bleke onderkant beter te kunnen zien. Ik gaf het over de tafel aan een andere verslaggever, die het pakte en op de kwal stapelde.

Plezier met hologrammen! Ik kwam slechts één probleem tegen: ik heb de neiging mijn handen te sluiten als ik mijn armen langs mijn lichaam laat zakken, en ik bleef per ongeluk hologrammen vastgrijpen. De app crashte ook een of twee keer, maar het is meer dan wat dan ook een technische proof of concept. Beschouw het concept als bewezen.

Natuurlijk konden we niet met onze vuisten botsen om ons leven te redden – ach, we waren tenslotte maar avatars – maar dit was samenwerking vanuit een andere dimensie.

‘Het is net de metaverse,’ vertelde Sullivan me. “Als iemand die niet bij je in de kamer is, je een hologram overhandigt, is dat een behoorlijk krachtige ervaring.”

Nieuw platform in de maak

Ik heb Mesh ervaren via de Fenix-app, maar Microsoft beschouwt het als een platform en zegt dat het SDK's zal uitbrengen om elke ontwikkelaar in staat te stellen deze mogelijkheid aan zijn apps toe te voegen – vandaar de aankondiging bij de Ignite-ontwikkelaar conferentie.

De eerste demo is met opzet een ontwerprecensie. Het is een natuurlijke kans voor dit soort samenwerking, zei Sullivan, en elke keer dat je kunt voorkomen dat je iemand naar een fabriek vliegt om een ​​prototypeproduct te inspecteren, bespaart een bedrijf geld. Andere mogelijke toepassingen, waaronder ondersteuning en training op afstand, productie en meer.

Architecten en ingenieurs konden fysiek door een holografisch model van een fabrieksvloer eronder lopen constructie, zien hoe alle onderdelen van de apparatuur in drie dimensies in elkaar passen, waardoor potentieel wordt vermeden kostbare fouten. Studenten in de techniek of geneeskunde die leren over elektrische automotoren of de menselijke anatomie kunnen zich hier verzamelen avatars rond een holografisch model en verwijder delen van de motor of trek spieren los om te zien wat er is onder.

Microsoft beloofde ook om in de nabije toekomst Mesh-aangedreven versies van zijn eigen apps uit te brengen, hoewel een tijdlijn frustrerend genoeg ontbrak. Een Mesh-aangedreven Teams-omgeving lijkt tenslotte een no-brainer, en het bedrijf heeft dat al gedaan bibliotheken met 3D-objecten ingebouwd in de software, inclusief de Office-suite.

Aanbevelingen van de redactie

• Blijkt dat Microsoft's HoloLens 3 misschien toch niet dood is
• Microsoft en Samsung zouden kunnen samenwerken aan een nieuwe AR-headset
• HoloLens 2 krijgt een donkere modus en 5G-ondersteuning wanneer het dit najaar wereldwijd wordt gelanceerd
• De futuristische HoloLens 2-headset van Microsoft is nu verkrijgbaar vanaf $ 3.500
• De nieuwe HoloLens-hologramtechnologie van Microsoft kan taalvertalingen uitvoeren