Hands-on med Microsoft Mesh: Collaboration in Mixed Reality

Det er en fantastisk scene i Kingsman: The Golden Circleder Eggsy og de andre lederne av det hemmelige spionbyrået (Channing Tatum også, selvfølgelig) samles rundt et styreromsbord - bortsett fra at de egentlig ikke er der. Hver og en av dem er et hologram, takket være utrolig teknologi stappet inn i et par vanlige briller.

Det er en vanlig trope på kino, noe James Bond og Ethan Hunt også har brukt. Og det er rett og slett ikke mulig med dagens augmented reality-teknologi.

var det ikke mulig, mener jeg.

I dag kl Microsoft Ignite utviklerkonferanse, den teknologiske innovatøren avduket Microsoft Mesh, en tverrteknologisk plattform som lar apputviklere bygge vedvarende virtuelle miljøer for samarbeid, kommunikasjon og mer.

Mesh presser styrerommet enda lenger, slik at folk fra hele verden kan dele hologrammer. Ja, du kan kaste en virtuell nøkkel til noen andre. Det høres dumt ut, men det åpner for store nye verdener, takket være beregninger som er så komplekse at det er vanskelig å forstå.

Moro med hologrammer

For å få en følelse av den nye teknologien sendte Microsoft meg en kasse med en veldig fancy HP Omen gaming laptop, a Hololens 2 headset, og et blandet virkelighetshodesett fra HP kalt Reverb G2. De to siste enhetene skaper to svært forskjellige virtuelle miljøer. Hololens er først og fremst en enhet med utvidet virkelighet; det er egentlig et pannebånd med et klart visir som de du kanskje husker fra butikkklassen, som enheten kan sende bilder på. Øynene dine samler verden foran deg og de virtuelle bildene til én ny virkelighet, en bedre enn den vanlige verdenen du lever i.

Headsettet med blandet virkelighet er en virtuell virkelighetsenhet, ment å fullstendig transportere deg til en ny verden. Microsoft Mesh fungerer i begge, så vel på skrivebordet (PC og Mac), og snart på Android og iPhone-enheter, sier Microsoft.

For å teste den, tok jeg på meg en Hololens 2 og fyrte den opp. Hodesettet bygger et detaljert kart over miljøet ditt, inkludert hendene dine – du trenger ikke kontrollere her. Du starter apper og justerer innstillinger via en meny som du får tilgang til ved å trykke på et flytende Windows-ikon som er kartlagt på håndleddet ditt.

Jeg lanserte testappen (kalt Fenix ​​mens den fortsatt var i beta) og møtte den flytende avataren til Greg Sullivan, direktør for blandet virkelighet hos Microsoft, rundt en glitrende arbeidsflate, som vi individuelt kunne plassere og endre størrelsen i vår fysiske miljø. Jeg smusslet det virtuelle bordet mellom min virkelige seng og døråpning, låste det til bakken og vendte oppmerksomheten mot manetene, jorden og hvalhaien som fløt over den.

Hololens er unikt intuitivt; du griper alle hologrammer med hendene, enten klyper eller bare snapper dem som en flueball, og roterer, vokser eller krymper dem nøyaktig slik du forventer. Og riktignok klarte Sullivan og jeg å sende hologrammer frem og tilbake. Jeg plukket opp haien, som snurret på halen truende, og utvidet den for å se bedre på den bleke undersiden. Jeg ga den over bordet til en annen reporter, som tok den og stablet den oppå maneten.

Moro med hologrammer! Jeg møtte bare ett problem: Jeg har en tendens til å lukke hendene mine når jeg senker armene til sidene, og jeg fortsatte å gripe hologrammer ved et uhell. Appen krasjet en eller to ganger også, men det er bare et teknisk bevis på konseptet mer enn noe annet. Tenk på konseptet som er bevist.

Jada, vi kunne ikke kneble for å redde livene våre – pokker, vi var tross alt bare avatarer – men dette var samarbeid fra en annen dimensjon.

"Det er som metaverset," fortalte Sullivan meg. "Når noen som ikke er i rommet med deg gir deg et hologram, er det en ganske kraftig opplevelse."

Ny plattform på gang

Jeg opplevde Mesh gjennom Fenix-appen, men Microsoft tenker på det som en plattform og sier at det vil gi ut SDK-er å tillate enhver utvikler å legge til denne muligheten til appene sine – derav kunngjøringen fra Ignite-utvikleren konferanse.

Den første demoen aper en designanmeldelse med vilje. Det er en naturlig mulighet for denne typen samarbeid, sa Sullivan, og hver gang du kan unngå å fly noen til en fabrikk for å inspisere et prototypeprodukt, vil et selskap spare penger. Andre potensielle applikasjoner, inkludert fjernstøtte og opplæring, produksjon og mer.

Arkitekter og ingeniører kunne fysisk gå gjennom en holografisk modell av et fabrikkgulv under konstruksjon, se hvordan alt utstyr passer sammen i tre dimensjoner, potensielt unngå kostbare feil. Ingeniør- eller medisinstudenter som lærer om elektriske bilmotorer eller menneskelig anatomi kunne samles som avatarer rundt en holografisk modell og fjern deler av motoren eller skrell musklene tilbake for å se hva som er under.

Microsoft lovet også å gi ut Mesh-drevne versjoner av sine egne apper i nær fremtid, selv om en tidslinje var frustrerende fraværende. Et mesh-drevet Teams-miljø virker tross alt som en no-brainer, og det har selskapet allerede biblioteker av 3D-objekter innebygd i programvaren, inkludert Office-pakken.

Redaktørenes anbefalinger

• Det viser seg at Microsofts HoloLens 3 kanskje ikke er død likevel
• Microsoft og Samsung kan slå seg sammen om nye AR-headset
• HoloLens 2 vil ha mørk modus, 5G-støtte når den lanseres globalt i høst
• Microsofts futuristiske HoloLens 2-headset sendes nå, og starter på $3500
• Microsofts nye HoloLens hologramteknologi kan gjøre språkoversettelse