The Future of Surgery: How AR and VR Will Upend Modern Medicine

kirurger bär Hololens 2 headset på operationsavdelningen
Augmented reality gör redan inbrytningar i operationssalar - och framtiden för denna teknik är transformerande.Microsoft

Tekniken omformar varje aspekt av våra liv. En gång i veckan Framtiden Av, undersöker vi innovationer inom viktiga områden, från jordbruk till transporter, och vad de kommer att innebära under de kommande åren och decennierna.

Innehåll

  • Idag: AR-kirurgi är redan här
  • Imorgon: Utbildar framtida läkare med helt nya verktyg

Fallet var komplicerat: axelprotesplastik, för att hantera ett framskridet fall av artrit som påverkar patientens glenoid - kuldelen av kulleden i axeln. För att hantera ärendet mest effektivt ville kirurgen ha hjälp från de bästa. Men det bästa var fysiskt en halv värld bort. Vad ska man göra?

Rekommenderade videor

Från sin operationssal i Frankrike halkade ortopedkirurgen Thomas Gregory på en Microsoft Hololens 2 headset och ringde upp tre kollegor i Brasilien, Belgien och Sydafrika. De gick igenom hologram av patienten och pratade tillsammans genom operationen; kikade med när Gregory öppnade patientens axelled, Stephen Roche, Bruno Gobbato och Jean Florin Ciornohac föreslog olika klämmor och alternativa vägar och observerade Gregorys Metod. Tillsammans förvandlade de lite kirurgi till ett teknologiskt skyltfönster.

Denna operation var dock inte någon science fiction-film, och det var inte heller drömmen om en PR-spinmaster. Det ägde faktiskt rum för bara några veckor sedan, i Avicenne AP-HP sjukhus i Bobigny, Frankrike - och det är bara början.

Med kollegor från en halv värld bort som tittar genom hans ögon, utför Thomas Gregory ortopedisk operation.

Idag: AR-kirurgi är redan här

"Hololens är som en smartphone för kirurgi är det prestations- och informationsverktyget som flyttar kirurgi in i en ny era”, förklarade Gregory under en panel som han organiserade med Microsoft för att sprida budskapet om kraften hos blandad verklighet för medicin. Mycket av det en kirurg gör involverar mental gymnastik, sa han: Att hålla mentala bilder av 2D-diagram och röntgenbilder medan man går genom steg i ens huvud och ser upp för röda flaggor.

"Det är nästan en GPS för kirurgen."

Augmented reality kan ta en del av bördan ur det - det är mer än bara ett roligt spel för Pokemon-fans, med andra ord. AR kan mycket effektivt hjälpa läkare att planera en procedur och utföra den så effektivt som möjligt.

"Det är nästan en GPS för kirurgen", säger Tom McGuiness, executive vice president of healthcare för Microsoft. Igor Sauer, chef för experimentell kirurgi på Charité Hospital i Tyskland, är en annan entusiastisk supporter av tekniken. En traditionell kirurg håller 3D-bilder i huvudet och jämför dem mentalt med den verkliga personen som ligger framför henne, förklarade Sauer. Den läkaren har ett tydligt behov av bildvägledning, samtidigt som hon behöver fri sikt över arbetet framför sig. AR kan erbjuda precis det — inte i morgon eller nästa år utan just nu.

Det finns andra fördelar också, förklarade Massimo Chessa, kardiolog interventionist vid San Donato Hospital i Italien. Bilder är mycket tydligare än ord och hjälper till att överbrygga språkbarriärer som du förmodligen inte visste fanns där.

"Kirurger talar ett annat språk, ett riktigt 3D-språk," sa Chessa. "eftersom de är vana vid att arbeta med 3D-strukturer. Men jag är kardiolog. Jag utbildades till 2D-kardiolog, sedan blev jag 3D-interventionist.” Mixed reality tillåter honom att tala samma språk som sina stödjande kirurger, vilket förbättrar kvaliteten på patientvården.

Faktum är att Gregory tror så mycket på tekniken att han är det byggt en anläggning inom sitt sjukhus för att tillåta kirurger från var som helst i världen att bli bekanta med holografiska bästa praxis och kraften i blandad verklighet.

Imorgon: Utbildar framtida läkare med helt nya verktyg

Assisterad kirurgi verkar vara den ultimata förverkligandet av denna teknik, men det är bara det första steget. Vilken kirurg som helst (utom kanske Dr Strange) kommer att berätta att de uppskattar en extra uppsättning ögon under en särskilt utmanande operation. Men hur är det med extra information? Sauer sa att han och hans avdelning för experimentell kirurgi undersöker sätt att överlappa saker som anatomiskt djup information direkt in i synfältet, ”för att ge intryck av att lysa en ficklampa genom orgeln under undersökning det", sa han.

"Nästan som att ha förstorade ögon," tillade Gregory.

Andra spännande framsteg ligger i undervisningen, som kräver observation. Detta görs traditionellt personligen: Tänk på den klassiska Rembrandt-målningen, "Anatomi lektionen.Sauer sa att hans team hade arbetat med volymetriska inspelningar av operationer, vilket gjorde det möjligt för framtida studenter inte bara studera videoband utan att gå runt en tredimensionell virtuell rekreation av operationssalen sig.

Men enbart bilder är inte tillräcklig träning, särskilt för mer specialiserade former av kirurgi. Man lär sig genom att göra, eller hur? Virtuell verklighet verkar vara en idealisk plattform för att låta en blivande kirurg finslipa sina färdigheter, men utan känsel, utan att kunna känna skalpellen penetrera huden eller klirrandet av ett blad på ben, är en pusselbit förlorat.

"Det är nästan som att ha förstorade ögon."

Ange haptisk feedback, samma teknik som låter dig känna hur mullret från vägen under dina hjul i ett körspel. Grundläggande VR använder den avancerade formen av det - kinestetisk feedback, kontra bara kutan haptik - för att låta en kirurg känna vad det är gillar att operera inom en submillimeters noggrannhet, med en mängd olika standardutrustning, från handskar till haptik vapen.

"Precisionen vi behöver vid kirurgi är en annan nivå än vad du behöver för att simulera att plocka upp en boll eller tända ett ljus," sa VD och medgrundare Richard Vincent till mig. Han citerade också arbetet med att bygga en virtuell version av patienten: Idealiskt, när en kirurg är redo att operera den fysiska dig, har han klippt den virtuella versionen ett dussin gånger. "Om jag inte kan lära dig hur det känns att göra något fel och att göra det rätt, hur kan du då övergå till den verkliga världen och göra det?"

Längre på vägen kommer skärningspunkten mellan banbrytande teknologier att möjliggöra en fullständig transformation i operationssalens spetskant.

"A.I. och utökad verklighet skulle i grunden kunna förändra hur vi utför vissa procedurer”, teoretiserade Sauer. Föreställ dig möjligheterna till rumslig detektering i realtid av organ, som artificiell intelligens analyserar en patient på ett bord och framhäver leverns konturer för en kirurg för att säkerställa att ett redan känsligt ingrepp görs så exakt som möjligt. Grundläggande nya behandlingsformer kan vara möjliga. Inom en snar framtid kommer läkare att kunna flytta runt en skalbar 3D, virtuell version av patienten, studerar ett problem från alla vinklar, innan man utarbetar den minst invasiva, säkraste proceduren möjlig. Själva operationen kan göras av robotar, eller åtminstone kontrollerade, exakta robotarmar. Det är långt på vägen, men... eller hur?

"Detta är naturligtvis inget vi kommer att göra i morgon," sa Sauer. "Men kanske dagen efter."

Redaktörens rekommendationer

  • The Future of Sports: How biometric data and A.I. kommer att revolutionera friidrotten