Hur Nvidia hjälper autonoma bilar att simulera sin väg till säkerhet

Föreställ dig att du är föraren av en fyradörrars familjesedan som närmar sig en stoppskylt. När du kommer till stoppskylten ser du en cyklist som försöker korsa vägen. Genom ögonkontakt, ansiktsuttryck och kroppsspråkssignaler förhandlar cyklisten sin väg med dig. Som ett resultat bestämmer du dig för att låta cyklisten först korsa vägen, innan du fortsätter att försiktigt gå in i korsningen.

I den autonoma körvärlden idag skulle det inte finnas något sätt att "tagga" eller kategorisera en sådan händelse, sa Cognatas vd Danny Atsmon. Nuvarande metoder tillåter dig att visuellt identifiera cyklisten, men träningssystem för att känna igen och förstå komplexa förhandlingar på vägen är fortfarande en utmaning för den autonoma körningen på 10,3 biljoner dollar industri.

Faktum är att autonom körning representerar "det enskilt svåraste datorproblem som världen någonsin har stött på", som NVIDIAs vd Jensen Huang erkände när han presenterade några av världens mest kraftfulla grafikprocessorer under GTC 2018 keynote i San Jose, Kalifornien.

Att överbrygga det verkliga och det virtuella

"Världen kör 10 biljoner miles per år," sa Huang i en spetsig presentation - men Atsmon påpekade att självkörande bilar bara täckte tre miljoner miles av vägar förra året. För att självkörande fordon ska kunna köra bättre måste de lära sig mer, och det är i grunden den största utmaningen som branschen står inför. För att träna ett autonomt körsystem för att ha kompetensen hos en mänsklig förare, skulle datorer behöva köra ungefär 11 miljarder miles, berättade Atsmon.

Den siffran beräknas baserat på 1,09 dödsfall per 100 miljoner körda mil 2015. "Så, för att säga att en maskin skulle kunna ha en lika säker prestanda som en människa med 95 procent av självförtroende, skulle du behöva validera för 11 miljarder miles," sa Atsmon.

Förutom den tid som behövs för att nå det målet, finns det också kostnaden att ta hänsyn till. Just nu är kostnaden per mil för att köra en autonom bil i hundratals dollar - står för ingenjörstid, datainsamling och taggning, försäkringskostnader och tiden för en förare att sitta i cockpit en bil. Multiplicera det med riktmärket på 11 miljarder mil, och det enorma dyra associerade med att träna autonoma bilar blir tydligt.

Validering är nyckeln, och de senaste olyckorna med autonoma fordon visar att ofullständiga datatester och träningsscenarier kan visa sig vara dödliga. I ett mindre extremt exempel navigerade en självkörande skyttel i Las Vegas i cirka 0,6 miles per timme, men den kraschade in i en lastbil (Jeff Zurschmeide, en frilansande bidragsgivare till Digital Trends, var där när det hände). Ingen skadades, men det förbryllande scenariot inträffade eftersom lastbilen körde framåt och backade sedan när den försökte parkera. Orsaken till kraschen, enligt Atsmon, är att skytteln inte var validerad för denna typ av situation, och den visste inte vad den skulle göra - så den fortsatte långsamt framåt och kraschade.

Bättre simulering för djupare lärande

Branschens nuvarande lösning för att överbrygga gapet på 11 miljarder mil för autonoma system för att nå mänsklig körning kompetens är att utveckla simuleringar för att låta bilar lära sig snabbare genom att kombinera djupinlärning med en virtuell miljö.

"Simulering är vägen till miljarder miles," sa Huang på GTC. I slutet av förra året avslöjade Alphabet-ägda Waymo Carcraft, dess sätt att lära sig genom simulering.

Cognata använder de senaste framstegen inom grafik och sensorhårdvara för att skapa mer verklighetstrogna och realistiska modeller av världen för autonoma bilar att lära av. För datorhjärnorna i en självkörande bil är det som att gå in i ett tv-spel som bygger på det verkliga världen, och det kan leda till mer realistiska körscenarier för att testa och validera bilkörning data. Företaget har nyligen kartlagt utvalda städer, som San Francisco, med hjälp av data från GIS — högupplösta kameror och sofistikerade datoralgoritmer som kör över satellit- och gatuvybilder, vilket resulterar i en fotorealistisk scen.

För att ytterligare förbättra simuleringarna använder Nvidia, och några av dess partners, data från sensorerna i autonoma fordon för att bygga högre definitionskartor. När autonoma fordon kör ut på vägen kommer dessa maskiner inte bara att förlita sig på den information som är tillgänglig genom utbildning, men också bidra till datainsamling genom att dela data som den har fångat från sin LIDAR, IR, radar och kamera matriser.

När denna nyfångade data kombineras genom djupinlärning med befintliga datauppsättningar av låg kvalitet, kommer det att få gator och vägar att se mer fotorealistiska ut. Cognata hävdar att dess algoritmer kan bearbeta data på ett sätt för att få fram detaljer i skuggor och högdagrar, ungefär som en HDR foto från din smartphones kamera för att skapa en scen av hög kvalitet.

Även om simulering är ett utmärkt verktyg, noterade Atsmon att det har sina egna brister. Det är för enkelt, och för att autonom körning ska vara realistisk måste den lära sig av kanterna. Cognata hävdar att det bara tar några få klick att programmera i ett kantfodral för att validera autonoma fordon för mer ovanliga körscenarier. Företag som bygger självkörande fordon måste vara flitiga i sitt sökande efter kantfodral som kan lura självkörande bilar och kreativa när det gäller att skapa lösningar för dem.

När självkörning misslyckas

Säkerhet är så avgörande för autonoma fordon att Nvidia anser att det är det enskilt viktigaste för branschen. När saker misslyckas kan dödsfall inträffa och inträffar, vilket nyligen bevisades när en autonom Uber slog och dödade en fotgängare i Arizona.

När Huang tillfrågades på ett pressmöte om Uber-kraschen - Uber är en partner till Nvidia - skjutit upp till samåkningen företaget för kommentarer och sa att "vi borde ge Uber en chans att förstå vad som har hänt och att förklara vad som har hänt hände."

"Jag kan försäkra er att [Uber] är lika förkrossad över det som hände", tillade Huang.

Eftersom Nvidia utvecklar en helhetslösning för autonom körning kan olika partners – från Uber till Toyota och Mercedes Benz – använda hela eller vissa delar av systemet. "Det finns cirka 370 företag runt om i världen som använder vår teknik på något sätt." På mässan tillkännagav Nvidia också Orin, nästa generations dator på sin DRIVE-plattform.

Människor som backup

Även om självkörande bilar blir smartare med tiden, anser Huang fortfarande att det alltid bör finnas en mänsklig backup, även i fall där en bil är designad utan förarsäte. För att uppnå detta visade Nvidia upp sitt Holodeck under årets GTC keynote, vilket gjorde det möjligt för en fjärrstyrd förare att styra en fysisk bil i realtid genom virtuell verklighet.

"Det är teleportering," sa Huang och betonade att detta är möjligt genom Nvidias tidiga investeringar i virtuell verklighet.

Under demon befann sig Tim, föraren, på en avlägsen plats. När han tar på sig ett par virtual reality-glasögon kommer han att känna sig som om han är i en fysisk bil, vilket gör att han kan känna bilen och se bilens kontroller och instrumentpanel. Från denna avlägsna plats och med hjälp av sitt VR-headset kunde han ta kontroll över ett autonomt fordon, så att han kunde köra fordonet och parkera det.

Det är som vad militären har gjort ett tag - att tillåta drönaroperatörer att flyga obemannade drönare från avlägsen plats. Men i Nvidias fall, med kraften i VR, kommer föraren att känna att han är fysiskt närvarande i sittbrunnen. Företaget tror att simulering som drivs av dess GPU så småningom kommer att göra autonoma bilar nästan ofelbara, men fram tills dem kan Holodeck hjälpa människor att vaka över självkörande flottor.

Redaktörens rekommendationer

• Autonoma bilar förvirrade av San Franciscos dimma
• Ford och VW lägger ner Argo AI autonom bilenhet
• Ex-Apple-anställd erkänner sig skyldig till att ha hittat Apple Car-hemligheter
• Poliser förvirrade när de kör över en tom självkörande bil
• Hur en stor blå skåpbil från 1986 banade väg för självkörande bilar