Hvordan Nvidia hjelper autonome biler med å simulere veien til sikkerhet

Tenk deg at du er sjåføren av en firedørs familiesedan som nærmer seg et stoppskilt. Når du kommer til stoppskiltet, legger du merke til en syklist som prøver å krysse veien. Gjennom øyekontakt, ansiktsuttrykk og kroppsspråk-signaler forhandler syklisten sin vei med deg. Som et resultat bestemmer du deg for å la syklisten krysse veien først, før du fortsetter å gå forsiktig inn i krysset.

I den autonome kjøringsverdenen i dag ville det ikke være noen måte å "merke" eller kategorisere en slik hendelse, sa Cognata-sjef Danny Atsmon. Nåværende metoder lar deg visuelt identifisere syklisten, men treningssystemer for å gjenkjenne og forstå komplekse forhandlinger på veien fortsatt en utfordring for den autonome kjøringen på 10,3 billioner dollar industri.

Faktisk representerer autonom kjøring "det vanskeligste dataproblemet verden noen gang har møtt," som NVIDIA-sjef Jensen Huang innrømmet da han avduket noen av verdens kraftigste grafikkprosessorer under GTC 2018 keynote i San Jose, California.

Å bygge bro mellom det virkelige og det virtuelle

"Verden kjører 10 billioner miles per år," sa Huang i en spiss presentasjon - men Atsmon påpekte at selvkjørende biler bare dekket tre millioner miles av veier i fjor. For at selvkjørende kjøretøy skal kjøre bedre, må de lære mer, og det er grunnleggende den største utfordringen bransjen står overfor. For å trene et autonomt kjøresystem til å ha kompetansen til en menneskelig sjåfør, må datamaskiner kjøre omtrent 11 milliarder miles, fortalte Atsmon oss.

Dette tallet er beregnet basert på 1,09 omkomne per 100 millioner kjørte miles i 2015. "Så, for å si at en maskin kan ha like sikker ytelse som et menneske med 95 prosent av selvtillit, må du validere for 11 milliarder miles," sa Atsmon.

Bortsett fra tiden som trengs for å nå det målet, er det også kostnadene å vurdere. Akkurat nå er kostnaden per mil for å betjene en autonom bil i hundrevis av dollar - som står for ingeniørtid, datainnsamling og merking, forsikringskostnader og tiden til en sjåfør å sitte i cockpiten en bil. Multipliser det med benchmark på 11 milliarder mil, og det enorme dyret forbundet med trening av autonome biler blir tydelig.

Validering er nøkkelen, og nylige ulykker med autonome kjøretøy viser at ufullstendige datatester og treningsscenarier kan vise seg å være dødelige. I et mindre ekstremt eksempel navigerte en selvkjørende skyttelbuss i Las Vegas i rundt 0,6 miles per time, men den krasjet inn i en lastebil (Jeff Zurschmeide, en frilanser-bidragsyter til Digital Trends, var der da det skjedde). Ingen ble skadet, men det forvirrende scenariet skjedde fordi lastebilen trakk seg fremover, for så å rygge mens den forsøkte å parkere. Årsaken til krasjet, ifølge Atsmon, er at skyttelbussen ikke ble validert for denne typen situasjoner, og den visste ikke hva den skulle gjøre - så den gikk sakte fremover og krasjet.

Bedre simulering for dypere læring

Bransjens nåværende løsning for å bygge bro over gapet på 11 milliarder mil for autonome systemer for å nå menneskelig kjøring kompetanse er å utvikle simuleringer for å la biler lære raskere ved å kombinere dyp læring med en virtuell miljø.

"Simulering er veien til milliarder av miles," sa Huang ved GTC. Sent i fjor avduket Alphabet-eide Waymo Carcraft, sin tilnærming til læring ved simulering.

Cognata bruker de siste fremskrittene innen grafikk og sensormaskinvare for å lage mer naturtro og realistiske modeller av verden som autonome biler kan lære av. For datahjernene til en selvkjørende bil er det som å gå inn i et videospill basert på det virkelige verden, og det kan føre til mer realistiske kjørescenarier for å teste og validere bilkjøring data. Selskapet har nylig kartlagt utvalgte byer, som San Francisco, ved å bruke data fra GIS — HD-kameraer og sofistikerte datamaskinalgoritmer som kjører over satellitt- og gatevisningsbilder, noe som resulterer i en fotorealistisk scene.

For å forbedre simuleringene ytterligere bruker Nvidia, og noen av partnerne deres, data fra sensorene til autonome kjøretøy for å bygge høyere definisjonskart. Når autonome kjøretøy kommer ut på veien, vil disse maskinene ikke bare stole på dataene som er tilgjengelige gjennom opplæring, men også bidra til datainnsamling ved å dele dataene den har fanget fra LIDAR, IR, radar og kamera matriser.

Når disse nylig fangede dataene kombineres gjennom dyp læring med eksisterende datasett av lav kvalitet, vil det få gater og veier til å se mer fotorealistiske ut. Cognata hevder at algoritmene deres kan behandle dataene på en måte for å få frem detaljer i skygger og høylys, omtrent som en HDR bilde fra smarttelefonens kamera, for å lage en scene av høy kvalitet.

Mens simulering er et utmerket verktøy, bemerket Atsmon at det har sine egne feil. Det er for enkelt, og for at autonom kjøring skal være realistisk, må den lære av kantsaker. Cognata hevder at det bare tar noen få klikk å programmere i en edge-case for å validere autonome kjøretøy for mer uvanlige kjørescenarier. Bedrifter som bygger selvkjørende kjøretøy må være flittige i jakten på kantsaker som kan lure selvkjørende biler, og kreative i å lage løsninger for dem.

Når selvkjøring mislykkes

Sikkerhet er så viktig for autonome kjøretøy at Nvidia anser det som det viktigste for bransjen. Når ting feiler, kan og skjer dødsulykker, som nylig ble bevist da en autonom Uber slo til og drepte en fotgjenger i Arizona.

Da han ble spurt i et pressemøte om Uber-krasjen – Uber er en partner av Nvidia – utsatte Huang til samkjøringen selskapet for kommentarer, og sa at "vi bør gi Uber en sjanse til å forstå hva som har skjedd og å forklare hva som har skjedd skjedde."

"Jeg kan forsikre deg om at [Uber] er like knust over det som skjedde," la Huang til.

Fordi Nvidia utvikler en ende-til-ende-løsning for autonom kjøring, kan forskjellige partnere – fra Uber til Toyota og Mercedes Benz – bruke hele eller noen deler av systemet. "Det er rundt 370 selskaper rundt om i verden som bruker teknologiene våre på en eller annen måte." På messen kunngjorde Nvidia også Orin, neste generasjons datamaskin på DRIVE-plattformen.

Mennesker som sikkerhetskopi

Selv om selvkjørende biler blir smartere over tid, mener Huang fortsatt at det alltid bør være en menneskelig sikkerhetskopi, selv i tilfeller der en bil er designet uten førersete. For å oppnå dette, viste Nvidia frem sitt Holodeck under årets GTC keynote, slik at en ekstern sjåfør kan kontrollere en fysisk bil i sanntid gjennom virtuell virkelighet.

"Det er teleportering," sa Huang, og fremhevet at dette er mulig gjennom Nvidias tidlige investeringer i virtuell virkelighet.

Under demoen befant sjåføren Tim seg på et avsidesliggende sted. Når han tar på seg et par virtual reality-briller, vil han føle at han er i en fysisk bil, noe som gjør at han kan føle bilen og se bilens kontroller og instrumentpanel. Fra dette avsidesliggende stedet og ved hjelp av VR-headsettet kunne han ta kontroll over et autonomt kjøretøy, slik at han kunne kjøre kjøretøyet og parkere det.

Det er som det militæret har gjort en stund - slik at droneoperatører kan fly ubemannede droner fra et avsidesliggende sted. Men i Nvidias tilfelle, med kraften til VR, vil sjåføren føle at han er fysisk tilstede i cockpiten. Selskapet tror at simulering drevet av GPU-ene til slutt vil gjøre autonome biler nesten ufeilbarlige, men inntil dem kan Holodeck hjelpe mennesker å se over selvkjørende flåter.

Redaktørenes anbefalinger

• Autonome biler forvirret av San Franciscos tåke
• Ford og VW legger ned Argo AI autonom bilenhet
• Eks-ansatt i Apple erkjenner straffskyld for å ha fanget Apple Car-hemmeligheter
• Offiserer forvirret da de kjører over en tom selvkjørende bil
• Hvordan en stor blå varebil fra 1986 banet vei for selvkjørende biler