Vi testet Google Duplex, den telefonanropende AI som kommer denne sommeren

Mens jeg jobbet i resepsjonen på en thai-restaurant i New York City, tok jeg telefonen, tok ned en reservasjon og la på. Surrealistisk var det første ordet som dukket opp etterpå, ikke fordi jeg lot som jeg jobbet på et restaurant, men som jeg nettopp har snakket med og bestilt bord fra den kunstig intelligente Google Assistent.

Jeg kunne ikke rokke ved tanken om at stemmen i den andre enden ikke var et levende vesen, selv om det bare var en to-minutters samtale. Det er ikke dermed sagt at assistenten ikke var overbevisende; hvis det ikke fortalte meg (og hvis jeg ikke var i et demomiljø), ville jeg ikke ha tenkt mye på utvekslingen med det som hørtes ut som et annet menneske i den andre enden.

Robotutvekslingen jeg hadde var en del av en pressedemo holdt for Googles Duplex-teknologi, først annonsert på selskapets I/O utviklerkonferanse i mai. Den lar folk bestille bord på en restaurant, planlegge en frisøravtale og finne ut åpningstidene i butikken

Google Assistant. De stemmeassistent vil ringe restauranten eller butikken – etter at du har sendt en forespørsel fra telefonen eller den Assistent-aktiverte smarthøyttaleren, som en Google Home - og minutter senere vil du få et varsel som bekrefter at planene dine er offisielt bestilt (eller om samtalen ikke kunne fullføres).

Demoen på I/O var imponerende, men var ikke uten kontrovers. Bekymringer ble reist: Hvorfor trengte AI å høres så naturtro ut, og hvorfor kunngjorde den ikke en ansvarsfraskrivelse til den menneskelige oppringeren, som tilsvarte det noen anså for å være bedrag. Og fordi samtalen ble tatt opp, stilte noen spørsmål ved om teknologien ville bryte visse lover som regulerer telefonsamtaler.

Siden den gang har Google avklart sin posisjon, og vi har nå noen svar. Digital Trends brukte litt tid med teamet bak Tosidig og demonstrerte teknologien for oss selv. Men før vi dykker inn i vår erfaring, la oss ta en titt på de nye detaljene vi har avklart om hvordan og hvor Duplex vil fungere.

Hva er Duplex, og hvor fungerer det?

Duplex er en teknologi under utvikling som gjør det mulig for Google Assistant å foreta telefonsamtaler på brukerens på vegne, og det stammer fra mange års forskning og arbeid med kunstig intelligens for naturlig språk behandling.

"Vi kan nå forstå naturlig tale og vi kan generere naturlig tale," sa Nick Fox, visepresident for produktadministrasjon hos Google. "Disse teknologiene brukes med Duplex for å ha en naturlig, engasjerende samtale som tilpasser seg det som skjer i samtalen, til syvende og sist med målet om å få ting gjort."

Å hjelpe deg med å få ting gjort er Googles mål for Assistant, og med Duplex begynner selskapet med tre spesifikke oppgaver: Å bestille bord på en restaurant, finne åpningstider og planlegge en frisørsalong avtale. Duplex kan ikke gjøre noe mer enn dette for øyeblikket, så hvis et spørsmål ikke er relevant (f.eks. spørre om været eller sportsresultater) vil ikke assistenten forstå det. På samme måte kan en bruker ikke be assistenten om å ringe uten tilknytning til de nevnte oppgavene.

For brukeren frigjør det litt tid når assistenten foretar disse anropene, men det er også fordelaktig for bedrifter som mottar disse anropene. For eksempel, hvis en innringer ber assistenten om ferieåpningstidene til en lokal butikk, vil assistenten ringe, få svar, og timene legges til Google Kart og Google Søk for alle å se, med en bekreftet tag ved siden av.

Med denne informasjonen, hvis andre innringere vil vite den samme informasjonen, trenger assistenten bare å hente den fra Googles servere, og ikke foreta et nytt anrop. Det tar bare én person å spørre assistenten, men har potensial til å spare mye tid for ansatte som ellers ville sittet fast ved å svare på anrop om åpningstider.

Under Googles testfase denne sommeren vil Duplex kun fungere med utvalgte bedrifter og brukere i USA, og det vil kun være tilgjengelig på restauranter og frisørsalonger som ikke har online bestilling system. Google Assistant allerede fungerer med OpenTable, så den trenger ikke ringe restauranter som bruker bookingtjenesten.

Google vil teste samtaler for åpningstid først i løpet av de neste ukene, og senere i sommer vil testen utvides til å ringe for reservasjoner og hårklipp. Det vil bli mye testing og justeringer i løpet av denne perioden, så sluttresultatet av Duplex kan se litt annerledes ut enn det vi allerede har sett. Bedrifter vil kunne velge bort hvis de ikke ønsker å motta anrop fra Google Assistant.

"Det du ser er en teknologi som er veldig tidlige stadier," sa Fox. "Vi ønsker å snakke om det offentlig selv på dette stadiet for å sikre at vi får det riktig, men du ser noe ganske tidlig i prosessen her."

Demoen

Demoopplevelsen, som fant sted kl Thep Thai i Upper East Side-området i New York City, var sterkt kontrollert. Først la Google opp en presentasjon som viser den generelle prosessen med å ringe og avslutte en samtale, men faktisk bruke teknologien i sanntid. En ingeniør matet Duplex en tid og gruppestørrelse vi foreslo for en bestilling, og her er hva som fulgte.

Tanken er at du vil fortelle Google Assistant på telefonen din eller Google Home at du vil «bestille bord på Thep Thai for to kl.20. i morgen." Assistenten vil spørre om det er greit å bestille tid fra kl. 20.00. til 21.00. i tilfelle det ikke er noe ledig bord klokken 20.00, og etter at du har bekreftet, vil den si at den kommer til å ringe restauranten og kommer tilbake til deg snart.

Når restaurantmedarbeideren tar telefonen, vil assistenten si følgende, eller noe lignende: «Hei, jeg ringer for å bestille. Jeg er Googles automatiske bestillingstjeneste, så jeg tar opp samtalen. Kan jeg bestille bord til torsdag?"

Samtalen tas opp slik at menneskelige operatører hos Google kan lytte tilbake til opptaket, kommentere samtalen og fremheve eventuelle feil Duplex har gjort slik at det kan gjøre tjenesten bedre.

Assistant fortsetter med å svare på hvert spørsmål som stilles - for eksempel når reservasjonen gjelder, hvor mange folk er i gruppen, og navnet på reservasjonen - og samtalen høflig og raskt slutter. Hvis det blir bedt om informasjon som en brukers e-postadresse, vil assistenten si at den ikke har tillatelse til å gi den informasjonen.

Personen som bestilte reservasjonen gjennom Assistant vil nå få et varsel om at bordet er reservert, og det legges automatisk til i Google Kalender. I forkant av reservasjonen vil brukeren få et varsel og en mulighet til å kansellere avtalen i tilfelle hun ikke lenger kan rekke det. Thep Thais restauranteier sa at mange mennesker gjør reservasjoner og deretter ikke dukker opp. Han håper at dette systemet, som tilbyr en enkel måte å kansellere en bestilling på, vil bety færre tomme bord.

Etter hoveddemoen tillot Google oss å prøve det. Da vi tok samtalen, prøvde vi å snu Duplex og kastet inn noen komplikasjoner, men assistenten håndterte dem godt. Vi ba den holde i begynnelsen av samtalen - som den svarte «mhmm» på i stedet for et verbalt «ja». Da vi fortalte det 6 kl. bestillingstiden var full, assistenten svarte med en rekkevidde mellom kl. og 20.00, og det ordnet seg med våre 19.45. anbefaling. Vi ba deretter om et navn og telefonnummer for reservasjonen, og om assistenten kunne stave navnet, noe den gjorde.

Det er imponerende hvor godt Assistant håndterte demoene sine, selv om vi møtte et øyeblikk da den måtte falle tilbake på en menneskelig operatør. Det var da noen spurte om assistentens klient var ok med å motta e-post fra restauranten. Fraseringen var litt vanskelig, og assistenten svarte med: "Beklager, jeg tror jeg ble forvirret," og den sa at det setter en veileder på spill. Den menneskelige operatøren tok raskt over, fortalte den som ringte at den ikke kan avsløre e-postadressen, og fullførte reservasjonen.

Hvordan dupleks fungerer

Tidlige testversjoner av Duplex, som Google spilte for oss, hørtes utrolig robotaktig ut. Assistenten var imidlertid fortsatt i stand til å forstå pauser i samtalen, og til og med si «hallo?» da en restaurantansatt stoppet i noen sekunder. Likevel sa Scott Huffman, visepresident for Engineering for Google Assistant, at det var «smertefullt å høre på det».

Å få Duplex til det nivået det er nå startet med mye manuelt og menneskelig arbeid. Menneskelige operatører ringte restauranter, kommenterte samtaler og matet resultatene inn i Duplex. Teamet ville koble setninger som "hvor mange mennesker" og dets variasjoner til "antall personer i partiet", slik at Duplex kan forstå spørsmålet.

Den andre fasen innebar at menneskelige operatører lyttet til anrop assistenten gjorde, og hvis ting går av sporet, hoppet operatøren inn for å ta over og sørge for at samtalen var vellykket. Dette gjorde at teamet kunne identifisere de grove kantene rundt tjenesten, kommentere disse samtalene og føre den tilbake til maskinlæringsalgoritmene slik at Duplex kunne lære.

Det siste teststadiet er automatisert modus, der det automatiserte systemet foretar anrop og fullfører dem. Escape-luker innebygd i systemet lar assistenten hoppe tilbake til hovedmålet med å fullføre oppgaven, takket være setninger som «Jeg er ikke sikker på hva du sa, men kan jeg bestille bord for tre.» Hvis systemet virkelig ikke vet hva det skal gjøre videre, vil det elegant bøye seg ut av samtalen, og den menneskelige operatøren vil ta over.

For øyeblikket sa Huffman at om lag fire av fem anrop fra Duplex ikke trenger hjelp fra en menneskelig operatør. Interessant nok sa han at menneskelige operatører ikke kommer til å bli trukket vekk fra tjenesten ettersom Duplex blir bedre, ettersom Google ser dem som en integrert del i å sikre at Duplex fungerer uten problemer.

"ums" og "ahs"

Gjennom hele prosessen med å lære assistent, la Google vekt på å få det til å høres mer naturlig ut og mindre som en robot. Etter demoen på Google I/O spurte kritikere hvorfor Google prøver å blande inn "ums og ahs" for å lage assistenten høres mer menneskelig ut, spesielt hvis det ikke la til en ansvarsfraskrivelse i begynnelsen av samtalen om at det ikke var et menneske. Det er ansvarsfraskrivelser nå, men Huffman sa at taleforstyrrelser som "um" eller "mhm" ble lagt til for å holde samtalestrømmen i gang.

"Vi prøver ikke å lure eller etterligne, men hvis du går tilbake til den innspillingen av det smertefulle tidlige systemet, hørtes det ikke veldig naturlig ut, det hørtes ikke veldig menneskelig ut," sa Huffman. "Men som et resultat av det var assistenten ikke særlig vellykket med å fullføre oppgavene. Mange mennesker la på, eller ble forvirret over hva de snakket med, samtalen ville bare bryte sammen fordi det ikke føltes naturlig.»

Huffman sa taleforstyrrelser, ifølge lingvister, er en viktig del av å holde menneskelig samtale mellom to personer i gang. Det er lett å se hvor godt dette fungerer når du hører samtaler med assistenten, og resultatene er langt fra det opprinnelige opptaket.

Én måte taleforstyrrelser hjelper på er for samtalebekreftelse, for eksempel når en person snakker, men du vil sørg for at mottakeren vet at du fortsatt er engasjert og lytter, som da assistenten sa «mhmm» til oss da den ble bedt om å holde.

Et annet nyttig verktøy er å si «um» når det er usikkerhet, som en høflig måte å be om avklaring. Assistent la til et "um" etter at den ikke kunne høre hva restaurantansatte sa, og fulgte opp forespørselen sin igjen.

Assistent med disse taleforstyrrelsene er en sterk kontrast til den originale robotassistenten. Det er langt mindre kaldt, og samtalen gikk mye raskere. Og i stedet for å godta enkle kommandoer, samhandler Assistant faktisk med mennesker gjennom språket vårt, som garantert vil begeistre noen mens andre skremmer.

Bekvemmelighet

Duplex handler om bekvemmelighet. Det sparer deg litt tid, det kan gi deg mer nøyaktige åpningstider, og det kan også spare bedrifter for tid. Google sa også at det er en stor mulighet her for å hjelpe folk som ikke kan snakke eller har problemer med å snakke.

Huffman sa å tenke på Duplex som en utvikling av automatiserte stemmemaskiner fra fortiden, som f.eks når du ringte banken din, da det var en langsom prosess med å trykke tall for å komme til høyre avdeling.

"I dag hvis du ringer disse flyselskapene eller bankene, vil du få noe mye, mye bedre," sa han. «Du vil høre en mye mer naturlig stemme, og den kan si noe sånt som «Bare fortell meg hva du trenger, du kan si ting som, når er flyturen min?» I Dupleks, vi tar egentlig bare den samme ideen et skritt videre, utvikler samtalen og gjør den mer naturlig slik at den blir mer vellykket for brukere og bedrifter."

Google har ikke vist oss hvordan Duplex ringer til bedrifter for åpningstider, og har heller ikke demonstrert planlegging av hårklippavtaler – så vi kan ikke kommentere hvor godt Duplex ville fungere i disse tilfellene. Vi er også usikre på om de menneskelige operatørene vil ha tilgang til telefonnummeret ditt og fullt navn, da det utgjør litt av en personvernrisiko. Vi lurer også på om Duplex vil støtte flere språk i fremtiden. Vi har tatt kontakt med Google for å bekrefte noen ubesvarte spørsmål, men det kommer selvfølgelig flere etter hvert som teknologien utvikler seg.

Fra det vi har sett så langt, er det lovende teknologi, men er det noe vi bør omfavne eller frykte? Vi vil være glade hvis vi aldri trenger å bli satt på vent i timevis igjen, men det er viktig å vurdere banen her. Vi beveger oss hele tiden mot en fremtid hvor vi ikke trenger å snakke med noen, hvor du kan bo isolert i en leilighet, med mat levert til deg; pakker levert av droner, og tusenvis av timer med media å konsumere uten å måtte gå ut.

Mens Duplex kan starte med noen av de mer hverdagslige telefonsamtalene, kommer AI til å bli bedre på samtaler, noe som gjør det enkelt å overføre til andre bransjer. Det vil være opp til oss som samfunn å bestemme hvor mye av samtalen vi skal gjøre gjennom AI, og om det er verdt å ta telefonen igjen.

Redaktørenes anbefalinger

• Jeg fikk meg selv til å prøve et 14,5-tommers nettbrett - og det gikk ikke så bra
• Jeg liker virkelig Pixel 7a, men det er ett stort problem jeg ikke kan ignorere
• Jeg vil elske Pixel 7 og Pixel 7 Pro, men Google lar meg ikke
• Her er alt Google ikke kunngjorde på Pixel Fall Launch-arrangementet
• Alt Google ikke kunngjorde på Google I/O 2021